Trong khi robot lên kế hoạch cho bước tiếp theo, cà phê vẫn có thể đang được rót.
Mô tả ngày 30 tháng 7 của Google về Gemini Robotics ER 2 đặt hai hoạt động này cạnh nhau. Mô hình suy luận theo dõi video và lên kế hoạch thực hiện công việc, còn một mô hình hành động riêng đảm nhiệm việc di chuyển. Thiết kế này cho phép robot tiếp tục suy nghĩ trong khi hành động, thay vì phải dừng lại mỗi khi cần quyết định việc tiếp theo.
Việc rót cà phê giúp hình dung cách sắp xếp đó một cách dễ dàng. Chuyển động cần tiếp diễn trong lúc tách được rót đầy, rồi dừng lại đúng thời điểm. Google dùng chính thời điểm dừng đó làm ví dụ về một sự kiện mà mô hình suy luận phải xác định trong video. Chuyển động liên tục vừa tạo ra điều để mô hình theo dõi, vừa khiến khung cảnh mà nó đánh giá không ngừng thay đổi.
Với lần rót này, phép đo hữu ích sẽ theo dõi toàn bộ hành động: thời điểm mô hình nhận ra điểm dừng, thời điểm bộ điều khiển thực hiện theo nhận định đó, và thời điểm dòng cà phê thực sự ngừng chảy. Bài kiểm tra video của Google tập trung vào việc xác định sự kiện trong đoạn phim, chứ không đo thời gian của toàn bộ chuỗi này. Quan sát dòng cà phê ngừng chảy sẽ cho thấy nhận định đó được chuyển thành chuyển động như thế nào.
Nguồn: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Hình ảnh: Minh họa biên tập do AI tạo, không phải robot của Google hay hình ảnh ghi lại một cuộc thử nghiệm.
Mô tả ngày 30 tháng 7 của Google về Gemini Robotics ER 2 đặt hai hoạt động này cạnh nhau. Mô hình suy luận theo dõi video và lên kế hoạch thực hiện công việc, còn một mô hình hành động riêng đảm nhiệm việc di chuyển. Thiết kế này cho phép robot tiếp tục suy nghĩ trong khi hành động, thay vì phải dừng lại mỗi khi cần quyết định việc tiếp theo.
Việc rót cà phê giúp hình dung cách sắp xếp đó một cách dễ dàng. Chuyển động cần tiếp diễn trong lúc tách được rót đầy, rồi dừng lại đúng thời điểm. Google dùng chính thời điểm dừng đó làm ví dụ về một sự kiện mà mô hình suy luận phải xác định trong video. Chuyển động liên tục vừa tạo ra điều để mô hình theo dõi, vừa khiến khung cảnh mà nó đánh giá không ngừng thay đổi.
Với lần rót này, phép đo hữu ích sẽ theo dõi toàn bộ hành động: thời điểm mô hình nhận ra điểm dừng, thời điểm bộ điều khiển thực hiện theo nhận định đó, và thời điểm dòng cà phê thực sự ngừng chảy. Bài kiểm tra video của Google tập trung vào việc xác định sự kiện trong đoạn phim, chứ không đo thời gian của toàn bộ chuỗi này. Quan sát dòng cà phê ngừng chảy sẽ cho thấy nhận định đó được chuyển thành chuyển động như thế nào.
Nguồn: https://deepmind.google/blog/gemini-robotics-er-2-powering-robotics-with-video-understanding-task-orchestration-and-multi-robot-collaboration/
Hình ảnh: Minh họa biên tập do AI tạo, không phải robot của Google hay hình ảnh ghi lại một cuộc thử nghiệm.