Компания NVIDIA представила новое поколение базовых моделей для робототехники. Они умеют передавать продемонстрированные людьми навыки машинам, которые ранее никогда не выполняли подобные действия.
Модель под названием GR00T 2 способна прогнозировать развитие событий на видео и движения робота. Она прогнозирует будущие физические взаимодействия и определяет последовательность действий, необходимых для выполнения поставленной задачи.
Изображение: NVIDIA
Универсальность модели позволяет ей работать с роботами различных конфигураций — от манипуляторов с параллельными захватами до антропоморфных систем и роботов с пятипалыми «руками». При испытаниях с 50 задачами без предварительного обучения GR00T 2 показала средний уровень успешности 40%. После показа пяти демонстраций каждой задачи и 30-минутной донастройки на видеокарте NVIDIA RTX 5090 средний показатель успешности вырос до 95%. На каждую задачу требовалось менее 3 минут данных о движениях робота. Разработчики называют данный подход «перекрёстной адаптацией».
Для обучения модели использовались 402 730 часов видеозаписей от первого лица, 10 184 часа демонстраций с использованием ручных захватов и 23 500 часов данных, полученных в результате телеуправления роботами. В ходе испытаний, включавших сборку трёх видов игрушек, этот подход позволил успешно завершить как минимум 97 из 100 попыток для каждой игрушки. Система была способна самостоятельно исправлять ошибки и возобновлять работу после прерываний.
NVIDIA также разработала GR00T 2 Turbo — более компактную версию, оптимизированную для быстрого выполнения операций на гуманоидных роботах. Она работает непосредственно на платформе Unitree G1 с использованием встроенного процессора Jetson Thor. Время формирования одного прогноза составляет 124 миллисекунды. Робот успешно справился с задачей подачи попкорна во всех 48 попытках, а также смог очистить стол от различных предметов в 93% случаев.

