Разработчик Generalist AI анонсировал робототехническую модель GEN-1.5, меняющую подход к обучению физическим манипуляциям. Вместо перетренировки на каждое новое действие система воспринимает сенсомоторный пример длительностью 3–12 секунд и немедленно воспроизводит увиденное без градиентной настройки.
Изображение: ChatGPT
В испытаниях на десяти бытовых задачах — откручивание крышки банки, извлечение денег из кошелька, складывание стаканчиков, уборка мусора, открывание книги, расстёгивание пенала — модель показала успешность 59% при единственном примере. Добавление пяти минут данных и десяти шагов оптимизации повысило результат до 83%. GEN-1.5 — мультимодальная модель, обрабатывающая видео, сенсорные, языковые и проприоцептивные данные. Она удерживает 30 секунд информации в контексте и генерирует траектории с частотой 100 Гц.
Инновация — «физический промпт»: демонстрация человека с захватом или запись предыдущего выполнения задачи. После помещения примера в контекстное окно робот приступает к воспроизведению без фазы обучения. Разработчики специально не обучали GEN-1.5 этой способности и не вносили архитектурных изменений.
Модель комбинирует несколько промптов: получив раздельные примеры расстёгивания пенала и извлечения денег, она объединила их в непрерывную последовательность, сгенерировав промежуточные движения, отсутствовавшие в демонстрациях.
Система обобщает действия за пределами показанного. Демонстрация из симуляции успешно применялась для реального робота — поведение адаптировалось к разным манипуляторам, положению и размеру объектов. В другом тесте человек показывал действие руками перед камерами робота, после чего робот воспроизвёл его своими захватами.
При дообучении с 1–10 шагами на основе 1–5 минут данных модель адаптировалась к новым задачам. Иногда GEN-1.5 выходил за рамки показанного: научившись сметать блок щёткой в миску, при её отсутствии он использовал банан как импровизированную замену. Разработчики видят в этом предпосылку нового подхода: пользователь демонстрирует действие, а модель прорабатывает физические детали.
