Google улучшила свою систему обучения роботов

В 2022 году Google DeepMind представила Robotics Transformer (RT-1) - систему обучения роботов новым задачам. Недавно компания выпустила новую версию — RT-2. 

Глава отдела робототехники DeepMind, Винсент Ванхоук, сообщил, что RT-2 позволяет роботам эффективно переносить концепции, изученные на относительно небольших наборах данных, в различные сценарии. Это новая версия модели видения-языка-действия (VLA), которая учит роботов лучше распознавать визуальные и языковые шаблоны, интерпретировать инструкции и делать выводы о том, какие объекты лучше всего подходят для запроса. Модель обучалась на данных, полученных из веба и из робототехники, используя результаты исследований в области больших языковых моделей, таких как Bard от Google, и комбинируя их с роботизированными данными. Она также понимает инструкции на языках, отличных от английского. 

Google объясняет, что RT-2 демонстрирует улучшенные возможности обобщения, а также семантическое и визуальное понимание за пределами обучающих данных.

Новая нейросеть способна интерпретировать новые команды и выполнять элементарные рассуждения, включая категоризацию объектов, в ответ на действия пользователя. Она может находить лучший инструмент для конкретной новой задачи на основе существующей контекстной информации.

Винсент Ванхоук приводит пример, когда робота просят выбросить мусор. В других моделях пользователям необходимо обучать робота определять, что считается мусором, а затем обучать его собирать и выбрасывать отходы. В RT-2 уже есть представление о том, что такое мусор и он может идентифицировать его без дополнительного обучения. Кроме того, RT-2 понимает, как выбрасывать мусор, даже если его никогда не учили этому действию. Исследователи также опробовали RT-2 в кухонной среде, попросив робота использовать камень в качестве молотка, выбрать напиток для истощенного человека (Red Bull) и переместить банку из-под Coca-Cola к фотографии Тейлор Свифт.

Больше новостей читайте на канале "Умно и интересно".