PaLM-E

История

2023: Анонс продукта

6 марта 2023 года исследователи из компании Google и Берлинского технического университета представили открытую мультимодальную языковую модель на основе искусственного интеллекта для обучения автономных роботов.

Проект носит название PaLM-E. Модель объединяет язык и компьютерное зрение для управления роботами. В общей сложности, как отмечается, доступны 562 млрд параметров, что обеспечивает максимальную гибкость. Модель, в частности, позволяет роботу выполнять широкий спектр задач на основе голосовых команд человека без необходимости постоянного переобучения. Иными словами, робот воспринимает директивы на естественном языке, анализирует их и немедленно приступает к работе.

PaLM-E будет использоваться для обучения автономных роботов

Например, если роботу приказано «принеси мне рисовые чипсы из ящика стола», PaLM-E оперативно создаст план действий на основе команды и своего поля зрения. Затем мобильная роботизированная платформа с автоматизированной рукой полностью автономно выполнит все необходимые операции.

PaLM-E получает данные от камеры робота и анализирует окружение без необходимости предварительного описания сцены. Это означает, что человеку не нужно аннотировать визуальные данные. Более того, PaLM-E может реагировать на изменения окружающей обстановки во время выполнения задачи.Открыта регистрация на конференцию Data Fusion 2025 5.5 т

PaLM-E базируется на существующей масштабной языковой модели, известной как PaLM (схожа с технологией ChatGPT). Она интегрирована с сенсорной информацией и роботизированным управлением. Система непрерывно наблюдает за своим окружением и кодирует полученные данные в последовательность «векторов», подобно тому, как слова кодируются в «языковые токены». Таким образом, сенсорная информация воспринимается аналогично обработке голосовых команд. Кроме того, PaLM-E может передавать знания и навыки, полученные от предыдущих задач, к новым, что приводит к повышению эффективности.^[1]

Примечания