PaLM-E

Продукт
Разработчики: Google
Дата премьеры системы: март 2023 г.
Отрасли: Информационные технологии
Технологии: Робототехника,  Роботы Промышленные,  Роботы Сервисные,  Средства разработки приложений

Содержание

История

2023: Анонс продукта

6 марта 2023 года исследователи из компании Google и Берлинского технического университета представили открытую мультимодальную языковую модель на основе искусственного интеллекта для обучения автономных роботов.

Проект носит название PaLM-E. Модель объединяет язык и компьютерное зрение для управления роботами. В общей сложности, как отмечается, доступны 562 млрд параметров, что обеспечивает максимальную гибкость. Модель, в частности, позволяет роботу выполнять широкий спектр задач на основе голосовых команд человека без необходимости постоянного переобучения. Иными словами, робот воспринимает директивы на естественном языке, анализирует их и немедленно приступает к работе.

PaLM-E будет использоваться для обучения автономных роботов

Например, если роботу приказано «принеси мне рисовые чипсы из ящика стола», PaLM-E оперативно создаст план действий на основе команды и своего поля зрения. Затем мобильная роботизированная платформа с автоматизированной рукой полностью автономно выполнит все необходимые операции.

PaLM-E получает данные от камеры робота и анализирует окружение без необходимости предварительного описания сцены. Это означает, что человеку не нужно аннотировать визуальные данные. Более того, PaLM-E может реагировать на изменения окружающей обстановки во время выполнения задачи.Открыта регистрация на конференцию Data Fusion 2025 5.5 т

PaLM-E базируется на существующей масштабной языковой модели, известной как PaLM (схожа с технологией ChatGPT). Она интегрирована с сенсорной информацией и роботизированным управлением. Система непрерывно наблюдает за своим окружением и кодирует полученные данные в последовательность «векторов», подобно тому, как слова кодируются в «языковые токены». Таким образом, сенсорная информация воспринимается аналогично обработке голосовых команд. Кроме того, PaLM-E может передавать знания и навыки, полученные от предыдущих задач, к новым, что приводит к повышению эффективности.[1]

Примечания



СМ. ТАКЖЕ (2)


Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot (Промобот) (31)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Яндекс (Yandex) (14)
  Nvidia (Нвидиа) (11)
  Сбербанк (11)
  Другие (524)

  Mains Lab (Мэйнс Лаборатория) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении Медтех (2)
  НТР, НТР Томск (NTR Lab) (1)
  АББ Россия (ABB) (1)
  Другие (45)

  Департамент информационных технологий Москвы (ДИТ) (2)
  Fora Robotics (Фора Роботикс) (2)
  Яндекс (Yandex) (2)
  Инфосистемы Джет (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Другие (46)

  Наносемантика (Nanosemantics Lab) (2)
  Сбер Бизнес Софт (2)
  Синимекс (Cinimex) (2)
  Геоскан (Geoscan) (2)
  Университет Иннополис (2)
  Другие (59)

  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Сбербанк (1)
  Ситроникс (Sitronics) (1)
  Цифровые технологии и платформы (ЦТиП) (1)
  Другие (4)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot (Промобот) (10, 32)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (3, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 11)
  Другие (606, 146)

  Транспорт будущего (2, 1)
  Бирюч-НТ Инновационный Центр (2, 1)
  Эфко ГК (2, 1)
  Cognitive Technologies (Когнитивные технологии) (1, 1)
  Promobot (Промобот) (1, 1)
  Другие (13, 13)

  Fora Robotics (Фора Роботикс) (1, 2)
  Intuitive Surgical (1, 1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1, 1)
  Яндекс (Yandex) (1, 1)
  Aripix Robotics (Арипикс Роботикс) (1, 1)
  Другие (5, 5)

  Яндекс (Yandex) (1, 2)
  Pudu Robotics (Pudu Technology) (1, 2)
  Геоскан (Geoscan) (1, 1)
  Unitree Robotics (1, 1)
  КиберСклад (1, 1)
  Другие (2, 2)

Данные не найдены

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Promobot - 26
  Cognitive Agro Pilot Система автоматического вождения - 21
  ABB IRB Промышленные роботы - 19
  Da Vinci (робот-хирург) - 11
  Nvidia Drive AI-платформа для самоуправляемых автомобилей - 10
  Другие 130

  Smart Meal Service: Lunch fastPass Робот-кассир - 1
  Визорлабс Видеопилот (VizorLabs Spotter) - 1
  Hi-Fly Cargo - 1
  Cognitive Agro Pilot Система автоматического вождения - 1
  Эфко: Hi-Fly Taxi Аэротакси - 1
  Другие 9

  For-1 Антропоморфный робот - 2
  Dobot CR-серия Коллаборативные роботы - 1
  Aripix A1 Робот-манипулятор - 1
  Robotech: RP-серия Роботы-паллетайзеры - 1
  Яндекс: Складские роботы - 1
  Другие 2

  Pudu CC1 Робот-уборщик - 2
  Яндекс.Ровер - 2
  Ronavi S-серия Роботы для сортировки товаров - 1
  Da Vinci (робот-хирург) - 1
  Unitree H1 Антропоморфные роботы - 1
  Другие 2
Данные не найдены

Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Солар (ранее Ростелеком-Солар) (46)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15)
  Форсайт (11)
  Бипиум (Bpium) (10)
  Axiom JDK (БеллСофт) ранее Bellsoft (10)
  Другие (397)

  Солар (ранее Ростелеком-Солар) (10)
  Форсайт (3)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3)
  Cloud.ru (Облачные технологии) ранее SberCloud (2)
  КРИТ (KRIT) (2)
  Другие (13)

  Солар (ранее Ростелеком-Солар) (6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4)
  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  РЖД-Технологии (3)
  Robin (Робин) (3)
  Другие (23)

  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  Солар (ранее Ростелеком-Солар) (3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2)
  Сбербанк-Технологии (СберТех) (1)
  Т1 Иннотех (ГК Иннотех) (1)
  Другие (12)

  Актив (Актив-софт) (1)
  Наносемантика (Nanosemantics Lab) (1)
  Сенсор-Тех Лаборатория (1)
  Другие (0)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Солар (ранее Ростелеком-Солар) (2, 48)
  Microsoft (41, 47)
  Oracle (49, 26)
  Hyperledger (Open Ledger Project) (1, 23)
  IBM (33, 18)
  Другие (620, 311)

  Солар (ранее Ростелеком-Солар) (1, 11)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 3)
  Форсайт (1, 3)
  Сбербанк (1, 2)
  Cloud.ru (Облачные технологии) ранее SberCloud (1, 2)
  Другие (9, 9)

  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6)
  Солар (ранее Ростелеком-Солар) (1, 6)
  Мобильные ТелеСистемы (МТС) (1, 4)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4)
  РЖД-Технологии (1, 3)
  Другие (14, 24)

  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 4)
  Мобильные ТелеСистемы (МТС) (2, 3)
  Солар (ранее Ростелеком-Солар) (1, 3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2)
  Гриндата (GreenData) (1, 1)
  Другие (15, 15)

  Актив (Актив-софт) (1, 1)
  Наносемантика (Nanosemantics Lab) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Solar appScreener (ранее Solar inCode) - 48
  Hyperledger Fabric - 23
  Windows Azure - 20
  FIS Platform - 15
  Форсайт. Мобильная платформа (ранее HyperHive) - 12
  Другие 331

  Solar appScreener (ранее Solar inCode) - 11
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  BSS Digital2Go - 3
  Cloud ML Space - 2
  Kubernetes - 1
  Другие 8

  EXpress Защищенный корпоративный мессенджер - 6
  Solar appScreener (ранее Solar inCode) - 6
  МТС Exolve - 4
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  РЖД и Робин: Облачная фабрика программных роботов - 3
  Другие 14

  EXpress Защищенный корпоративный мессенджер - 4
  Solar appScreener (ранее Solar inCode) - 3
  МТС Exolve - 2
  BSS Digital2Go - 1
  ФинПлатформа Т1 - 1
  Другие 12

  Наносемантика: DialogOS (Dialog Operating System) - 1
  Guardant SLK - 1
  Другие 0