PaLM-E

Продукт
Разработчики: Google
Дата премьеры системы: март 2023 г.
Отрасли: Информационные технологии
Технологии: Робототехника,  Роботы Промышленные,  Роботы Сервисные,  Средства разработки приложений

Содержание

История

2023: Анонс продукта

6 марта 2023 года исследователи из компании Google и Берлинского технического университета представили открытую мультимодальную языковую модель на основе искусственного интеллекта для обучения автономных роботов.

Проект носит название PaLM-E. Модель объединяет язык и компьютерное зрение для управления роботами. В общей сложности, как отмечается, доступны 562 млрд параметров, что обеспечивает максимальную гибкость. Модель, в частности, позволяет роботу выполнять широкий спектр задач на основе голосовых команд человека без необходимости постоянного переобучения. Иными словами, робот воспринимает директивы на естественном языке, анализирует их и немедленно приступает к работе.

PaLM-E будет использоваться для обучения автономных роботов

Например, если роботу приказано «принеси мне рисовые чипсы из ящика стола», PaLM-E оперативно создаст план действий на основе команды и своего поля зрения. Затем мобильная роботизированная платформа с автоматизированной рукой полностью автономно выполнит все необходимые операции.

PaLM-E получает данные от камеры робота и анализирует окружение без необходимости предварительного описания сцены. Это означает, что человеку не нужно аннотировать визуальные данные. Более того, PaLM-E может реагировать на изменения окружающей обстановки во время выполнения задачи.TrafficSoft ADC: балансировщик нагрузки с высокой скоростью работы и минимальными аппаратными требованиями

PaLM-E базируется на существующей масштабной языковой модели, известной как PaLM (схожа с технологией ChatGPT). Она интегрирована с сенсорной информацией и роботизированным управлением. Система непрерывно наблюдает за своим окружением и кодирует полученные данные в последовательность «векторов», подобно тому, как слова кодируются в «языковые токены». Таким образом, сенсорная информация воспринимается аналогично обработке голосовых команд. Кроме того, PaLM-E может передавать знания и навыки, полученные от предыдущих задач, к новым, что приводит к повышению эффективности.[1]

Примечания



СМ. ТАКЖЕ (2)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (31)
  Яндекс (Yandex) (14)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Nvidia (Нвидиа) (11)
  Сбербанк (10)
  Другие (505)

  ABB Group (7)
  Promobot (Промобот) (4)
  Ростелеком (3)
  АББ Россия (ABB) (3)
  IPavlov (Айпавлов) (2)
  Другие (59)

  Московский центр инновационных технологий в здравоохранении (2)
  Mains Lab (Мэйнс Лаборатория) (2)
  Яндекс (Yandex) (2)
  UVL Robotics (ЮВЛ Роботикс) (1)
  VizorLabs (Визорлабс) (1)
  Другие (45)

  Департамент информационных технологий Москвы (ДИТ) (2)
  Яндекс (Yandex) (2)
  Инфосистемы Джет (2)
  Fora Robotics (Фора Роботикс) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Другие (46)

  Сбер Бизнес Софт (2)
  Синимекс (Cinimex) (2)
  Геоскан (Geoscan) (2)
  Университет Иннополис (2)
  Яндекс (Yandex) (2)
  Другие (51)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (9, 32)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (3, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 11)
  Другие (582, 143)

  ABB Group (2, 11)
  Promobot (Промобот) (2, 4)
  Gaskar Group (Гаскар Интеграция) (1, 2)
  Ronavi Robotics, Ронави Роботикс (ранее Ронави логистические системы) (1, 2)
  Cognitive Technologies (Когнитивные технологии) (1, 2)
  Другие (10, 11)

  Бирюч-НТ Инновационный Центр (2, 1)
  Эфко ГК (2, 1)
  Транспорт будущего (2, 1)
  Gaskar Group (Гаскар Интеграция) (1, 1)
  Rozum Robotics (Розум Роботикс) (1, 1)
  Другие (13, 13)

  Fora Robotics (Фора Роботикс) (1, 2)
  Rozum Robotics (Розум Роботикс) (1, 1)
  Роботех (Robotech) (1, 1)
  Яндекс.Маркет (1, 1)
  3D Bioprinting Solutions (3Д Биопринтинг Солюшенс) (1, 1)
  Другие (5, 5)

  Яндекс (Yandex) (1, 2)
  Pudu Robotics (Pudu Technology) (1, 2)
  Intuitive Surgical (1, 1)
  Геоскан (Geoscan) (1, 1)
  КиберСклад (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot - 26
  Cognitive Agro Pilot Система автоматического вождения - 21
  ABB IRB Промышленные роботы - 19
  Da Vinci (робот-хирург) - 11
  Яндекс.Ровер - 10
  Другие 127

  ABB IRB Промышленные роботы - 8
  YuMi (Мобильный коллаборативный робот) - 4
  Promobot - 4
  Cognitive Agro Pilot Система автоматического вождения - 2
  Ronavi Robotics: H-серия Роботы для обслуживания складов - 2
  Другие 11

  Лаборатория знаний: Neuro Angel - 1
  Роббо Класс - 1
  YaCuAi Робот Unit - 1
  NTR Robotics (БПЛА для закрытых пространств) - 1
  Astabot Робот-палетный перевозчик - 1
  Другие 9

  For-1 Антропоморфный робот - 2
  МИСиС и 3D Bioprinting Solutions: 3D-биопринтер в виде роборуки для применения в операционной in situ - 1
  Da Vinci (робот-хирург) - 1
  Aripix A1 Робот-манипулятор - 1
  Dobot CR-серия Коллаборативные роботы - 1
  Другие 2

  Яндекс.Ровер - 2
  Pudu CC1 Робот-уборщик - 2
  Роботы КиберСклад - 1
  Геоскан БАС (Беспилотные авиационные системы самолетного типа) - 1
  Da Vinci (робот-хирург) - 1
  Другие 0

Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Солар (ранее Ростелеком-Солар) (46)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15)
  Форсайт (11)
  Axiom JDK (БеллСофт) ранее Bellsoft (10)
  Бипиум (Bpium) (10)
  Другие (389)

  Солар (ранее Ростелеком-Солар) (8)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (4)
  Консом групп, Konsom Group (КонсОМ СКС) (2)
  ЛАНИТ - Би Пи Эм (Lanit BPM) (2)
  IFellow (АйФэлл) (2)
  Другие (30)

  Солар (ранее Ростелеком-Солар) (10)
  Форсайт (3)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3)
  Cloud.ru (Облачные технологии) ранее SberCloud (2)
  КРИТ (KRIT) (2)
  Другие (13)

  Солар (ранее Ростелеком-Солар) (6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4)
  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  РЖД-Технологии (3)
  Robin (Робин) (3)
  Другие (23)

  Unlimited Production (Анлимитед Продакшен, eXpress) (3)
  Солар (ранее Ростелеком-Солар) (3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2)
  Axiom JDK (БеллСофт) ранее Bellsoft (1)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1)
  Другие (9)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Солар (ранее Ростелеком-Солар) (2, 48)
  Microsoft (41, 47)
  Oracle (49, 26)
  Hyperledger (Open Ledger Project) (1, 23)
  IBM (33, 18)
  Другие (595, 304)

  Солар (ранее Ростелеком-Солар) (1, 8)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (1, 4)
  Microsoft (4, 3)
  Oracle (2, 3)
  SAP SE (2, 2)
  Другие (16, 19)

  Солар (ранее Ростелеком-Солар) (1, 11)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 3)
  Форсайт (1, 3)
  Cloud.ru (Облачные технологии) ранее SberCloud (1, 2)
  Сбербанк (1, 2)
  Другие (9, 9)

  Солар (ранее Ростелеком-Солар) (1, 6)
  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4)
  Мобильные ТелеСистемы (МТС) (1, 4)
  РЖД-Технологии (1, 3)
  Другие (14, 24)

  Мобильные ТелеСистемы (МТС) (2, 3)
  Солар (ранее Ростелеком-Солар) (1, 3)
  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2)
  Сбербанк (1, 1)
  Другие (12, 12)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Solar appScreener (ранее Solar inCode) - 48
  Hyperledger Fabric - 23
  Windows Azure - 20
  FIS Platform - 15
  Форсайт. Мобильная платформа (ранее HyperHive) - 12
  Другие 324

  Solar appScreener (ранее Solar inCode) - 8
  FIS Platform - 4
  Турбо X - 2
  Siemens Xcelerator - 2
  Java - 2
  Другие 22

  Solar appScreener (ранее Solar inCode) - 11
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  BSS Digital2Go - 3
  Cloud ML Space - 2
  Axiom JDK (ранее Liberica JDK до 2022) - 1
  Другие 8

  EXpress Защищенный корпоративный мессенджер - 6
  Solar appScreener (ранее Solar inCode) - 6
  МТС Exolve - 4
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  РЖД и Робин: Облачная фабрика программных роботов - 3
  Другие 14

  EXpress Защищенный корпоративный мессенджер - 3
  Solar appScreener (ранее Solar inCode) - 3
  МТС Exolve - 2
  Naumen Platform - 1
  Газпром: Ивентум Конструктор приложений для организации и управления мероприятиями - 1
  Другие 9