Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
Разработчики: | Т-Банк (Тинькофф Банк), Т-Технологии (ранее ТКС Холдинг) |
Дата премьеры системы: | июль 2024 г |
Дата последнего релиза: | декабрь 2024 г |
Отрасли: | Информационные технологии |
Технологии: | Речевые технологии |
Содержание |
Основные статьи:
2024
*Открытие доступа к моделям T-Pro и обновленной T-Lite
Группа «Т-Технологии» открыла доступ к двум большим языковым моделям (LLM) — T-Pro на 32 млрд параметров и обновленной T-Lite на 7 млрд параметров. Теперь любая российская компания сможет бесплатно использовать их возможности. Об этом представители группы сообщили TAdviser 11 декабря 2024 года. По заявлению «Т-Технологий», как показали индустриальные бенчмарки (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval), T-Pro и T-Lite «превосходят все российские и зарубежные модели по общему уровню знаний, умению вести диалог и выполнять практические задачи».
Открытый доступ предполагает полностью бесплатное использование моделей для решения внутренних задач и создания новых продуктов на базе LLM — независимо от размера бизнеса. Например, с помощью LLM можно создавать умных чат-ботов в поддержке, которые более приближены к человеческому общению и отвечают не по скриптам, а в режиме живого диалога. Это позволит частично или полностью автоматизировать разбор клиентских обращений. Также с помощью LLM бизнес может создавать ассистентов для своих сотрудников: инструменты для автоматического написания кода, составления отчетов, написания исследований. TAdviser Security 100: Крупнейшие ИБ-компании в России
Использование моделей от «Т-Технологий» позволит бизнесу:
- не создавать собственные многомиллиардные модели с нуля, а дообучать имеющуюся базу под свои нужды;
- сэкономить на комиссиях сторонним поставщикам услуг за использование их проприетарных (закрытых) моделей.
Обе модели (T-Pro и T-Lite) входят в Gen-T — семейство собственных специализированных языковых моделей группы «Т-Технологии». Для создания моделей используется технология продолженного предобучения (Continual Pretraining). Это процесс, при котором уже обученную на больших объемах информации модель продолжают обучать на материалах, специфичных для определенной задачи или области, и адаптируют ее на русский язык. Модели T-Lite и T-Pro основаны на базе моделей семейства Qwen-2.5, но показывают более высокое качество на задачах русского языка, чем оригинальные модели, отметили в компании. Такой подход позволяет «Т-Технологиям» сократить затраты на создание больших языковых моделей.
«При нашем объеме бизнеса (более 46 млн клиентов и 90 тысяч сотрудников) возникают задачи такого уровня сложности, для которого подходят только собственные технологии. Когда мы начали развивать продукты на базе больших языковых моделей — например, копилотов для сотрудников и Вселенную AI-ассистентов, — мы еще раз убедились, что существующие на рынке решения не отвечают нашим требованиям», — поделился Виктор Тарнавский, директор по искусственному интеллекту «Т-Банка». — Так мы начали развивать Gen-T — семейство специализированных языковых моделей». |
По его словам, целью банка было создать решения должного качества и при этом минимизировать затраты с применением наработок мирового научного и инженерного сообщества. Убедившись в эффективности созданного решения, в «Т-Банке» приняли решение поделиться им со всей индустрией и поменять подход к использованию LLM.
Зачем создавать собственные дорогие модели, если можно взять лучшее с рынка и настроить под себя. Наш опыт смогут перенять другие компании, а использование LLM станет гораздо шире», — добавил Виктор Тарнавский. |
Обновленная T-Lite
Обновленная версия T-Lite с 7 млрд параметров подходит для дообучения под конкретные бизнес-задачи. Среди основных улучшений, по словам разработчиков:
- Точность и контекстуальность. Лучше улавливает контекст, понимает сложные запросы и выдает более точные ответы.
- Глубина генерации. Создает тексты, которые ближе к человеческому стилю письма, с меньшим количеством ошибок и большей логической связностью.
- Адаптивность. Модель легко дообучается под нужды конкретных отраслей — от финансов и медицины до ритейла и образования.
По данным «Т-Технологий», T-Lite стала лучшей в категории открытых моделей до 10 млрд параметров по результатам индустриальных бенчмарков, включая MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.
T-Pro
По сравнению с предшественницей T-Lite, в модели T-Pro увеличилось число параметров — с 7 до 32 млрд. Это делает модель более мощной и производительной. Большее число параметров позволяет модели учитывать больше контекста и особенностей языка, лучше запоминать информацию, делать более точные и сложные выводы.
Модель работает в двух режимах: ее можно дообучить под конкретные бизнес-задачи (Fine-tuning), а также использовать в режиме промптинга — ставить перед моделью задачи в режиме диалога.
По информации «Т-Технологий», среди открытых моделей своей весовой категории T-Pro занимает первое место в решении задач на русском языке согласно индустриальным бенчмаркам MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval. Среди проприетарных (закрытых) моделей T-Pro занимает второе место по ряду бенчмарков, уступая только GPT-4o.
Доступность
Модели T-Lite и T-Pro уже доступны для скачивания на платформе Hugging Face под лицензией Apache 2.0.
При их совместном использовании с открытой библиотекой Turbo Alignment компании смогут не разрабатывать ИИ-приложения с нуля, а использовать уже готовые инструменты.
Анонс продукта
В июле 2024 года Т-Банк анонсировал выход самой мощной русскоязычной языковой модели T-lite. Она предназначена для создания ИИ-решений в области анализа данных, поиска и разработки чат-ботов.
T-lite имеет 8 млрд. Параметры — это числовые значения, которые модель настраивает, чтобы лучше понимать и генерировать текст. Чем больше параметров, тем больше возможностей у модели для выполнения сложных заданий, но с увеличением размера также ухудшается экономическая эффективность модели. T-lite же после дообучения на конкретные бизнес-задачи в области обработки естественного языка (NLP) дает качество, сопоставимое с проприетарными моделями размером от 20 млрд параметров, но при этом в разы дешевле в эксплуатации, заявили в банке.
Там же отметили, на индустриальных и внутренних бенчмарках модель обогнала по показателям зарубежные llama3-8b-instruct и chat-gpt 3.5. При этом T-lite создана с использованием всего 3% вычислительных ресурсов, которые обычно требуются для такого типа моделей.
T-lite входит в Gen-T — семейство собственных специализированных языковых моделей Т-Банка, которые умеют обучаться под решение конкретных узкоспециализированных задач. В отличие от универсальных моделей, таких как ChatGPT, технология Gen-T ориентирована на конкретные области и предлагает решения с максимальной адаптацией под нужды пользователя, отмечается в сообщении банка.
Наши модели семейства Gen-T показали свою эффективность в наших сервисах, оптимальны по соотношению используемых мощностей и качеству. И мы готовы поделиться этой разработкой с другими компаниями, с пользователями, с профессиональным сообществом. Это наш вклад в развитие искусственного интеллекта в России, - подчеркнул руководитель NLP в Центре искусственного интеллекта Т-Банка Артем Бондарь. |
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (44)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (29)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (27)
SteadyControl (18)
Naumen (Наумен консалтинг) (15)
Другие (195)
Группа компаний ЦРТ (Центр речевых технологий) (5)
SteadyControl (4)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4)
Voice Systems Robotics (VSR, VS Robotics) (2)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2)
Другие (17)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7)
Voice Systems Robotics (VSR, VS Robotics) (3)
Naumen (Наумен консалтинг) (3)
Мегапьютер Интелидженс (Megaputer Intelligence) (2)
Другие (14)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (17, 46)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4, 30)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (12, 29)
SteadyControl (1, 23)
SteadyControl HoReCa (1, 23)
Другие (365, 216)
Группа компаний ЦРТ (Центр речевых технологий) (2, 5)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5)
SteadyControl HoReCa (1, 4)
SteadyControl (1, 4)
SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2)
Другие (9, 13)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
SteadyControl HoReCa (1, 3)
Voice Systems Robotics (VSR, VS Robotics) (1, 3)
Naumen (Наумен консалтинг) (1, 3)
Другие (12, 16)
МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9)
Группа компаний ЦРТ (Центр речевых технологий) (4, 7)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
SteadyControl HoReCa (1, 7)
SteadyControl (1, 7)
Другие (18, 30)
Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
Сбербанк (3, 5)
SteadyControl (1, 5)
SteadyControl HoReCa (1, 5)
Ростелеком (2, 4)
Другие (23, 37)
Распределение систем по количеству проектов, не включая партнерские решения
МТТ VoiceBox - 24
SteadyControl Система контроля и управления персоналом - 23
BSS Digital2Speech - 21
Voice2Med Система распознавания речи в медицине - 14
Naumen Erudite - 13
Другие 203
BSS Digital2Speech - 5
SteadyControl Система контроля и управления персоналом - 4
Voice2Med Система распознавания речи в медицине - 4
МТТ VoiceBox - 2
Neuro.net Голосовой робот - 2
Другие 11
МТТ VoiceBox - 11
BSS Digital2Speech - 6
SteadyControl Система контроля и управления персоналом - 3
Naumen Erudite - 3
VS Robotics: VS Робот-оператор - 3
Другие 14