| Разработчики: | Meta Platforms |
| Дата премьеры системы: | июль 2024 г |
| Отрасли: | Информационные технологии |
Содержание |
2024
Выпущена версия Llama 3.2 и мультимодальные модели с открытым исходным кодом
В 3квартале 2024 г была выпущена версия Llama 3.2 и мультимодальные модели с открытым исходным кодом. Meta активно сотрудничает с предприятиями и государственными учреждениями для внедрения Llama, включая правительство США.
Компания начала разработку Llama 4, обучая модели на кластере, превышающем свыше 100 тыс Nvidia H100, что является одним из крупнейших в индустрии. Ожидается, что малые модели Llama 4 будут готовы в начале 2025 года.
Зачем нужна Llama с открытым исходным кодом? Марк Цукерберг благотворительностью занимается? Нет, суть в ползучей всесторонней экспансии и попытке создать экосистему вокруг Llama так, как Apple создала экосистему вокруг своей ОС.
Бесплатно представляя Llama, Meta пытается добиться монопольного положения в ИИ проектах, которые предопределят развитие на следующие несколько десятилетий так, как она создала монополию и глобальное доминирование в социальных сетях.
Привязывая бизнес, потребителей и правительственные структуры к Llama, Meta в будущем попытается контролировать цепочки создания и распределения добавленной стоимости в ИИ не через прямую подписку, как OpenAI, а через сервисные услуги в экосистеме – ИТ инфраструктура, информационная и программная обвязка и так далее.
Выпуск продукта Llama 3.1 - крупнейшей в мире открытой ИИ-модели
23 июля 2024 года компания Meta (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) объявила о выпуске самой крупной в мире открытой модели искусственного интеллекта — Llama 3.1. Она насчитывает 405 млрд параметров и, как утверждается, по некоторым характеристикам превосходит GPT-4o и Anthropic Claude 3.5 Sonnet.
Llama 3.1, по заявлениям Meta, значительно сложнее, чем ранее вышедшие ИИ-модели Llama 3. При обучении Llama 3.1 были задействованы 16 тыс. мощных графических ускорителей Nvidia H100. По состоянию на дату анонса Meta не раскрывает стоимость разработки Llama 3.1. Участники рынка говорят, что, исходя только из стоимости чипов Nvidia, речь идет о сотнях миллионов долларов.
Помимо версии с 405 млрд (405В) параметров, в семейство Llama 3.1 входят модели с 8 млрд (8B) и 70 млрд (70B) параметров. Они имеют контекстное окно до 128 тыс. токенов. Модели поддерживают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.Российский рынок облачных ИБ-сервисов только формируется 
ИИ-модель Llama 3.1 8B подходит для применения в условиях ограниченных вычислительных ресурсов. Она может использоваться для решения таких задач, как реферирование текста, классификация, перевод с одного языка на другой. Версия Llama 3.1 70B подходит для создания контента, разговорного ИИ, понимания языка и корпоративных приложений. Модель, как заявляет Meta, хорошо справляется с резюмированием, классификацией текста, анализом, языковым моделированием, генерацией кода и пр. Наиболее мощный вариант Llama 3.1 405B ориентирован на самые сложные задачи, включая математические расчеты, генерацию длинных текстов, многоязычный перевод и пр. Кроме того, эта модель может применяться в продвинутых сервисах корпоративного уровня.[1]
