Microsoft создала один из пяти самых мощных суперкомпьютеров в мире

2020: Разработка суперкомпьютера на базе облака Azure

19 мая 2020 года Microsoft сообщила о разработке суперкомпьютера на базе облака Azure в сотрудничестве и эксклюзивно для OpenAI, некоммерческой исследовательской организации, основателями которой являются Илон Маск и Сэм Альтман. Он стал одним из 5 самых мощных суперкомпьютеров в мире. Суперкомпьютер создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и, соответственно, требующих больших вычислительных ресурсов.

Исторически эксперты по машинному обучению разрабатывали небольшие ИИ-модели, которые использовали наборы размеченных данных, чтобы научиться выполнять какую-то одну отдельную задачу – распознать объект, перевести текст и т.д. Сообщество специалистов по искусственному интеллекту доказало, что некоторые из этих задач лучше выполняются одной большой моделью, обученной, к примеру, на миллиардах страниц публично доступных текстов. В результате такая модель настолько тонко понимает нюансы речи, грамматику, концепции и контекст, что способна отлично выполнять несколько задач: подводить итоги длинных выступлений, модерировать чат в онлайн-играх и даже генерировать программный код по результатам поиска на GitHub. Microsoft, к примеру, разработала собственное семейство подобных моделей – Microsoft Turing models, – и языковую модель с 17 миллиардами параметров Turing Natural Language Generation (T-NLG).

Создание и тренировка таких массивных моделей требует наличия прогрессивной супервычислительной инфраструктуры или кластеров современного оборудования, соединенных с помощью сетей высокой пропускной способности. Суперкомпьютер, разработанный для OpenAI – это единая система с более чем 285 000 процессорных ядер (CPU core), 10 000 графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого GPU-сервера. Благодаря размещению в облаке Azure суперкомпьютер обладает преимуществами современной облачной инфраструктуры, включая быстрое развертывание, надежность дата-центров и доступ к сервисам Azure.

Разработка суперкомпьютера для OpenAI – первый шаг на пути к тому, чтобы сделать следующее поколение массивных ИИ-моделей и инфраструктуру, необходимую для их обучения, доступными широкому кругу организаций и разработчиков во всем мире^[1].

2016: Начало сотрудничества Microsoft и OpenAI

15 ноября 2016 года стало известно о начале сотрудничества Microsoft и некоммерческой организации OpenAI, занимающейся разработкой технологий искусственного интеллекта (ИИ). В рамках объявленного партнерства Microsoft Azure станет предпочтительной, но не единственной облачной инфраструктурой для проектов OpenAI.

Организация OpenAI, одним из основателей которой является предприниматель Элон Маск (Elon Musk), будет использовать облако Microsoft для своих экспериментов в области глубинного обучения и искусственного интеллекта.Бизнес уходит в облако: стратегии и подходы

В свою очередь, Microsoft сможет совместно с новым партнером проводить исследования и создавать новые инструменты и технологии, которые могут найти широкое применение в медицине, телекоммуникационной отрасли, программировании и др.

Microsoft подключила к своему облаку ИИ-проект Элона Маска

OpenAI выбрала Microsoft благодаря нашим исследованиям глубинного обучения, постоянной приверженности искусственному интеллекту, поддержке Azure в направлении технологий с открытым исходным кодом и уникальному сочетанию в этой платформе высокопроизводительных вычислений, больших данных и интеллектуальных функций, таких как Azure Batch, Azure Machine Learning и Microsoft Cognitive Toolkit, — говорится в сообщении Microsoft.

В OpenAI сообщили о намерении использовать десятки тысяч виртуальных машин Azure для «увеличения количества проводимых экспериментов и масштаба испытываемых моделей». По словам сопредседателя OpenAI Сэма Альтмана (Sam Altman), сотрудничество с Microsoft наилучшим образом отвечает целям организации по «демократизации» искусственного интеллекта, и взгляды партнеров на эти технологии во многом сходятся.

Альтман отметил, что OpenAI использует не только Azure, но и другие облачные инфраструктуры, однако большая часть работы будет проводиться именно в облаке Microsoft. ^[2]

Примечания