AlphaGo

AlphaGo — программа для игры в го на основе технологий ИИ.

AlphaGo использует методы, применяемые для распознавания образов, оценки позиции и выбора наиболее выгодных ходов для данной позиции - глубинное обучение с помощью свёрточных нейронных сетей для организации двух нейронных сетей: стратегической сети (англ. policy network), которая помогает сократить число рассматриваемых ходов в каждой позиции, и оценочной сети (англ. value network), она помогает оценить позицию, не просматривая игру до конца.

Для оценки сил программы, создатели организовали турнир между AlphaGo и лучшими свободными и коммерческими программами для игры в го (Crazy Stone, Zen, Pachi, Fuego), которые использовали метод Монте-Карло, и GnuGo, которая была лучшей свободной программой до использования метода Монте-Карло. AlphaGo выиграла 494 матча из 495.

Го — одна из древнейших настольных игр. Вплоть до недавнего времени считалось, что компьютер не способен играть на равных с профессиональным игроком из-за высокого уровня абстракции и невозможности перебора всех доступных вариантов развития событий — точно число допустимых комбинаций в игре на стандартном гобане больше, чем число атомов в наблюдаемой Вселенной.

2017

Разработан AlphaGo Zero — самообучаемый алгоритм для игры в го

19 октября 2017 года компания DeepMind сообщила о разработке модернизированной версии алгоритма AlphaGo для игры в го.

Последняя версия алгоритма, получившая приставку Zero к названию, не оставляет людям шансов на победу. Технология полностью самообучаемая, она способна выучить стратегии, не анализируя партии, сыгранные человеком^[1]. Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.1 т

Работа AlphaGo Zero основывается на искусственных нейронных сетях, но запрограммирована иначе. Оригинальная AlphaGo запрограммирована обучаться мастерству игры в го приобретением опыта от игр с людьми.

Более совершенная версия AlphaGo Zero состоит из одной нейронной сети. Ей объяснили, что представляет собой главный атрибут игры – доска. Все остальное, включая правила, она выучила самостоятельно. Не обучаясь на партиях, сыгранных людьми, AlphaGo Zero обучалась на собственных. Она начинала с бессмысленных ходов, но после 4,9 млн партий выучила игру так, что сумела всухую обыграть оригинальный AlphaGo.

Согласно заявлению DeepMind, такой подход позволил избавить искусственный интеллект от ограничений человеческого разума. При этом настольными играми применение самообучаемой нейронной сети, используемой для создания AlphaGo Zero, не ограничится. В DeepMind полагают, что этот подход может быть применен для решения более широкого круга комплексных задач, которые имеют сходные свойства с игрой типа Go, вроде задач планирования, или в ситуациях, в которых необходимо предпринять ряд действий в правильной последовательности (укладка белка или сокращение потребления энергии).

AlphaGo победила в последней игре против Кэ Цзе и ушла из го

Компания DeepMind, принадлежащая Alphabet, объявила в апреле 2017 года о планируемом матче программы AlphaGo против Кэ Цзе, сильнейшего в мире игрока в го.

Сотрудники DeepMind намерены провести матч AlphaGo против Кэ Цзе, сильнейшего в мире игрока в го по данным независимого рейтинга Go Ratings. В го не существует официального чемпионата мира, поэтому невозможно стать чемпионом мира по го, однако учитывая победы игроков в разных турнирах можно с высокой точностью определить фактического сильнейшего игрока, которым на текущий момент является Кэ Цзе.

В рамках фестиваля го, который пройдет с 23 по 27 мая в китайском городе Вужень (провинция Чжэцзян), планируется провести матч из трех игр AlphaGo против Кэ Цзе. Также организаторы фестиваля планируют использовать ИИ и в других форматах игр — в частности, профессиональным игрокам предложат сыграть друг против друга, но у каждого игрока в команде будет свой компьютерный напарник. Кроме того, предполагается провести матч «AlphaGo против команды из пяти сильнейших игроков Китая»^[2].

В мае 2017 года сильнейший игрок в го Кэ Цзе из Китая проиграл вторую партию программе AlphaGo. Таким образом, AlphaGo обеспечила себе победу в турнире из трех партий. Кэ Цзе, отметили эксперты, следившие за матчем, «идеально» начал партию, создавая сложные для соперника комбинации по всему игровому полю. Однако AlphaGo удалось упростить игру и добиться победы.

В третьей игре против AlphaGo Кэ Цзе играл белыми камнями. После почти трех с половиной часов игры китайский профессионал сдался, хотя у него оставалось еще более 32 минут на обдумывание ходов. Таким образом, программа выиграла три игры из трех. Представители DeepMind на пресс-конференции после игры заявили, что это был последний матч, на котором играл ИИ, поскольку в этот раз соревновательная программа продемонстрировала «наивысший уровень игры для AlphaGo». Стоит отметить, что, вероятно, речь идет о прекращении участия AlphaGo только в соревновательных матчах и такая формулировка, скорее всего, не означает, что программа совсем перестанет играть в го.

2016

С 9 марта по 15 марта 2016 года проведена игра AlphaGo с Ли Седолем (Lee Sedol) в Сеуле, Южная Корея. Сыграно 5 партий. Призовой фонд $1 млн. Игры транслировались в прямом эфире на YouTube. AlphaGo выиграл матч со счётом 4-1.

Match 1 - Google DeepMind Challenge Match: Lee Sedol vs AlphaG (2016)

2015

В октябре 2015 года AlphaGo выиграла у Фань Хуэя (Fan Hui), трёхкратного чемпиона Европы матч из пяти партий со счётом 5—0. Это первый в истории случай, когда компьютер выиграл в го у профессионала в равной игре. Об этом было публично объявлено в январе 2016 года после публикации статьи в Nature.

Робототехника

Примечания