Ретро-игровая консоль Atari 2600 скоро отпразднует свое 50-летие. На ней была установлена шахматная программа, которая в конце 1970-х годов считалась технологическим прорывом: с ее помощью люди могли играть в шахматы против компьютеров.
ChatGPT теперь может писать целые диссертации и выполнять задачи в корпоративном бухгалтерском учете, но данный чат-бот на удивление плохо играет в шахматы. Недавно модель 4o (GPT-4o), лежащая в основе популярного чат-бота, проиграла шахматной программе на приставке Atari 2600.
Старая шахматная программа на самом деле не так уж сложна — она планирует свои ходы максимум на 1-2 шага вперед. Atari 2600 работает на 8-битном чипе с вычислительной мощностью всего 1,19 МГц. Для сравнения: процессор современного смартфона в миллионы раз мощнее.
Тем не менее, модель 4o искусственного интеллекта OpenAI, лежащая в основе ChatGPT и Microsoft Copilot, в июне проиграла несколько шахматных партий Atari 2600. Эксперимент проводил технический специалист по имени Роберт Карузо, работающий в компании-разработчике программного обеспечения Citrix.
Первоначально ChatGPT объяснил свой провал использованием шахматных символов. По мнению ИИ, представления были слишком абстрактными. Затем Карузо упростил символы специально для ИИ. Но даже эта корректировка не привела к улучшению. По словам Карузо, который описывает эксперимент в посте на LinkedIn, «ChatGPT допустил столько ошибок, что над ним посмеялись бы в шахматном клубе третьего класса».
Эта неудача чат-бота примечательна, поскольку шахматы считаются важной вехой в истории ИИ. Еще в 1997 году суперкомпьютер IBM Deep Blue победил тогдашнего чемпиона мира по шахматам, обладая значительно меньшей вычислительной мощностью, чем современные системы.
Текущие ИИ-модели испытывают трудности с распознаванием тактических маневров и легко теряют контроль над происходящим на доске. Иногда им трудно распознать даже разрешенные ходы.
Помимо GPT-4o, были протестированы и другие модели, такие как LLaMA 3 и 4, Google Gemini 1.5 и GPT-4.
Недостатка в знаниях нет: языковые модели были обучены с использованием обширных знаний шахмат. Они могут объяснять теории, анализировать исторические игры и подробно объяснять правила. Но вот применение знаний на практике — это уже другое дело.
Судя по всему, LLM-степени оптимизируются во время обучения не для игры в шахматы, а для создания текстов и расчета вероятностей. И именно так они ведут себя в шахматах: их ходы основаны на статистических вероятностях, а не на реальном понимании того, что происходит на доске.
Совершенно иная ситуация складывается со специализированными системами искусственного интеллекта, такими как Stockfish или AlphaZero. Эти программы точно рассчитывают последовательности ходов, учатся на миллионах игр и постоянно совершенствуют свою игровую мощь.
Итак, у каждой модели есть свои сильные стороны — в зависимости от задач, которым они были обучены.
