В середине сентября OpenAI выпустила новую модель ИИ o1, ранее известную под кодовым названием Strawberry. Чат-бот должен уметь думать как человек, а также решать сложные задачи в области физики, химии или биологии.
Новая модель GPT по-прежнему допускает простые ошибки. Фото: PixieMe/Shutterstock
В объявлении OpenAI даже заявила, что модель показала себя так же хорошо, как аспирант, в сложных тестах производительности. Однако когда дело доходит до простых задач, у ИИ все равно возникают проблемы.

Соответственно, новая версия ChatGPT тоже допускает простые ошибки. Например, исследователь Матье Ашер из Insa Rennes во Франции сообщает на платформе X, что модель предполагает нелогичные ходы в шахматных головоломках. По его словам, это типичная ошибка, которую уже допустили GPT4o и GPT 3.5.

В этой позиции (на фото выше) ферзь черных встает на поле f7 (перед пешкой) после нескольких секунд «размышления». Это неправильный ход (причем, это всего лишь четвертый ход в партии). Тестер повторил сеанс игры 5 раз. ChatGPT o1 допустил аналогичные ошибки.

Исследователь ИИ Колин Фрейзер проверил, как новая модель GPT решает простую логическую головоломку. Вопрос в том, сколько переходов нужно пастуху, чтобы переправить через реку трех овец. Чат-бот o1 дает неверный ответ.

Разработчик искусственного интеллекта Навид Могаддам также обнаружил ошибку, которую допустили ChatGPT 4o и другие модели. Если спросить модель, как часто буква «R» встречается в слове «Strawberry», то даже после минутного раздумья чат-бот дает неверный ответ (две буквы «R» вместо трёх). Это слово, с которым у многих искусственных интеллектов возникают проблемы.

На данный момент GPT-o1 по-прежнему является предварительной версией, доступной только платным пользователям. Сама OpenAI также признала, что модель находится на ранней стадии и в ней все еще отсутствуют некоторые функции, которые уже интегрированы в GPT-4o. Новая модель имеет недостатки в создании текста и обработке изображений, а также в вопросах о текущих событиях.

OpenAI обещает регулярные обновления новой модели и значительные улучшения в будущих версиях.

Исследователь искусственного интеллекта Ноам Браун пишет, что будущие версии модели могут думать днями или неделями, но затем потенциально давать революционные ответы, которые приведут к научным прорывам.

Однако некоторые исследователи ИИ, такие как Гэри Маркус, относятся к этому критически, и упомянутые выше ошибки также указывают на то, что модели еще предстоит многому научиться, прежде чем произойдет прорыв.