Недавно OpenAI выпустила новую модель рассуждений под названием o1, и вскоре после этого пользователи начали замечать странное явление. При решении задач, например, «Сколько букв R в слове strawberry?», модель иногда переключалась на китайский язык в процессе мышления, даже если вопрос задавался на английском. Такой переход происходил на этапе рассуждений, а окончательный ответ все равно выдавался на английском.
Пользователи на платформе Reddit задавались вопросом о причинах такого поведения. Один из них отметил, что модель «внезапно начала думать на китайском где-то на полпути». Другие комментаторы также удивлялись, почему модель переключается на язык, который не использовался в разговоре.
OpenAI пока не предоставила объяснений этому феномену, и эксперты по искусственному интеллекту предлагают несколько теорий. Некоторые, включая генерального директора Hugging Face Клемента Деланга, предполагают, что это может быть связано с тем, что модель обучалась на больших наборах данных, содержащих китайские иероглифы. Исследователь Google DeepMind Тед Сяо добавил, что сторонние компании, которые предоставляют данные для обучения, могут использовать китайские сервисы, что могло повлиять на поведение модели.
Метки, используемые для обучения, помогают моделям интерпретировать данные. Например, в задачах распознавания изображений метки могут указывать на объекты или их характеристики. Однако предвзятые метки могут привести к созданию предвзятых моделей. Это явление наблюдается, когда определённые языковые варианты, такие как афроамериканский разговорный английский, неправильно интерпретируются как токсичные.
С другой стороны, некоторые эксперты не согласны с гипотезой о связи с маркировкой данных на китайском языке. Они утверждают, что модель может переключаться на любой язык, который считает наиболее подходящим для решения задачи. Мэтью Гуздиал из Университета Альберты отметил, что для модели язык не имеет значения — это просто текст, который она обрабатывает.
Модели используют токены, которые могут представлять слова, слоги или отдельные символы. Это приводит к тому, что модели не всегда могут корректно обрабатывать языки, которые используют разные правила разделения слов. Течжень Ван из Hugging Face согласен с Гуздиалом, утверждая, что несоответствия в языках могут быть связаны с ассоциациями, которые формируются во время обучения. Он приводит пример, когда предпочитает решать математические задачи на китайском, так как это более эффективно.
Тем не менее, Лука Солдайни из Института Аллена предупреждает, что мы не можем точно знать причины такого поведения моделей. Проблема непрозрачности алгоритмов делает невозможным полное понимание их работы. Пока OpenAI не даст ясного ответа, остается много вопросов о том, как модели обрабатывают многоязычные данные и что на самом деле происходит в их «мозгах».