Современные большие языковые модели (Large language models, LLM), в отличие от своих предшественников, способных обрабатывать исключительно текст, демонстрируют впечатляющую универсальность. Они работают с данными различной природы: понимают и переводят с разных языков, пишут программный код, решают математические уравнения и даже анализируют содержание изображений и аудиофайлов. Такой впечатляющий прогресс ставит перед учеными вопрос о том, как именно LLM удается справляться со столь разнородной информацией.

Группа исследователей из MIT (Массачусетского технологического института) провела глубокий анализ внутренних процессов LLM и выявила поразительное сходство с принципами работы человеческого мозга. В частности, была обнаружена аналогия с так называемым "семантическим центром".

В нейробиологии "семантический центр", расположенный в передней височной доле, отвечает за интеграцию информации, поступающей из разных органов чувств (зрение, слух, осязание и т.д.). К этому центральному узлу подключены "лучи" – каналы, передающие данные конкретного типа.

Оказалось, что LLM действуют по схожей схеме. Они абстрагируются от формата входных данных, обрабатывая их в обобщенном виде. Если для модели доминирующим языком является английский, то именно он становится своеобразным "внутренним языком" для обработки информации, будь то текст на японском, математическая формула или фрагмент программного кода.

Более того, ученые MIT экспериментально подтвердили возможность "вмешательства" в работу этого "семантического центра" модели. Используя текстовые команды на основном (английском) языке, они смогли целенаправленно влиять на результаты обработки данных, представленных на других языках или в ином формате.

Данное открытие имеет значительный потенциал для развития искусственного интеллекта. Понимание внутренних механизмов LLM открывает путь к созданию более эффективных и контролируемых моделей, способных еще лучше работать с разнородными данными. Как отмечает Чжаофэн Ву, один из ведущих авторов исследования, "LLM – это по-прежнему "черные ящики" с впечатляющими возможностями, но нам крайне мало известно об их внутренней "кухне". Наше исследование – это шаг к раскрытию этих тайн".

Предыдущие исследования уже наводили на мысль, что LLM , "заточенные" под английский язык, используют его как основу для обработки информации на других языках. Команда MIT пошла дальше, детально изучив этот процесс.

LLM состоит из множества взаимосвязанных слоев нейронной сети. Входящий текст разбивается на отдельные элементы – токены (слова или их части). Каждому токену модель присваивает определенное цифровое представление, отражающее его смысл и взаимосвязь с другими токенами. Для изображений и аудио токенами становятся отдельные области или фрагменты.

На начальных уровнях обработки данные анализируются в "родном" формате – так же, как в мозге информация от разных органов чувств первоначально обрабатывается в соответствующих зонах. Но затем, на более глубоких уровнях, LLM преобразует токены в унифицированные представления, не зависящие от исходного типа данных. Именно этот процесс аналогичен работе "семантического хаба" в мозге.

Ключевой момент: входные данные, имеющие сходный смысл, получают близкие представления, независимо от их формата. Например, изображение и его текстовое описание, будучи разными по типу, будут представлены в модели схожим образом из-за семантической близости. Таким образом, если модели "показать" текст на китайском языке, она "подумает" о нем на английском, прежде чем выдать ответ на китайском. Аналогичная логика применима и к другим типам данных.

Для проверки этой гипотезы ученые провели серию экспериментов. Они подавали на вход модели пары предложений с одинаковым смыслом, но на разных языках, и измеряли сходство их внутренних представлений. Также проводились тесты с использованием текста на разных языках (например, китайском) и сравнивались внутренние представления с представлениями английских и китайских токенов. Результаты подтвердили: семантически близкие данные получают сходные представления, а на внутренних уровнях обработки преобладают токены, близкие к "базовому" (английскому) языку модели.

Такой подход, вероятно, является наиболее экономичным способом обработки разнообразной информации. Как поясняет Ву, "в мире существуют тысячи языков, но многие знания – здравый смысл, факты – являются общими. Модели нет необходимости дублировать эти знания для каждого языка".

Практическое применение и будущие исследования

Возможность "вмешиваться" во внутренние процессы модели, используя команды на ее "базовом" языке, открывает перспективы для управления и оптимизации работы LLM. Например, можно стимулировать модель к максимальному обобщению информации из разных источников, повышая эффективность обработки.

С другой стороны, существуют знания, специфичные для определенных культур или языков, которые сложно или невозможно передать в универсальном формате. В таких случаях может потребоваться сохранение отдельных механизмов обработки, специфичных для конкретного языка.

Понимание принципов работы "семантического хаба" также может помочь в решении проблемы "языковой интерференции" в многоязычных моделях. Сейчас, когда LLM, изначально ориентированная на английский, изучает другой язык, ее точность в английском часто снижается. Более глубокое понимание внутренних процессов может помочь предотвратить этот нежелательный эффект.

В заключении, как метко подметил Мор Гева Пипек, профессор компьютерных наук Тель-Авивского университета, данная работа устанавливает связь между искусственным интеллектом и нейробиологией, подтверждая гипотезу "семантического хаба" в современных языковых моделях. Это исследование связывает воедино результаты предыдущих работ и имеет значительное влияние для создания более совершенных мультимодальных моделей и дальнейшего изучения связей между работой искусственного интеллекта и когнитивными функциями человеческого мозга.