В последние годы наблюдается экспоненциальный рост возможностей больших языковых моделей (LLM), таких как ChatGPT, в области обработки и генерации человеческой речи. Эти системы демонстрируют впечатляющие результаты в самых разных задачах — от написания текстов и перевода до ответов на вопросы и ведения диалогов. Однако, несмотря на очевидный прогресс, вопрос о том, насколько глубоко LLM имитируют когнитивные процессы, происходящие в человеческом мозге при обработке информации, оставался открытым. Недавнее исследование, проведенное учеными из Колумбийского университета и Институтов медицинских исследований Файнштейна, попыталось пролить свет на эту загадку, изучив корреляцию между внутренними представлениями, формируемыми LLM, и нейронными реакциями, регистрируемыми в мозге человека.
Источником вдохновения для этой работы послужил бурный рост исследований в области LLM и нейронаук, изучающих искусственный интеллект. Предыдущие исследования показывали определенное сходство между векторными представлениями слов в более ранних моделях, таких как GPT-2, и реакциями мозга на эти слова. Однако стремительное развитие этой области привело к появлению гораздо более мощных моделей, таких как ChatGPT и его аналогов. Возник вопрос: сохраняется ли это сходство с человеческим мозгом у новых, более совершенных LLM?
Основной целью нового исследования стало установление факта наличия или отсутствия сходства между современными LLM и человеческим мозгом в процессе обработки информации. Это знание может помочь нам лучше понять современные принципы работы искусственного интеллекта и механизмы обработки языка в нашем собственном мозге. Ученые проанализировали 12 различных моделей с открытым исходным кодом, имеющих схожую архитектуру и количество параметров, что позволило им сосредоточиться именно на влиянии масштаба и сложности модели. Параллельно с этим, исследователи регистрировали нейронные реакции в мозге пациентов, перенесших нейрохирургические операции, которым в рамках лечения были имплантированы электроды. Во время эксперимента пациенты слушали речь, а ученые фиксировали активность различных областей мозга.
Затем текст этой же речи был передан на обработку LLM. Ученые извлекли из моделей так называемые «векторные представления» — внутренние цифровые коды, которые используются различными слоями модели для кодирования и обработки текста. Сравнивая эти векторные представления с зарегистрированными нейронными реакциями, исследователи стремились определить, насколько схожи процессы обработки информации в LLM и в мозге. Для этого они использовали вычислительные методы, позволяющие предсказывать реакции мозга на основе векторных представлений. Чем точнее оказывался прогноз, тем выше считалась степень сходства.
Ученые сравнивали реакции мозга на речь с тем, как ту же речь обрабатывают различные LLM, анализируя векторные представления слов.
Особое внимание уделялось тому, какие именно слои LLM наиболее тесно коррелируют с различными областями мозга, участвующими в обработке языка. Известно, что в нашем мозге обработка речи происходит поэтапно: от анализа акустических характеристик звука к распознаванию фонем и, наконец, к пониманию смысла слов и предложений. Исследователи обнаружили, что по мере увеличения мощности LLM (что выражается, например, в улучшении их способности отвечать на вопросы), их внутренние представления становятся все более похожими на нейронные реакции мозга.
Более того, соответствие между иерархией обработки информации в LLM и в человеческом мозге также возрастает с повышением производительности моделей. Это означает, что последовательные слои более мощных LLM извлекают информацию, аналогичную той, что извлекается последовательными областями мозга при обработке языка. Этот результат свидетельствует о том, что не только конечный результат обработки, но и сам процесс становится все более похожим на то, как это происходит в человеческом мозге.
Полученные данные имеют далеко идущие последствия. Во-первых, они указывают на то, что современный подход к архитектуре и обучению LLM, по-видимому, приближает эти модели к принципам, используемым человеческим мозгом, который является высокоспециализированной системой для обработки языка. Во-вторых, возникает вопрос о том, является ли это совпадение случайным или же существуют некие фундаментальные принципы, определяющие наиболее эффективный способ понимания языка, к которому независимо приходят как естественные, так и искусственные системы.
Данное исследование открывает новые перспективы для дальнейшего изучения взаимосвязи между LLM и мозгом. Сравнивая представления LLM с нейронными реакциями, ученые надеются не только лучше понять, как работает искусственный интеллект, но и получить новые знания о работе человеческого мозга. Возможно, в будущем эти исследования позволят создать еще более мощные и эффективные LLM, которые будут еще точнее имитировать когнитивные процессы, происходящие в нашем сознании.
