Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
В последние годы наблюдается экспоненциальный рост возможностей больших языковых моделей (LLM), таких как ChatGPT, в области обработки и генерации человеческой речи. Эти системы демонстрируют впечатляющие результаты в самых разных задачах — от написания текстов и перевода до ответов на вопросы и ведения диалогов. Однако, несмотря на очевидный прогресс, вопрос о том, насколько глубоко LLM имитируют когнитивные процессы, происходящие в человеческом мозге при обработке информации, оставался открытым. Недавнее исследование, проведенное учеными из Колумбийского университета и Институтов медицинских исследований Файнштейна, попыталось пролить свет на эту загадку, изучив корреляцию между внутренними представлениями, формируемыми LLM, и нейронными реакциями, регистрируемыми в мозге человека.
Источником вдохновения для этой работы послужил бурный рост исследований в области LLM и нейронаук, изучающих искусственный интеллект. Предыдущие исследования показывали определенное сходство между векторными представлениями слов в более ранних моделях, таких как GPT-2, и реакциями мозга на эти слова. Однако стремительное развитие этой области привело к появлению гораздо более мощных моделей, таких как ChatGPT и его аналогов. Возник вопрос: сохраняется ли это сходство с человеческим мозгом у новых, более совершенных LLM?
Основной целью нового исследования стало установление факта наличия или отсутствия сходства между современными LLM и человеческим мозгом в процессе обработки информации. Это знание может помочь нам лучше понять современные принципы работы искусственного интеллекта и механизмы обработки языка в нашем собственном мозге. Ученые проанализировали 12 различных моделей с открытым исходным кодом, имеющих схожую архитектуру и количество параметров, что позволило им сосредоточиться именно на влиянии масштаба и сложности модели. Параллельно с этим, исследователи регистрировали нейронные реакции в мозге пациентов, перенесших нейрохирургические операции, которым в рамках лечения были имплантированы электроды. Во время эксперимента пациенты слушали речь, а ученые фиксировали активность различных областей мозга.
Затем текст этой же речи был передан на обработку LLM. Ученые извлекли из моделей так называемые «векторные представления» — внутренние цифровые коды, которые используются различными слоями модели для кодирования и обработки текста. Сравнивая эти векторные представления с зарегистрированными нейронными реакциями, исследователи стремились определить, насколько схожи процессы обработки информации в LLM и в мозге. Для этого они использовали вычислительные методы, позволяющие предсказывать реакции мозга на основе векторных представлений. Чем точнее оказывался прогноз, тем выше считалась степень сходства.
Особое внимание уделялось тому, какие именно слои LLM наиболее тесно коррелируют с различными областями мозга, участвующими в обработке языка. Известно, что в нашем мозге обработка речи происходит поэтапно: от анализа акустических характеристик звука к распознаванию фонем и, наконец, к пониманию смысла слов и предложений. Исследователи обнаружили, что по мере увеличения мощности LLM (что выражается, например, в улучшении их способности отвечать на вопросы), их внутренние представления становятся все более похожими на нейронные реакции мозга.
Более того, соответствие между иерархией обработки информации в LLM и в человеческом мозге также возрастает с повышением производительности моделей. Это означает, что последовательные слои более мощных LLM извлекают информацию, аналогичную той, что извлекается последовательными областями мозга при обработке языка. Этот результат свидетельствует о том, что не только конечный результат обработки, но и сам процесс становится все более похожим на то, как это происходит в человеческом мозге.
Полученные данные имеют далеко идущие последствия. Во-первых, они указывают на то, что современный подход к архитектуре и обучению LLM, по-видимому, приближает эти модели к принципам, используемым человеческим мозгом, который является высокоспециализированной системой для обработки языка. Во-вторых, возникает вопрос о том, является ли это совпадение случайным или же существуют некие фундаментальные принципы, определяющие наиболее эффективный способ понимания языка, к которому независимо приходят как естественные, так и искусственные системы.
Данное исследование открывает новые перспективы для дальнейшего изучения взаимосвязи между LLM и мозгом. Сравнивая представления LLM с нейронными реакциями, ученые надеются не только лучше понять, как работает искусственный интеллект, но и получить новые знания о работе человеческого мозга. Возможно, в будущем эти исследования позволят создать еще более мощные и эффективные LLM, которые будут еще точнее имитировать когнитивные процессы, происходящие в нашем сознании.