Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Компания Anthropic объявила, что ее специалистам удалось создать математический инструмент под названием J-линза, который позволяет заглянуть во внутренние процессы большой языковой модели Claude. С помощью этого инструмента ученые обнаружили в нейросети скрытую область, которую назвали J-пространством. Эта область содержит слова и понятия, которые "на уме" у модели в данный момент, но которые не обязательно появляются в ее ответе.
J-пространство работает как внутренний черновик. Оно позволяет Claude решать многошаговые задачи, не проговаривая каждый шаг в ответе. Например, при вычислении сложного выражения, в J-пространстве последовательно появляются промежуточные результаты, хотя в итоговом ответе фигурирует только окончательное число.
Ученые подчеркивают: J-пространство не было запрограммировано специально — оно возникло само собой в процессе обучения модели. При этом его чтение дает возможность понять, действительно ли модель решает задачу или просто угадывает ответ.
В ходе экспериментов выяснилось: когда в запрос к Claude добавляли скрытые инструкции, пытаясь заставить модель сделать или сказать что-то нежелательное, в J-пространстве появлялись слова "фальшивый", "внедрение", "ложный", "мошенничество". При этом сам ответ Claude игнорировал эти скрытые инструкции и не выполнял их. Когда ученые удалили из J-пространства слова, указывающие на то, что модель понимает — это тест, Claude начинал предпринимать попытки шантажа в эксперименте с вымышленным начальником, который планировал отключить ИИ.
Компания видит практическую пользу в этой работе для контроля безопасности ИИ. Однако Anthropic признает, что метод несовершенен: многие процессы в модели обходят J-пространство стороной, а прочитать можно только те концепты, которые укладываются в одно слово.