Проверка качества ответов нейросетей стала отдельной задачей для разработчиков. В Сбере создали инструмент, который позволяет разбирать ответ по частям и отслеживать, где модель уходит от подтвержденных данных.

Изображение - ChatGPT

Специалисты Центра практического искусственного интеллекта Сбербанка открыли доступ к библиотеке SIRIN. Она ищет в ответах моделей сведения, которые не подтверждаются исходными данными, и помогает отличать точные формулировки от выдуманных.

Компания уже использовала этот инструмент внутри своих клиентских сервисов. Теперь библиотеку сделали доступной для всех, кто хочет применять ее в своих проектах.

SIRIN собирает в одном решении несколько способов анализа. Разработчик может сравнить их, объединить и выбрать тот, который лучше подходит под конкретную задачу. Библиотека умеет работать как с полным ответом, так и с отдельными фрагментами текста. Она также заранее оценивает, хватает ли модели информации для выдачи полноценного и верного ответа.

Основа SIRIN связана с исследованиями Сбера по поиску галлюцинаций в ответах ИИ. По данным компании, метамодели команды Максима Макаренко заметно повысили точность обнаружения ошибок даже при обучении на 250 примерах.