Исследователи сравнили результативность YandexGPT2 и GPT 3.5 от компании OpenAI. Согласно выводу исследования, в 63% от всех задач нейросеть от Яндекса показала себя лучше, чем ChatGPT.

При проведении сравнения использовался метод Side by Side (SBS) — это метод сравнения двух групп данных, при котором одна группа рассматривается как зависимая переменная, а другая как независимая. Этот метод используется для определения взаимосвязи между двумя переменными и позволяет исследовать влияние одной переменной на другую. Обе программы решали одну и ту же проблему. В свою очередь, AI-тренеры Яндекса выбирали ответ, наиболее соответствующий критериям. При этом им не было известно, какая именно из моделей его генерировала. Задачи брались из банка реальных запросов пользователей, обращающихся к YandexGPT 2. Так получилось взять задачи, реально соответствующие реальным темам и потребностям аудитории.

Алексей Гусаков, технический директор одного из подразделений компании, «Яндекс Поиска», заявил, что нейросети сравнивались не ради «абстрактных цифр в бенчмарке», а для улучшения показателей, развития и совершенствованию продукта. Это, по его словам, и объясняет решение взять запросы для сравнения из настоящих запросов.

YandexGPT способна пересказывать тексты, обобщать собранную информацию, генерировать идеи и поддерживать диалог с пользователем и так далее.