Газета New York Times (NYT) хотела узнать, как часто «Обзоры от ИИ» Google содержат ошибки. Они поручили стартапу Oumi, занимающемуся разработкой ИИ, провести анализ. Компания детально изучила результаты Google. Напомним, «Обзоры от ИИ» (AI Overviews) — функция поисковой системы, использующая ИИ для генерации развёрнутых текстовых ответов непосредственно в поисковой выдаче.

Изображение: нейросеть freepik

Вывод Oumi: почти 9 из 10 ИИ-сводок  фактически верны, каждая десятая содержит ошибки. По словам экспертов, при более чем 5 триллионах поисковых запросов в год это означает, что десятки миллионов обзоров от ИИ выдают неточную информацию каждый час.

Тестировщики также обнаружили, что источники, предоставляемые Google, не всегда подтверждают представленную информацию — даже когда сводки верны. Обзор от ИИ обычно содержит источник информации. Однако анализ показывает, что информация не всегда совпадает. Это также касалось более половины правильных ответов ИИ. Oumi тестировал «Обзоры от ИИ» Google дважды для The New York Times: в октябре и в феврале. С тех пор Google частично изменила базовые модели ИИ. Oumi выполнил 4326 поисков каждый раз. С осени точность увеличилась с 85% до 91% благодаря частичному переходу с Gemini 2 на версию 3.

Google видит проблему не столько в собственных результатах поиска, сколько в OpenAI, разработавшей базовый тест. По словам Google, этот тест не отражает того, что люди на самом деле ищут. Вместо этого Google использует собственную внутреннюю систему проверки, как объяснил представитель компании в интервью New York Times. Тем не менее анализ показывает, что Обзоры от ИИ ненадежны — на это Google сама указывает в каждой сводке.