Когда компания xAI готовилась представить свою первую языковую модель под названием Grok, Илон Маск уверенно заявил, что по некоторым важнейшим параметрам эта генеративная модель ИИ является лучшей из существующих на сегодняшний день. Теперь появились конкретные доказательства, подтверждающие заявление Маска.

Киран Пастер, исследователь из Университета Торонто, недавно подверг несколько моделей ИИ тщательному тестированию с помощью экзамена по математике. Важно отметить, что в сфере анализа данных под "зарезервированными" вопросами понимаются те, которые не входят в набор данных, используемых для обучения модели ИИ. Следовательно, для интерпретации и реагирования на такие стимулы модель должна полагаться на свое предыдущее обучение. Пастер вручную оценивал ответы каждой модели.

Как выяснилось, Grok превзошел все остальные ИИ, включая Claude 2 от Anthropic, за исключением GPT-4 от OpenAI, набрав 59 баллов против 68 баллов у GPT-4.

Интересно, что хотя ChatGPT-3.5 от OpenAI набрал больше баллов, чем Grok, ему не удалось достичь такого же результата в тесте по математике. Пастер интерпретирует этот результат, утверждая, что превосходство ChatGPT-3.5 над GSM8k является следствием переподгонки, когда ИИ-модель дает точные результаты на обучающих данных, но не справляется с новой информацией.

Если отбросить модели, которые, скорее всего, страдают от перегрузки, то Grok занимает вторую позицию в рейтинге GSM8k, уступая только GPT-4. Это говорит о том, что Grok демонстрирует надежные способности к обработке данных.