xAI, конкурент OpenAI, основанный Илоном Маском, представил первую версию Grok, способную обрабатывать визуальную информацию. «Grok-1,5V» — это мультимодальная модель искусственного интеллекта первого поколения компании, которая может обрабатывать не только текст, но и «документы, диаграммы, графики, снимки экрана и фотографии». В анонсе xAI было приведено несколько примеров того, как его возможности можно использовать в реальном мире. Вы можете, например, показать ему фотографию блок-схемы и попросить Grok перевести ее в код Python, заставить его написать историю на основе рисунка и даже объяснить мем, который вы не можете понять.

Новая версия выходит всего через пару недель после того, как компания представила Grok-1.5. Эта модель была разработана так, чтобы лучше справляться с кодированием и математикой, чем ее предшественница, а также имеет возможность обрабатывать более длинные контексты, чтобы она могла проверять данные из большего количества источников и лучше понимать определенные запросы. В компании xAI заявили, что ее первые тестеры и существующие пользователи вскоре смогут оценить возможности Grok-1.5V, хотя точные сроки ее внедрения не были названы.

Помимо представления Grok-1.5V, компания также выпустила набор тестовых данных под названием RealWorldQA. Вы можете использовать любое из 700 изображений RealWorldQA для оценки моделей ИИ: каждый элемент содержит вопросы и ответы, которые вы можете легко проверить, но которые могут поставить в тупик мультимодальные модели, такие как Grok. Компания xAI заявила, что ее технология получила высшую оценку, когда компания протестировала ее с помощью RealWorldQA против конкурентов, таких как OpenAI GPT-4V и Google Gemini Pro 1.5.