Primate Labs, создатели широко используемого инструмента сравнительного анализа Geekbench, анонсировали новый инструмент, предназначенный для оценки производительности устройств в алгоритмических рабочих нагрузках искусственного интеллекта (ИИ).

Новый инструмент, названный просто Geekbench AI, обеспечивает анализ возможностей устройства при выполнении задач машинного обучения путем измерения производительности процессора, графического процессора и нейронного процессора (NPU). Geekbench AI основан на более ранней «предварительной версии», такой как Geekbench ML, которая была представлена ещё в 2021 году. Переименованный тест теперь предлагает более простой подход и поддерживает несколько платформ, включая CoreML, ONNX, OpenVINO и TensorFlow Lite.

Geekbench AI предоставляет три метрики производительности: полную точность, половинную точность и количественную оценку. Каждая метрика сопровождается оценкой точности, которая измеряет, насколько хорошо устройство может выполнять задачи ИИ по сравнению с ожидаемыми результатами.

Ожидается, что Geekbench AI станет стандартным инструментом для разработчиков, инженеров-аппаратчиков и простых пользователей. Разработчики могут использовать тест Geekbench AI для обеспечения стабильной производительности во всех приложениях на разных платформах, в то время как инженеры-аппаратчики могут использовать его для оценки и улучшения архитектуры устройств. Geekbench AI также может измерять реальные рабочие нагрузки, а не только теоретические тесты.

Primate Labs также отметила, что выпуск Geekbench AI отвечает растущей сложности рабочей среды ИИ, которая значительно варьируется в зависимости от устройства, оборудования и требований к задачам. Три различных показателя производительности обеспечивают более разнообразное представление возможностей ИИ и отражают различные способы выполнения задач ИИ на разных конфигурациях оборудования.

Хотя точное измерение производительности устройства с различными языковыми моделями может быть сложным, поскольку каждая модель работает по-разному, оптимизируется по-разному и постоянно развивается, Geekbench AI остается одним из лучших инструментов для измерения производительности устройств с помощью ИИ. Поскольку технология ИИ продолжает развиваться и становится всё более интегрированной в повседневные устройства, такие инструменты, как Geekbench AI, будут становиться всё более важными для оценки и улучшения производительности устройств.