Исследователи Microsoft разработали новую языковую модель BitNet b1.58 2B4T, представляющую из себя компактный и энергоэффективный искусственный интеллект (ИИ), способный работать даже на процессорах без графических ускорителей. Благодаря минимальным требованиям к «железу», модель можно запускать на потребительских устройствах, включая ноутбуки с процессором Apple M2, сообщает Tom's Hardware.
BitNet b1.58 — это открытая LLM (large language model) с двумя миллиардами параметров, обученная на четырёх триллионах токенов. Главная ее особенность в использовании 1-битных весов, принимающих всего три значения: -1, 0 и +1. Технически это делает модель 1.58-битной, что в десятки раз снижает объём памяти и вычислительные ресурсы по сравнению с традиционными 32-битными ИИ.
«BitNet позволяет запускать ИИ без необходимости в дорогом оборудовании», — говорится в описании проекта на GitHub. Модель использует собственный фреймворк bitnet.cpp, который обеспечивает высокоскоростной и точный вывод на CPU. При использовании стандартной библиотеки transformers, даже с модификацией, добиться такого же уровня производительности не получится.
В тестах BitNet b1.58 2B4T показала достойные результаты по сравнению с аналогами от крупных компаний, таких как Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) и Alibaba (Qwen 2.5 1.5B). В некоторых бенчмарках модель даже заняла лидирующие позиции. При этом она использует лишь 400 МБ оперативной памяти, а это менее 30% от того, что требуется ближайшему конкуренту.
Модель уже доступна на платформе Hugging Face, что позволяет энтузиастам, разработчикам и исследователям экспериментировать с ней без ограничений. По словам команды, в будущем планируется добавить поддержку NPU и GPU, но уже сейчас BitNet открывает доступ к ИИ для тех, у кого нет мощных устройств.
По мнению экспертов, разработка может стать важным шагом к снижению зависимости от дата-центров и сверхмощных вычислительных систем. «Лёгкие LLM вроде BitNet b1.58 позволяют запускать ИИ локально, экономя энергию и ресурсы», — подчёркивают разработчики Microsoft.
