Современные системы искусственного интеллекта, особенно большие языковые модели, традиционно требуют мощных графических процессоров (GPU) для своей работы. Это создает несколько серьезных проблем: высокую стоимость оборудования, огромное энергопотребление и ограниченную доступность технологий. Команда Microsoft Research совместно с учеными из Университета Китайской академии наук предложили революционное решение – модель BitNet b1.58, которая эффективно работает на обычных центральных процессорах (CPU).
Ключевое отличие новой технологии – переход от традиционных 8- или 16-битных вычислений к 1-битной архитектуре. Вместо сложных математических операций с числами с плавающей точкой, система использует всего три возможных значения весов: -1, 0 и +1. Такой подход позволяет заменить ресурсоемкие умножения простыми операциями сложения и вычитания, что кардинально снижает нагрузку на процессор.
Разработчики подчеркивают, что обычные ИИ-модели требуют значительных вычислительных ресурсов, тогда как их подход делает возможным запуск сложных языковых моделей на устройствах без мощных видеокарт. В ходе тестирования BitNet b1.58 показала сопоставимую производительность с GPU-моделями аналогичного класса, потребляя при этом в несколько раз меньше энергии.
Для работы системе требуется всего 0,4 ГБ оперативной памяти – в 5-10 раз меньше, чем традиционным решениям. Особенно впечатляет, что модель демонстрирует такую эффективность при поддержке обработки до 4096 токенов одновременно. Для оптимальной работы новой архитектуры исследователи разработали специальную среду выполнения bitnet.cpp, которая максимально использует преимущества 1-битных вычислений.
Открытый исходный код BitNet поддерживает широкий спектр задач – от понимания естественного языка и ведения диалогов до выполнения математических расчетов и программирования. Технология особенно перспективна для локального использования ИИ на персональных устройствах, что решает проблему зависимости от облачных серверов и повышает конфиденциальность данных.
В Microsoft Research видят значительный потенциал в 1-битных архитектурах, которые могут сделать сложные ИИ-технологии доступнее для обычных пользователей и одновременно снизить их экологический след. Разработчики продолжают совершенствовать технологию, исследуя возможности ее масштабирования для более сложных задач.