Компания IBM анонсировала предварительную версию языковой модели Granite 4.0 Tiny Preview, которая станет самой компактной в линейке Granite 4.0. Модель уже доступна в открытом доступе на платформе Hugging Face, хотя пока что не рекомендуется для использования в корпоративной среде. Это лишь ранняя сборка, которая прошла частичное обучение (2.5 триллиона токенов из запланированных 15 триллионов), но при этом показывает результаты, сравнимые с более крупной моделью Granite 3.3 2B Instruct.
Особенностью новинки стала возможность запуска нескольких параллельных задач на обычных потребительских GPU, даже на тех, которые стоят менее $350. Это стало возможным благодаря сочетанию низкого энергопотребления и оптимизации памяти. При работе с длинными текстами (до 128 тысяч знаков) модель использует на 72% меньше оперативной памяти по сравнению с предшественниками, что делает её привлекательной для разработчиков без мощного оборудования.
В основе Granite 4.0 Tiny Preview — гибридная архитектура Mamba-2 и Transformer. Такой подход объединяет скорость и экономию Mamba с точностью и глубиной анализа, характерной для трансформеров. Всего у модели 7 миллиардов параметров, но во время вывода задействовано только 1 миллиард, что положительно влияет на быстродействие и стабильность вычислений.
Для пользователей, желающих работать с моделью локально, ожидается интеграция через Ollama и LMStudio к моменту полноценного релиза, который намечен на лето. Также планируется выпуск моделей Granite 4.0 Small и Medium, расширяющих линейку для различных задач.
IBM также сообщила, что продолжает дорабатывать функции рассуждения и выполнения сложных команд, заимствованные из опыта с Granite 3.3. Ранее эти возможности уже были протестированы в версиях 3.2 и 3.3, и теперь они будут адаптированы для новых решений.