Nvidia и Mistral AI анонсировали перспективную компактную языковую модель, которая, как сообщается, демонстрирует "выдающуюся" точность при минимальном размере. Эта новая модель называется Mistral-NemMo-Minitron 8B и является уменьшенной модификацией NeMo 12B, параметры которой были снижены с 12 млрд до 8 млрд. Разработчики этой модели применили метод, совмещающий обрезку и дистилляцию.

  "Обрезка позволяет уменьшить размеры нейронной сети путем устранения менее значимых аспектов модели, которые имеют незначительное влияние на точность. В процессе дистилляции команда переобучила эту усеченную модель на ограниченном наборе данных, что позволило существенно повысить её точность, упавшую из-за обрезки", - заявили в компании Nvidia.

  Nvidia создала Minitron 8B, основываясь на стандартном компьютерном оборудовании. Модель упакована как сервис NIM Nvidia, а её архитектура оптимизирована для минимальной задержки, что способствует улучшению времени отклика. Компания предлагает собственный сервис для работы с моделями AI Foundry, позволяя адаптировать Minitron 8B для использования на менее производительных устройствах, таких как мобильные телефоны. Хотя точность и производительность могут быть снижены, Nvidia уверяет, что модель останется высококачественным языковым модулем, которому потребуется гораздо меньше обучающих данных и вычислительных ресурсов, чем обычно.

  Новые оптимизации дали возможность разработчикам обучить улучшенную модель на "части исходного набора данных", что позволило сократить затраты на вычисления до 40 раз. В традиционном подходе модели ИИ сталкиваются с необходимостью компромисса между масштабом и точностью, но благодаря инновационным методам от Nvidia и Mistral AI языковые модели теперь могут сочетать в себе преимущества обоих аспектов.

  Mistral-NeMo-Minitron 8B, обладающая этими новыми характеристиками, вероятно, занимает лидирующие позиции в девяти языковых тестах ИИ среди моделей схожего объема. Экономия вычислительных ресурсов достаточно велика, чтобы обычные компьютеры могли выполнять Minitron 8B локально.