Компания Xiaomi анонсировала MiMo — свою первую открытую языковую модель с 7 млрд параметров, ориентированную на выполнение логических задач, математических расчётов и написание кода. Как следует из технического отчёта на GitHub, модель, созданная командой Xiaomi Big Model Core, по эффективности сопоставима с более крупными аналогами, включая o1-mini от OpenAI и Qwen-32B-Preview от Alibaba, несмотря на компактный размер.
MiMo обучалась на 25 трлн токенов в три этапа, с использованием улучшенных методов обработки данных, включая многоуровневую фильтрацию для повышения плотности логических паттернов. На этапе пост-тренинга применялось обучение с подкреплением (RL) на 130 тыс. задач по математике и программированию, проверенных алгоритмами на точность и сложность. Для стабилизации процесса Xiaomi внедрила систему вознаграждений на основе сложности тестов и повторную выборку лёгких данных.
Модель доступна в четырёх вариантах: MiMo-7B-Base (базовая), MiMo-7B-RL-Zero (обучение с нуля через RL), MiMo-7B-SFT (точечная донастройка) и MiMo-7B-RL (оптимизированная RL-версия). Последняя демонстрирует 95,8% точности в тесте MATH-500, 68,2% — на AIME 2024 и 57,8% — в LiveCodeBench v5. В общих задачах модель показывает 54,4% в GPQA Diamond и 61% в IF-Eval.
Благодаря компактности MiMo подходит для корпоративного использования и работы на устройствах с ограниченными ресурсами. Исходный код и чекпоинты модели опубликованы на Hugging Face, а полная документация — на GitHub.
