Сегодня компания Microsoft выпустила первую версию своей собственной линейки сверхмалых моделей Phi-3: Phi-3 Mini. Эта так называемая малая языковая модель (SLM) достаточно мала, чтобы легко работать на смартфоне.
Появление Phi-3 Mini последовало через несколько месяцев после появления Phi-2, которая уже имела относительно небольшие параметры. Несмотря на небольшой размер, эта модель все равно показала хорошие результаты в бенчмарках ИИ. Новая модель Phi-3 Mini имеет 3,8 млрд параметров и обучается на очень компактном наборе данных.
Функциональность и производительность
По словам Microsoft, Phi-3 Mini обладает значительно более развитыми навыками программирования и рассуждения, чем предыдущие модели SLM Phi-1 и Phi-2. В то время как Phi-1 преуспела в основном в написании программного кода, а Phi-2 – в прохождении нескольких шагов рассуждения, Phi-3 объединяет эти навыки и выполняет их лучше, чем ее предшественники.
Чудес от Phi-3 Mini ждать не стоит. Например, он не может сравниться по производительности с лидирующим в отрасли GPT-4 от OpenAI. Однако SLM от Microsoft, как утверждается, обеспечивает производительность, равную LLM, которые в 10 раз больше. Втиснуть большие модели в небольшой объем памяти можно также с помощью процесса изменения размера, называемого квантованием, но это значительно снижает точность. Альтернативой является просто более компактная модель, и это, похоже, не вызывает сомнений у Microsoft.
Phi-3 Mini учится по "учебному плану", который основан на том, как дети усваивают сказки на ночь. В нем используются книги с относительно простыми словами и структурой предложений, которые охватывают широкий спектр тем. Других магистров права попросили создать "детские книги", используя только список из трех тысяч слов. Затем они были использованы для обучения Phi-3 Mini, как сообщил корпоративный вице-президент Microsoft Azure AI Platform в комментарии The Verge.
Области применения Phi-3 Mini
Новая модель ИИ от Microsoft особенно подходит для использования в собственных приложениях компаний. Кроме того, Phi-3 Mini просто работает на обычных процессорах, без использования компьютера с ИИ. Модель может работать даже на смартфонах. Apple также работает над этим, как показало опубликованное ею исследование.
Другие версии Phi-3 LLM на подходе
На выпуске Phi-3 Mini дело не остановится. Вскоре Microsoft также планирует выпустить варианты Phi-3 Small (7 млрд параметров) и Phi-3 Medium (14 млрд параметров). Когда появятся эти SLM, пока неизвестно.
Сейчас Phi-3 Mini доступен через Azure, а также на ИИ-платформах Hugging Face и Ollama.
