Компания Microsoft объявила о том, что оптимизированные версии моделей DeepSeek R1 будут поставляться непосредственно на устройства, оснащенные нейронными процессорами (NPU). Первой версией станет DeepSeek-R1-Distill-Qwen-1.5B, за которой в будущем последуют более мощные варианты 7B и 14B - модели, которые будут доступны через AI Toolkit и позволят разработчикам создавать приложения на основе ИИ, эффективно работающие непосредственно на устройстве пользователя.
Чтобы обеспечить оптимальную производительность на оборудовании NPU, Microsoft применила несколько передовых методов оптимизации. К ним относится использование специального дизайна, обеспечивающего очень быстрое время отклика и поддержку очень длинных контекстов в соответствии с аппаратными ограничениями устройств. Кроме того, используется 4-битная схема квантования QuaRot, позволяющая в полной мере использовать преимущества обработки с низкой точностью. В результате этих оптимизаций DeepSeek R1 с объемом памяти 1,5 ББ имеет время отклика на первый маркер всего 130 миллисекунд и скорость обработки 16 маркеров в секунду при коротких запросах.
Интеграция DeepSeek R1 в ПК Copilot+ - это важный шаг на пути демократизации передового искусственного интеллекта. Пользователи смогут взаимодействовать с новой моделью полностью локально, без необходимости постоянного подключения к Интернету или отправки конфиденциальных данных на удаленные серверы. Для разработчиков Microsoft сделала процесс тестирования и интеграции моделей DeepSeek R1 предельно простым. Достаточно загрузить расширение AI Toolkit для Visual Studio Code и получить доступ к каталогу оптимизированных моделей, извлеченных непосредственно из Azure AI Foundry. После локальной загрузки модель можно легко протестировать с помощью интегрированного Playground.
Очень быстрый шаг Microsoft является частью все более бурной конкуренции в области искусственного интеллекта. Компания с образцовой скоростью поддержала DeepSeek R1, несмотря на споры вокруг этой модели. Недавно OpenAI обвинила DeepSeek в использовании проприетарного кода для разработки своей модели ИИ, что представляет собой огромное конкурентное преимущество для китайской технологии. Компания утверждает, что обучение модели R1 обошлось менее чем в 10 миллионов долларов США, что значительно отличается от цифр, вложенных американскими компаниями.
Несмотря на споры, Microsoft, похоже, намерена продолжать свою стратегию интеграции ИИ на локальных устройствах Windows. Компания также делает модели DeepSeek R1 доступными в облаке через Azure AI Foundry, предлагая компаниям надежную и масштабируемую платформу для интеграции ИИ в свои процессы, соблюдая при этом стандарты безопасности и отчетности. Будет интересно посмотреть, как разработчики будут использовать эти новые возможности и какие инновационные приложения появятся в экосистеме Windows.
