В последние годы мощные модели искусственного интеллекта, такие как ChatGPT, требуют значительных вычислительных ресурсов, что делает их размещение на локальных устройствах практически невозможным. Однако недавний прорыв в области сжатия данных предлагает новую перспективу. Новый алгоритм, названный Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), позволяет значительно уменьшить размер больших языковых моделей, что делает их потенциально доступными для смартфонов и ноутбуков.

Исследование описывает, как CALDERA работает, удаляя избыточность в коде и снижая точность слоев информации. Это позволяет сохранить необходимую функциональность, но с меньшими затратами на ресурсы. Ученые утверждают, что новая модель может работать с точностью, сопоставимой с оригиналом, хотя и на несколько более низких уровнях.

Андреа Голдсмит, соавтор исследования и профессор в Принстонском университете, отметила, что снижение вычислительной сложности и требований к памяти открывает новые возможности для интеграции ИИ в устройства, которые ранее не могли справляться с такими задачами. Это может оказать положительное влияние на использование ИИ в повседневной жизни, где конфиденциальность данных становится все более актуальной.

Когда пользователи обращаются к ChatGPT на своих устройствах, данные отправляются на удаленные серверы, где происходит их обработка. Это не только создает высокие расходы на электроэнергию, но и вызывает экологические проблемы. Модели ИИ, как правило, требуют подключения к множеству графических процессоров (GPU), что делает их использование на локальных устройствах сложным.

CALDERA объединяет две техники сжатия: «низкую точность», которая уменьшает количество бит, используемых для хранения информации, и «низкий ранг», который сокращает избыточность в параметрах, используемых при обучении языковых моделей. Это сочетание позволяет достичь более значительного сжатия, чем использование каждой техники по отдельности.

Команда исследователей протестировала алгоритм на моделях Llama 2 и Llama 3, получив улучшение производительности до 5% по сравнению с существующими методами сжатия. Это достижение может стать основой для хранения и запуска языковых моделей на мобильных устройствах, особенно в ситуациях, когда важна конфиденциальность.

Однако ученые предостерегают, что локальное использование таких моделей на смартфонах и ноутбуках может привести к быстрому разряду батареи. Раджарши Саха, докторант Стэнфорда и соавтор исследования, отметил, что, хотя CALDERA представляет собой полезный инструмент, он не решает всех проблем. Для достижения оптимальной работы важно сочетать различные техники, чтобы обеспечить эффективное использование ресурсов.