Американский стартап Tiiny AI официально представил устройство под названием Pocket Lab. Компания уже успела зарегистрировать рекорд: Книга рекордов Гиннесса признала это самый маленький в мире мини-ПК для работы со 100-байтовыми языковыми моделями в локальной конфигурации.

Главная особенность устройства — его производительность. Pocket Lab способен запускать на себе языковую модель со 120 миллиардами параметров. Ему для работы не нужны облачные сервера, интернет или мощные графические процессоры. Все вычисления происходят прямо на устройстве. Технически Pocket Lab потребляет всего 65 Вт энергии. Это значительно меньше, чем у традиционных систем для ИИ.

Внутри установлено 80 ГБ оперативной памяти и твердотельный накопитель объемом 1 ТБ. Данные на устройстве шифруют по стандартам, которые используют банки. По словам представителей компании, такой подход решает сразу несколько проблем. Пользователи получают полную конфиденциальность, так как их данные никуда не уходят. Система может работать автономно, без доступа в сеть.