В последние годы многие компании, работающие в сфере искусственного интеллекта, такие как OpenAI и Google, масштабируют свои модели. Запуск больших языковых моделей с миллиардами параметров и предоставление их всем пользователям одновременно требуют огромной вычислительной мощности. Но что, если бы таких вычислительных мощностей вообще не было и разработчики продолжали использовать старые технологии?
Модели ИИ также можно запускать на старом ПК
Программисты EXO Labs также задавали себе этот вопрос. Они приобрели старый компьютер с Windows 98, чтобы запустить на нём ИИ-модель. Согласно сообщению в блоге, оборудованию более 25 лет. Программисты заплатили за него около 119 британских фунтов. У компьютера был процессор Intel Pentium II и 128 мегабайт оперативной памяти.

По сравнению с сегодняшними домашними компьютерами это, конечно, ничтожно малая производительность. Если сравнить все это с центрами обработки данных ИИ, энергопотребление которых продолжает стремительно расти, то проект кажется практически невыполнимым. Но на самом деле, выполнив всего несколько простых шагов, на компьютере можно запустить небольшую версию Llama 2 с общим количеством параметров 260 000.

В число необходимых шагов входило подключение старого оборудования к порту PS/2, поскольку имеющиеся порты USB не работали. Затем Llama 2 была перенесена на ПК через FTP. Это было лишь временным решением, поскольку ПК не распознавал диски, а имеющийся жесткий диск с четырьмя терабайтами памяти был слишком большим для файловой системы FAT32 под Windows 98.

Результат: в старой версии Windows 98 модель с 260 000 параметрами может генерировать около 40 токенов в секунду (токены представляют собой наименьшие единицы данных, которые обрабатывает модель, такие как слова или символы при обработке естественного языка).

Программисты также использовали старое оборудование с языковой моделью с 15 миллионами параметров. В этом случае оборудование начало тормозить и генерировать только один токен в секунду.

Используя тест производительности, программисты подсчитали, как долго ПК с Windows 98 сможет работать с моделью Llama 3.2 и, следовательно, с миллиардом параметров. Однако результат в 0,0093 токена в секунду непригоден для нормального использования ИИ.