Дефицит памяти DRAM заставляет работающие на рынке искусственного интеллекта компании прибегать к необычным мерам для получения доступа к ней. В частности, Google начала извлекать модули памяти DDR4 из списанных серверов. Об этом рассказал старший директор по инфраструктуре цепочки поставок Google Нихил Чериан.

Поскольку на высокопроизводительную память приходится около 75% стоимости комплектующих ИИ-серверов, Google создала специальные аппаратные адаптеры для подключения памяти прошлых поколений к новому поколению своих серверов. Компания не только разбирает собственные серверы, но и повторно импортирует списанные для извлечения памяти DDR4.

Изображение: Gemini

Также Google старается сократить расход памяти. Компания оптимизирует базовую библиотеку функций, архитектуру моделей и сжатие KV-кэша.

В этом году Google выпустила две версии TPU ASIC: TPU 8t предназначен для обучения конкретной модели ИИ, а TPU 8i оптимизирован для вывода результатов. TPU 8i содержит в своём составе высокотехнологичную специализированную память. Каждый чип TPU 8i получил 288 ГБ памяти HBM3e с пропускной способностью 8,6 ТБ/с. Также в состав ASIC входят 384 МБ встроенной SRAM для хранения активного кэша ключ-значение (KV). Это устраняет необходимость обращения к внешней системной оперативной памяти.