Слабым местом агентного ИИ является обработка запросов, когда генерируется временный журнал памяти огромного объёма для создания контента. Сейчас эти данные хранятся в модулях памяти HBM. Потребности растут, и этой памяти становится недостаточно. На недавней выставке в Лас-Вегасе компания NVIDIA сообщила о подключении процессоров специального назначения BlueField-4 к новому типу хранилищ под названием Inference Memory Context Storage (IMCS). Производительность обработки данных может увеличиться, но платой за это станет дефицит чипов NAND, как уже произошло с оперативной памятью.
Аналитики Citi полагают, что одна система Vera Rubin может получить от NVIDIA 16 ТБ памяти NAND на графический процессор в стойке, что в конфигурации NVL72 потребует 1152 ТБ. Объём поставок Vera Rubin к 2027 году может составить 100 000 экземпляров. В результате только NVIDIA может сгенерировать спрос на NAND в размере 115,2 млн ТБ, без малого 10% общемирового спроса на чипы NAND на следующие годы.
На память NAND уже сейчас имеется повышенный спрос и дефицит, поскольку продолжается строительство центров обработки данных и распространение машинного обучения. Цены на твердотельные накопители уже выросли вдвое, но скоро они могут стать намного выше.
