Nvidia уже не считается лидером в области разработки процессоров искусственного интеллекта. Новые компании-производители микросхем хотят заработать на рынке, который аккумулировал сотни миллиардов. Groq – не путать с LLM «Grok» от стартапа Илона Маска xAI – теперь считается самой перспективной компанией в очень молодой отрасли.
Основатель Groq Джонатан Росс. Изображение: GroqGroq создаёт так называемые языковые процессоры (LPU), которые были специально разработаны для обработки генеративного ИИ на основе больших языковых моделей (LLM). Ожидается, что эти LPU превзойдут графические процессоры Nvidia, которые доминировали в отрасли и сделали Nvidia более ценной, чем Google или Amazon.
Технически Groq занимается оптимизацией выводов, которые модель ИИ делает на основе входных данных и генерирует ответ.
«LPU — это новая система комплексных процессоров, которая обеспечивает самый быстрый вывод для ресурсоемких приложений», — сообщает компания на своем сайте.
Новые тесты производительности, в которые были включены Groq и его LPU, показывают, что эти новые ИИ-чипы уже значительно превосходят в некоторых отношениях центры обработки данных Microsoft Azure, Amazon Web Services или таких провайдеров, как Together.ai или DeepInfra. Почему LPU делают то, чего не могут сделать графические процессоры?
«LPU был разработан для преодоления двух недостатков LLM: плотности вычислений и пропускной способности памяти. LPU имеет большую вычислительную мощность, чем GPU или CPU. Это сокращает время обработки каждого слова, позволяя генерировать текст намного быстрее», — пишет компания.
Стартап Groq со штаб-квартирой в Маунтин-Вью был основан в 2016 году Джонатаном Россом, который ранее запустил проект для тензорных процессоров (TPU) в Google. TPU были разработаны специально для TensorFlow и теперь являются практически технической основой для всех сервисов Google, использующих машинное обучение.
Еще в апреле 2021 года, задолго до того, как начался ажиотаж вокруг ИИ, стартап Groq привлек крупный раунд финансирования в размере $300 млн, в том числе от таких компаний, как Tiger Global Management и D1 Capital. Потом компания приобрела подразделение Samsung в качестве партнера по производству чипов, а также Maxeler Technologies из Лондона.
