Компания AMD догнала NVIDIA и Intel в гонке за возможность запустить локальный чатбот ИИ на своем оборудовании. В среду в блоге Team Red появилась новая запись - сотрудники Team Red опубликовали удобное пошаговое руководство "Как запустить большую языковую модель (LLM) на ПК с ИИ AMD Ryzen или видеокартой Radeon".
Они рекомендуют заинтересованным лицам загрузить правильную версию LM Studio. Их Windows-вариант с привязкой к процессору, разработанный для более дорогих чипов Phoenix и Hawk Point, совместимых с Ryzen AI PC, может развернуть экземпляры ИИ-чатбота на базе GPT с поддержкой LLM. Техническое представление LM Studio ROCm функционирует аналогичным образом, но зависит от наличия видеокарты Radeon RX 7000. Поддерживаются следующие GPU: gfx1100, gfx1101 и gfx1102.
AMD считает, что: "ИИ-помощники быстро становятся необходимыми ресурсами для повышения производительности, эффективности и даже для мозгового штурма идей". В своем блоге AMD также обращает внимание на автономную функциональность LM Studio: "Локальный ИИ-чатбот на вашей машине не только не требует подключения к Интернету, но и ваши разговоры остаются на вашей локальной машине".
Руководство из шести шагов предлагает любопытным пользователям поэкспериментировать с несколькими крупными языковыми моделями - в первую очередь с Mistral 7b и LLAMA v2 7b. Они настоятельно рекомендуют выбирать варианты с "Q4 K M" (она же 4-битное квантование).