Сегодня NVIDIA представила новую функцию под названием "Чат с RTX", предоставляющую альтернативный путь для людей, опасающихся участвовать в онлайн беседах с ИИ. Этот чат-бот, построенный с помощью ИИ, работает локально на графических процессорах GeForce RTX 3000 и RTX 4000, используя возможности программного обеспечения TensorRT-LLM, полностью поддерживаемые картами RTX. Чат NVIDIA с RTX направлен на демократизацию доступа к возможностям видеокарт для задач, связанных с ИИ. В то время как ИИ поражает нас своими достижениями в работе с изображениями и видео, сфера чатов до сих пор была ограничена крупными центрами обработки данных из-за требований к ресурсам сложных лингвистических моделей.
Помимо работы в качестве обычного текстового процессора, Chat with RTX может взаимодействовать с различными форматами файлов, включая текст, pdf, doc/docx и xml. Для генерации ответов он использует возможности известных больших языковых моделей, таких как Mistral или Llama2, а также может работать с онлайн-ресурсами, такими как видео на YouTube.
В настоящее время NVIDIA подтвердила совместимость исключительно с графическими процессорами RTX 3000 и RTX 4000, не упоминая о поддержке серии RTX 2000. Кроме того, графические процессоры должны обладать минимум 8Gb VRAM, что исключает совместимость с RTX 3050 6Gb.