NVIDIA представила обновленный ChatRTX AI с улучшенными возможностями, которые выводят работу с ПК на новый уровень. Основные изменения включают различные расширенные возможности ввода, такие как голосовые и видео подсказки. В отличие от ChatGPT от OpenAI, ChatRTX разработан для работы в локальной системе, что обеспечивает более персонализированную работу и доступность без подключения к Интернету.

Одно из ключевых улучшений ChatRTX - поддержка LLM (large language models). Он поддерживает несколько LLM, включая Gemma от Google и ChatGLM3, который работает на английском и китайском языках. Это обеспечивает пользователям большую гибкость при работе с чат-ботом.

Другим важным нововведением является поддержка поиска и взаимодействия с локальными фотоданными. Благодаря системе предварительного обучения контрастного языка и изображения (CLIP) от OpenAI, пользователи могут легко искать и манипулировать своими фотографиями без сложной маркировки метаданных.

ChatRTX также получил поддержку системы автоматического распознавания речи AI под названием Whisper. Это позволяет чат-боту понимать и взаимодействовать с устной речью пользователей.

Одним из преимуществ ChatRTX от NVIDIA является его конфиденциальность. Пользователи могут разрешить доступ к локальным файлам и быть уверенными в безопасности своих данных. Благодаря использованию искусственного интеллекта, ChatRTX работает гораздо быстрее, чем альтернативные решения.

Чат-бот также может подключаться к различным языковым моделям, используя программное обеспечение NVIDIA TensorRT-LLM и Retrieval Augmented Generated (RAG). Это обеспечивает ускоренную обработку и производительность при работе с графическими возможностями.

Наконец, обновленный ChatRTX от NVIDIA позволяет персонализировать его, обучая модель на собственных данных и работая с изображениями благодаря интеграции CLIP от OpenAI. Это позволяет чат-боту нативно перемещаться по изображениям и выполнять различные действия в зависимости от указанных подсказок.