GPT-4o оказалась уязвима для взлома и может использоваться для голосового мошенничества

OpenAI разрабатывает новую версию ChatGPT, которая будет иметь специальные механизмы защиты
5 ноября 2024, вторник 13:00
Zelikman для раздела Блоги

  В эпоху стремительного развития искусственного интеллекта легко столкнуться с фальшивыми изображениями и видео, созданными ИИ-инструментами. Среди наиболее известных из них выделяются ChatGPT-4.0 от OpenAI и Gemini от Google, причем ChatGPT-4.0 занимает ведущее положение. Этот инструмент способен создавать реалистичные фейковые видео с участием реальных людей. Недавние исследования указывают на возможность взлома GPT-4o.

  Как сообщает BleepingComputer, ChatGPT-4o уязвим для взлома, что позволяет осуществлять голосовые мошенничества. Исследователи продемонстрировали, что API для голосового управления ChatGPT-4.0 может быть использован для создания различных обманов, хотя их эффективность может варьироваться от низкой до средней. Важно упомянуть, что такие мошенничества преимущественно основаны на синтезированном голосе.

  Согласно источнику, уже существующие пиратские версии GPT-40 могут представлять собой «многомиллионную проблему». Эти версии способны использовать технологии DeepFake и инструменты ИИ для преобразования текста в речь, что может усугубить ситуацию. Также источник предполагает, что эти технологии могут быть задействованы для организации больших мошеннических схем без человеческого вмешательства.

  В интервью изданию BleepingComputer представители OpenAI отметили, что их новая модель, которая в данный момент находится на стадии бета-тестирования, обеспечивает «углубленное рассуждение» и была разработана для более эффективной защиты от подобных злоупотреблений. 

  «Мы непрерывно улучшая ChatGPT, стремимся предотвратить злонамеренные попытки манипуляции, при этом сохраняя его функциональность и креативность», — сообщил представитель компании.

  Следует отметить, что последняя версия ИИ от OpenAI, обладающая голосовым помощником, может быть использована для создания определённых мошеннических схем. Новая версия ChatGPT включает в себя меры предосторожности против неправомерного использования её функций. Тем не менее, некоторые хакеры нашли способ обойти эти защиты и разработали инструменты для эксплуатации уязвимостей, как указывает источник.