Было установлено, нейросеть от OpenAI ненадежна в использовании. Проблема в том, что искусственный интеллект вносит вымышленные фразы при расшифровке аудио. В 80% проверенных протоколов содержалась искаженная информация.
Несмотря на предупреждения разработчика о том, что Whisper не стоит применять в критически важных областях, 30 тысяч медработников регулярно используют инструменты. Они работают в клинике Mankato, Детской больнице Лос-Анджелеса, где установлен сервис ИИ-помощника. В больнице подтвердили, что результаты ИИ далеки от реальности. Виртуальный помощник искажает диагнозы, он выдумывает курсы лечения. Врачи говорят, ошибки могут принести большой ущерб, поэтому систему небезопасно использовать. От нее будут отказываться.
Источник изображения: Pinterest
Исследователи заключили, в 1% записей система добавляла фразы, которых не было в первоисточнике. Почти в 40% случаев ошибки носили вредоносный характер. Whisper запрограммирована на предсказание вероятных слов на основе аудиоданных. Если качество записи неудовлетворительное, ИИ-помощник будет добавлять в отчет фразы из списка часто встречающихся слов и выражений во время обучения. OpenAI признает проблему, компания работает над улучшением модели.