Американское управление по контролю за лекарствами (FDA) внедрило ИИ-систему Elsa для анализа медицинских исследований, но инструмент начал выдавать ложные данные. Это ставит под угрозу качество принимаемых регулятором решений.
Согласно внутренним источникам CNN, система Elsa регулярно "галлюцинирует" - создает вымышленные выводы и даже ссылается на несуществующие исследования. Как минимум три сотрудника FDA подтвердили, что инструмент искажает фактические результаты клинических испытаний. Особенно тревожит, что Elsa предназначен для экономии времени, но вместо этого требует дополнительной проверки.
Руководство FDA реагирует вяло. В ведомстве подчеркивают, что использование Elsa добровольно, а обучение работе с системой необязательно. При этом отсутствуют механизмы контроля за корректностью ее работы.
Проблема не столько в самом ИИ, сколько в подходе к его применению. В медицинской сфере, где ошибки могут стоить жизней, подобные системы требуют жесткого надзора. Сейчас Elsa работает без достаточных защитных механизмов и дополнительных проверок, что ставит под вопрос безопасность ее использования.
Ситуация с Elsa показывает риски бездумного внедрения ИИ в критически важных областях. Особую озабоченность вызывает тот факт, что этот инструмент непосредственно влияет на процесс одобрения лекарственных препаратов и медицинского оборудования.