Искусственный интеллект смог точно определить расу человека по рентгеновским снимкам

Как показало исследование, искусственный интеллект (ИИ) способен точно предсказать расовую принадлежность человека по рентгенографическим снимкам. А вот людям это оказалось не под силу. Даже эксперты не смогли точно определить расу человека по данным рентгенографии.

Способность ИИ угадывать расу

Авторы исследования предположили, что информация о расовой принадлежности может быть заложена в анализ изображений, вызывая расовую предвзятость и неравенство в медицинских учреждениях.

Исследователи понимают, что их исследование раскрывает возможность того, что ИИ может иметь предрасположенность к расовой принадлежности. Несмотря на то, что ИИ используется в медицине для диагностики заболеваний с помощью человекоподобных рассуждений и интеллекта, мысль о том, что симулированная машина способна иметь предвзятое отношение, вызывает беспокойство у ученых. Они осознают все плюсы и минусы создания ИИ, который настолько близок к человеческому разуму. Он может как трансформировать здравоохранение, так и проявить непреднамеренную предвзятость при программировании.

Рентгеновский снимок грудной клетки женщины. X-Ray 

"ИИ обладает огромным потенциалом для революционного изменения диагностики, лечения и мониторинга многочисленных заболеваний и состояний и может кардинально изменить наш подход к здравоохранению", — считает доктор Джуди Гичойя, руководитель проект и стипендиат NIBIB Data and Technology Advancement (DATA) National Service Scholar.

"Однако, чтобы ИИ действительно принес пользу всем пациентам, нам необходимо лучше понимать, как эти алгоритмы принимают решения, чтобы предотвратить непреднамеренные предубеждения", — также отметила она.

Предыдущие исследования показали, что ИИ действительно предвзят

В прошлом неоднократно сообщалось о наличии у ИИ расовой предвзятости, например, в исследовании DeepAI говорится о стереотипах, которым, к сожалению, может научиться ИИ. В отчете утверждается: "Наши эксперименты однозначно показывают, что роботы действуют в масштабах токсичных стереотипов в отношении пола, расы и научно дискредитированной физиогномики". В них упоминается, что ИИ признает мужчин над женщинами и белых людей над людьми с другим цветом кожи. Мало того, как показало исследование, ИИ способен распознавать стереотипы в отношении женщин и цветных людей. "Результаты показали, что робот не только усвоил общее предубеждение против распознавания женщин и цветных людей, но и усвоил конкретные токсичные стереотипы".

Это говорит о том, что идея предвзятого ИИ не является новой или неожиданной, но вызывает беспокойство. Другие предыдущие исследования, например, результаты анализа в журнале Nature Medicine, свидетельствуют о том, что на внедрение ИИ может влиять демографическая ситуация, которая включает расовую принадлежность. В нем говорится, что "есть опасения, что такие системы ИИ могут отражать и усиливать человеческую предвзятость и снижать качество их работы в исторически недостаточно обслуживаемых группах населения, таких как пациенты-женщины, темнокожие пациенты или пациенты с низким социально-экономическим статусом". Такая предвзятость часто приводит к тому, что алгоритмы искусственного интеллекта недостаточно точно диагностируют заболевания.

В исследовании The Lancet утверждается, что существует несколько факторов, которые могут привести к предвзятости, например, использование данных, не представляющих всю популяцию пациентов. Другой фактор, который может привести к предвзятости ИИ, — это изучение искусственным интеллектом признаков, присущих популяции, например, определенных фенотипов или характеристик, таких как плотность костной ткани.

Образцы рентгеновских снимков из исследования. The Lancet Digital Health / Images after low-pass filters and high-pass filters are a

Исследование

Команда исследователей решила проверить, могут ли модели ИИ определять расовую принадлежность только по рентгеновским снимкам грудной клетки. Они использовали три больших набора данных, включающих множество самых разных групп населения и то, что удалось обнаружить, поразило ученых. ИИ с очень высокой точностью предсказывал расу пациента только лишь на основании данных рентгеновского снимка, чего не смогли сделать даже эксперты.

ИИ идентифицировал расу человека даже тогда, когда снимки были "сильно искажены или уменьшены до одной девятой от исходного размера, или когда разрешение было изменено до такой степени, что снимки едва распознавались как рентгеновские".

Расовые факторы.

Чтобы предотвратить расовую предвзятость фенотипа, исследователи использовали другие наборы данных рентгеновских снимков, не относящихся к грудной клетке, включая маммограммы, компьютерную томографию (КТ) грудной клетки и рентгенограммы шейного отдела позвоночника. Однако ИИ все равно определил расовую принадлежность человека.

"Наши результаты показывают, что в медицинских изображениях есть "скрытые сигналы", которые помогают ИИ предсказывать расу человека", — рассказывает Гичоя. "Нам необходимо срочно разобраться в том, почему эти алгоритмы обладают такой способностью, чтобы последующее применение ИИ - например, создание алгоритмов на основе изображений для прогнозирования состояния здоровья - не было потенциально вредным для меньшинств и малообеспеченных групп пациентов"

Авторы исследования пытались определить, как ИИ удается добиться таких высокоточных прогнозов, однако им это не удалось. Они не смогли определить какой-либо конкретный фактор, который мог бы объяснить способность ИИ правильно предсказывать расовую принадлежность. Другими словами, они не знают, как ИИ определял расу, но он это делал, несмотря на то, что ничто физически не наделяло ИИ аспектами, которые могли бы отражать расу человека.

Искусственный интеллект может быть полезен для общества, а в данном случае - для медицины. Однако, прежде чем изучать других людей и, возможно, ставить диагнозы, которые могут быть опасны для жизни, необходимо изучить сам искусственный интеллект, чтобы убедиться, что в его системе не запрограммированы расовые предрассудки.
Результаты исследования были опубликованы в журнале The Lancet.

Рис. Схема построения модели. a, Рентгенограммы грудной клетки из нескольких наборов данных для разных популяций. b, Модель глубокого обучения обучается на этих данных (обучение проводится одновременно на всех пациентах), чтобы предсказать наличие метки "не обнаружено", которая указывает на то, что алгоритм не обнаружил заболевания на снимке. c, Затем сравнивается частота занижения диагноза (то есть частота ложноположительных результатов (FP) при наличии метки "не обнаружено") этой модели в различных субпопуляциях (включая пол, расу/этническую принадлежность, возраст и тип страхования) для изучения частоты занижения диагноза алгоритма. FN - ложноотрицательный; TN - истинно отрицательный; TP - истинно положительный. Цвета символов обозначают различные расы пациентов мужского и женского пола.

Источники: Journal Nature Medicine, NIBIB Data, Deepai.org, Journal Lancet
1. (https://pubmed.ncbi.nlm.nih.gov/34893776/)
2. (https://deepai.org/publication/robots-enact-malignant-stereotypes)
3. (https://www.thelancet.com/journals/landig/article/PIIS2589-7500(22)00063-2/)
4. (https://medicalxpress.com/news/2022-10-artificial-intelligence-medical-images.html)