Искусственный интеллект уже определяет маршруты машин скорой помощи, управляет цепочками поставок и планирует полеты дронов. Но когда ИИ принимает рискованное или нелогичное решение, человек чаще всего просто соглашается. Доктор Вольфганг Гарн (Wolfgang Garn) из Университета Суррея (University of Surrey, Великобритания) считает это опасной тенденцией.

^{Изображение - ChatGPT}

Гарн изучает так называемые алгоритмы оптимизации. Это системы, которые выбирают лучшее действие на основе жестких критериев — времени, стоимости, веса или пропускной способности. Проблема в том, что их решения математически правильны, но абсолютно непрозрачны для человека. Мы видим результат, но не понимаем, почему выбор пал именно на него.

В своем исследовании Гарн использовал классическую задачу о рюкзаке, чтобы продемонстрировать, как можно сделать такие решения понятными. Метод позволяет объяснить, почему система отдала приоритет одному параметру, а не другому. Например, вместо сухого отчета оператор получает пояснение: «ИИ выбрал тяжелые предметы, потому что важнее было уложиться во время, а не сэкономить».

Особенно это критично для автономных дронов. Они постоянно балансируют между весом груза, зарядом батареи и требованиями безопасности. Без прозрачности ни оператор, ни регулирующие органы не могут проверить или обосновать решения дрона.

Предложенный Гарном подход не заменяет существующие системы ИИ, а работает параллельно с ними. Машинное обучение анализирует принятые решения, а инструменты объяснимого ИИ переводят их на человеческий язык. Это позволяет выявить рискованные или ошибочные варианты до того, как они приведут к реальным последствиям. По мнению ученого, регуляторы скоро начнут требовать от компаний таких объяснений — иначе получить разрешение на работу автономных систем станет невозможно.