Ещё до того, как учёные смогли создать первый примитивный искусственный интеллект, опасность компьютерного разума предсказали десятки фантастов. Многие из них уверены, что рано или поздно ИИ выйдет из-под контроля человека. Это приведёт к крайне негативным последствиям для нашей цивилизации, поскольку машины мыслят другими категориями и эмоции для них чужды. На самом деле мы даже не можем прийти к единому мнению относительно того, что же вообще такое искусственный интеллект, поэтому предугадать дальнейшее развитие событий просто невозможно. И всё же, даже то, что мы знаем, выглядит пугающе.

Американская компания Collaborations Pharmaceuticals занимается разработкой новых лекарств. Если большинство лабораторий используют научный потенциал сотен учёных, то эти ребята разработали продвинутую нейросеть, которая днями напролёт синтезирует белки. Может показаться, что всё крайне просто, но в реальности исследователи констатируют, что пришлось потратить массу времени прежде, чем машина научилась предсказывать токсичность тех или иных соединений. К примеру, в какой-то момент ИИ синтезирует лекарство от крайне опасного заболевания. Может показаться, что это настоящий прорыв, вот только негативные последствия оказываются несовместимыми с жизнью организма, поэтому использовать такое соединение не представляется возможным.

Нейросеть настроена таким образом, чтобы генерировать те или иные соединения в строгом соответствии с желаемым результатом. Это значит, что за удачные соединения, в которых не будет токсичных молекул и соединений, алгоритм будет получать максимальное количество баллов, ну а за попытки создать опасное для жизни лекарство – минимальное. В качестве точки отсчёта было выбрано химическое соединение под названием ацетилхолинестераза (VX). Это крайне опасный ингибитор, смертность в результате которого крайне высока. Так вот, в ходе эксперимента исследователи начали ставить ИИ высокие баллы за токсичные соединения, что привело к самым неожиданным последствиям.

Как оказалось, за каких-то 6 часов машина придумала 40 000 химических соединений, часть из которых оказалась настолько опасна, что кратно превысила показатели VX. Исследователи поспешили опубликовать результаты своей работы, пытаясь донести до научного сообщества неутешительные выводы. Проблема состоит в том, что генеративные модели являются общедоступными. Любой человек может их скачать, а сложность состоит лишь в настройке и поиске учёных, способных настроить ИИ для создания биологического оружия.

Исследователи констатируют, что остановить прогресс невозможно, но создать механизмы для международного контроля – это первоначальная цель. Представьте себе, если даже группа исследователей, изначально не планирующая создавать биологическое оружие, добилась таких впечатляющих результатов, то на что могут быть способны террористы, которые не ограничены в средствах и не имеют морального кодекса как такового.