Генеративные сервисы искусственного интеллекта привлекают внимание всех руководителей технологических компаний. Обещая масштабную автоматизацию и потенциальную замену миллионов рабочих мест, эти технологии находятся в авангарде дискуссий о будущем. Однако недавнее предупреждение исследователей из Массачусетского технологического института указывает на критический недостаток: генеративные модели ИИ не могут по-настоящему понять сложные "правила", которые управляют системами реального мира.
Исследователи Массачусетского технологического института попытались установить новые критерии для оценки того, обладают ли системы генеративного ИИ подлинным пониманием мира. Один из подходов заключался в оценке способности ИИ обеспечить подробную пошаговую навигацию по Нью-Йорку.
Чтобы проверить способность ИИ усваивать сложные правила, ученые выбрали две разные задачи: навигацию по улицам Нью-Йорка и настольную игру "Отелло".
"Нам нужны были контролируемые условия, в которых мы могли определить модель мира. Это позволило нам строго оценить, что значит для ИИ реконструировать эту модель мира".
Эксперименты показали, что нейросети в целом были компетентны в генерировании точных навигационных инструкций и абсолютно правильных движений в "Отелло". Однако их производительность снижалась, когда на карте Нью-Йорка появлялись обходные пути. В этих случаях генеративный ИИ с трудом адаптировался, предлагая несуществующие эстакады или неверно ориентируя улицы. После того как всего 1% улиц был помечен как недоступные, точность модели упала с почти 100% до 67%.