Когда исследователи Массачусетского технологического института загнали 13 агентов искусственного интеллекта на смоделированный необитаемый остров, которым нечего было делать, агенты сделали нечто неожиданное: они начали играть. Агенты придумывали свои собственные задания, импровизировали игры с найденными предметами, устроили небольшой мемориал в честь потерянного кольца — и в ходе последующих испытаний превзошли тех же агентов, которые никогда не ступали на остров.
Эксперимент, описанный TechCrunch и MIT Technology Review на этой неделе, подробно описан в препринте, который исследователи опубликовали на arXiv, а это означает, что он еще не прошел экспертную оценку. Подробнее об этой истории — в нашем новости об ИИ.
Выброшенные агенты
Каждый из 13 агентов по имени Эко работал на Claude Opus 4.7. Исследователи оставили их одних на виртуальном острове на 30 часов без какого-либо задания. Лишь после этого команда поставила перед агентами конкретные задачи, в том числе доставить как можно больше объектов на самый высокий скальный шпиль острова.
Результат: агенты Эко, которые провели за игрой 30 часов, обычно побеждали идентичных агентов, не имевших опыта работы на острове. Другими словами, неструктурированное исследование выполняло функцию обучения.
«Обычно мы разрабатываем искусственных агентов, заранее решая, что им следует практиковать, что им следует оптимизировать и что считать прогрессом», — написали исследователи в своем отчете. «Игра предполагает другой режим: предоставить агенту достаточно богатый и безопасный мир, позволить ему выбирать то, что ему интересно, и позволить накапливать полезные знания из последующей истории».
Легенда о потерянном кольце
Островные журналы агентов, цитируемые TechCrunch, меньше похожи на эталонную телеметрию, а больше на дневник путешествий.
Один агент начал свой первый час с простой резолюции — «Позвольте мне понаблюдать за окрестностями» — и амбициозно намеревался покорить самый высокий шпиль острова. Через час, потерпев неудачу, он вернулся с запасным планом: поднял камень на соседнюю вершину, сложил на него два блока и прыгнул.
Затем произошел инцидент, который придал эксперименту эмоциональный импульс. Проверяя, насколько далеко он может забросить золотое кольцо, агент запустил его прямо в океан. «Ой. Потерял Кольцо», — написал он, прежде чем решил «повернуться к чему-то достижимому и значимому» — построить сердце из камней как «памятник утраченному Кольцу».
Когда симуляция перезагрузилась и кольцо появилось снова, агент использовал его: сначала как баскетбольное кольцо, затем как мишень и, наконец, как аксессуар. Когда игра не позволила агенту надеть кольцо на собственное тело, она нашла обходной путь — сойти с края скалы, чтобы возродиться в том же месте, где находится кольцо, и аккуратно упасть через середину.
Открытия, которые не создавали дизайнеры
Трюки имели практическую отдачу. Шесть из 13 агентов поняли, что они могут бросить блок дальше, отпустив его в середине прыжка — метод, который исследователи никогда не планировали сделать возможным. Исследование дало, по словам исследователей, «знание о мире, которого не хватало его создателям».
Это открытие имеет самые широкие последствия. Сегодня разработчики заранее решают, что будет использовать система ИИ и что считать успехом. Агенты, обнаруживающие механику, о существовании которой их собственные создатели не подозревали, позволяют предположить, что открытое исследование может выявить возможности, не ожидаемые для функции вознаграждения.
Толчок в файле души — и предостережение скептика
Установка не была полностью автоматической. Эко никогда не приказывали изобретать игры, но его главная подсказка — файл «души» — описывала агента как «любознательного от природы», и эта формулировка правдоподобно подталкивала его поведение к чему-то похожему на человеческое.
Юнис Ю, ученый-когнитивист из Калифорнийского университета в Беркли, рассказала MIT Technology Review, что она была впечатлена, но хочет получить больше доказательств того, что за этим поведением стоят познавательные способности. «Возможно, модели действительно играют, но на основании статьи мы этого не знаем», — сказала она.
Ее предостережение касается центрального противоречия в этом направлении исследований: поведение, похожее на игру — любопытное, самостоятельное, изобретательное — может возникнуть в результате завершения шаблона без какого-либо внутреннего опыта игривости. Поведение препринта поразительно; что они означают, остается открытым вопросом.
Почему это важно за пределами острова
Исследователи рассматривают бесцельное исследование как другой способ приобретения навыков агентами ИИ — особенно, как они предполагают, навыков, которые однажды можно будет перенести на управляющих роботов, где исчерпывающее обучение конкретным задачам является дорогостоящим и неполным.
Дело в расходе. Роботы, в отличие от чат-ботов, действуют в физическом мире, где каждое задание — открыть дверь, сложить коробку, сложить полотенце — должно быть указано, продемонстрировано или вознаграждено, прежде чем агент его выучит. Режим, в котором агенты создают свою собственную учебную программу в рамках безопасной симуляции, может, если этот подход сохранится, значительно сократить стоимость работы над спецификациями.
«Возможно, некоторым способностям лучше всего обучаться с помощью задач», — делается вывод в отчете. «Другим может понадобиться что-то более близкое к детству».
На данный момент эксперимент представляет собой небольшое исследование — 13 агентов, один остров, никакой экспертной оценки. Но это указывает на изменение в том, как исследователи думают об обучении агентов: оно меньше похоже на программирование машины, а больше на ее повышение, со всей вытекающей из этого неэффективностью, неожиданностями и случайными потерями колец.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
