Согласно рецензируемому исследованию, представленному на этой неделе на конференции по языковому моделированию (COLM), потраченные всего десять минут на использование инструмента искусственного интеллекта значительно ухудшают способность человека концентрироваться и упорно выполнять сложные задачи.
Статья под названием «Помощь ИИ снижает настойчивость и вредит независимой производительности» была написана в соавторстве писателем и исследователем Брайаном Кристианом, научным сотрудником Центра ИИ, совместимого с человеком, Калифорнийского университета в Беркли, совместно с учеными из Университета Карнеги-Меллон, Массачусетского технологического института, Оксфордского университета и Калифорнийского университета в Лос-Анджелесе. Предыдущий вариант работы был распространен весной, но обновленная рецензируемая версия была представлена на конференции на этой неделе, а исследовательский отдел Калифорнийского университета в Беркли опубликовал подробное резюме 9 октября. Подробнее об этой истории — в нашем больше статей об ИИ.
Что обнаружили исследователи
Чтобы измерить, насколько быстро снижается концентрация внимания и настойчивость людей, команда провела серию рандомизированных контролируемых исследований с 1222 участниками, набранными онлайн.
В первом эксперименте 354 участникам было предложено решить 15 основных задач с дробями. Одна группа работала без посторонней помощи, в то время как у второй группы был открыт ChatGPT, и они могли свободно использовать его для помощи или даже напрямую запрашивать ответы. Группа с доступом к ИИ начала более точно. Затем, после 12 проблем, исследователи забрали инструмент. Почти сразу же точность в этой группе рухнула.
Картина повторилась со второй, более крупной группой из 667 участников. Когда помощь ИИ была прекращена, пользователи ИИ давали неправильные ответы или полностью сдавались, в то время как группа, которая работала без посторонней помощи, продолжала выполнять задачу и завершила ее более успешно.
В третьем эксперименте с 201 участником математические задачи были заменены подсказками на понимание прочитанного SAT. Результат повторил предыдущие испытания: когда инструмент исчез, исчезли также настойчивость и точность.
«Невозможно и мечтать о более ясной истории», — сказал Кристиан в комментариях, опубликованных Калифорнийским университетом в Беркли.
«Человеческая цена» мгновенных ответов
Исследователи утверждают, что проблема не в самом ИИ, а в том, какую помощь он оказывает по умолчанию. Когда система выдает ответы за секунды, пользователи привыкают к такой скорости, и все, что медленнее, начинает казаться неэффективным. Использование этого инструмента также исключает то, что команда называет «продуктивной борьбой» — трудоемким взаимодействием, которое помогает людям раскрыть свои сильные стороны и интересы.
«Мы создали эти системы, чтобы они были полезными, но приносят ли они нам такую пользу?» – сказал Кристиан. «По иронии судьбы, мы показали, что они часто помогают нам бесполезными способами».
Кристиан, чья книга 2020 года «Проблема выравнивания» широко считается одной из ведущих доступных работ по безопасности ИИ, сказал, что это открытие подтверждает интуицию, которой придерживаются многие люди. «Это поразительное открытие, но в каком-то смысле оно дает повод для истории, которую многие из нас чувствуют нутром», — сказал он. «Я тоже это испытываю».
Почему это важно помимо дробей
Исследование проводится на фоне растущей обеспокоенности по поводу когнитивной разгрузки в образовании. Согласно отчету Беркли, сами компании Frontier AI признали, что передача задач чат-ботам может ухудшить базовое понимание предмета пользователем. Кристиан предлагает возможное решение: ответы ИИ по умолчанию могут быть более информативными — вести себя как наставник, который направляет, а не как автоответчик, который заменяет.
«Нам нужно стремиться к будущему, в котором человеческие способности будут максимально расширены, а не вытеснены», - сказал он.
Его забота распространяется и на профессиональные исследования. Кристиан обеспокоен тем, что чрезмерная зависимость от инструментов искусственного интеллекта в науке может разрушить именно те привычки, которые делают хорошего ученого: быть ближе к данным, погружаться в материал и тесно сотрудничать с командой. По его словам, исследовательская группа из десяти человек, которая генерирует идеи, лежащие в основе прорыва, может сократиться до двух или трех исследователей и чат-бота.
«Это история не о дробях и проблемах SAT», — сказал Кристиан. «Это то, что происходит с человеческими знаниями и опытом сверху донизу, от учеников начальных классов до ведущих экспертов в мире».
Исследование, вошедшее в мейнстрим
Первые выводы привлекли внимание журналов WIRED и Psychology Today, когда весной появился предварительный проект, а The New York Times опубликовала на прошлой неделе статью об этой статье и аналогичном исследовании, согласно данным Калифорнийского университета в Беркли. Рецензируемая презентация в COLM — одной из главных площадок для исследований в области языкового моделирования — теперь официально подтверждает результат.
Для преподавателей и работодателей это сообщение неприятное, но конкретное: даже кратковременное воздействие мгновенных ответов ИИ заметно меняет поведение людей, когда ответы больше не доступны. А для компаний, занимающихся искусственным интеллектом, это исследование усиливает необходимость разрабатывать системы, которые обучают так же часто, как и решают.
Кристиан же держит на столе блокнот и пишет в нем каждый день. Эта практика, как он сказал Беркли, помогает ему сохранять устойчивость и не дает притупиться его собственным научным знаниям.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
