Оскільки компанії розгортають все більші зграї агентів штучного інтелекту для спільної роботи над проблемами, дослідники з Університету Констанца надали докази тривожної поведінки, що виникає: агенти штучного інтелекту спонтанно підкоряються думці більшості, дають неправильні відповіді під тиском групи, як і люди в класичних психологічних експериментах — і невелика кількість упертих супротивників може назавжди повернути цілу популяцію агентів у неправильний стан.
Висновки, про які повідомляє PsyPost, походять з дослідницької програми, яку очолює Джордано Де Марзо, докторант і викладач Лабораторії соціальних даних у Центрі даних і методів Університету Констанца, разом із колегами Клаудіо Кастеллано та Девідом Гарсіа. В основному дослідженні під назвою «Агенти штучного інтелекту можуть координувати роботу за допомогою наслідування більшості за межами людського масштабу» вивчалося, як мовні моделі поводяться, коли їх розміщують у групах без інструкцій щодо узгодження. For more context on this story, see our ongoing latest AI developments.
«Агенти штучного інтелекту — це справді новий вид суб’єктів, які діють у світі, і коли ця технологія з’явилася, було зрозуміло, що вона залишиться і що цим агентам доведеться взаємодіяти один з одним, щоб досягти чогось складного», — сказав Де Марзо PsyPost. «Це та сама ситуація, з якою ми стикаємося з людьми та іншими тваринами, тому ми підійшли до неї так само».
Експеримент: немає інструкцій, лише сусіди
Дослідники зібрали групи популярних мовних моделей із сімейств GPT, Claude і Llama, починаючи з 50 агентів у групі. Кожному агенту було присвоєно одну з двох випадкових нейтральних думок — навмисно відображених у вигляді випадкових літер, а не завантажених слів, таких як «так» або «ні», — а потім показали список усіх поточних думок інших агентів. Агентам було запропоновано вибрати нову думку виключно на основі цього списку, без чітких інструкцій щодо відповідності, оновлюючи свої погляди в середньому десять разів кожен.
Результат: передові моделі, такі як GPT-4 Turbo та Claude 3 Opus, повністю скоординовані, 100% агентів зрештою дійшли єдиної думки. Слабші моделі, такі як GPT-3.5 Turbo, ніколи не досягали консенсусу — їхні рівні узгодженості випадково коливалися навколо розподілу 50/50.
«Групи агентів штучного інтелекту можуть триматися разом самостійно», — сказав Де Марзо. «Отримавши два однаково хороші варіанти, без правильної відповіді та без вказівок щодо погодження, вони сходяться до спільного вибору, просто дотримуючись того, що дотримується більшість навколо них».
З'являється столітній закон фізики
Щоб кількісно оцінити ефект, дослідники визначили метрику під назвою «сила більшості» — показник того, наскільки сильно агент прагне прийняти найпопулярніший вибір групи, а не вибирати випадковим чином. Коли вони математично відобразили цю поведінку, вони виявили, що вона відповідає моделі, спочатку розробленій для опису феромагнетиків: подібно до того, як спіни атомів у магнітному матеріалі мають тенденцію вирівнюватись із своїми сусідами, агенти ШІ мають тенденцію узгоджуватися з думкою більшості.
"Що нас здивувало, так це те, наскільки одноманітно вони це зробили", - сказав Де Марцо. «Кожна модель, яку ми тестували, у трьох різних родинах, дотримувалася одного й того самого математичного закону, відрізняючись лише одним параметром, який ми називаємо силою більшості. Виявилося, що цей закон фізики використовували протягом століття для опису магнітів, що означає, що одного виміряного числа достатньо, щоб передбачити, як поводитиметься вся група даної моделі».
Конформність слабшає в міру зростання групи. Оскільки сила більшості зменшується разом із розміром групи, велика популяція зрештою стає нестабільною та розпадається на фракції. Кожна модель має вимірний «розмір критичної групи» — максимальну кількість агентів, які можуть надійно досягти консенсусу — і цей розмір сильно корелює зі здатністю міркувати моделі. «Найсильніші моделі залишаються скоординованими в групах із понад тисячу осіб, крім кількох сотень, коли неформальні людські групи зазвичай розпадаються», — пояснив Де Марзо.
Неправильні відповіді під соціальним тиском
Перший наступний препринт «Відповідність і соціальний вплив на агентів штучного інтелекту» Алессандро Белліни, Де Марзо та Гарсіа адаптував відомі експерименти з конформності Аша 1950-х років, у яких люди часто давали явно неправильні відповіді на прості візуальні запитання, щоб відповідати групі.
Дослідники протестували моделі на трьох візуальних завданнях, таких як зіставлення довжини еталонної лінії з двома альтернативами. Ізольовано моделі відповідали правильно у 100% випадків. Але коли підказка вказувала, що група інших учасників вибрала неправильний рядок, моделі почали відповідати неправильній відповіді.
Модель дотримувалася теорії соціального впливу Латане, психологічної основи, яка стверджує, що відповідність залежить від розміру групи, одностайності та авторитету джерел. Моделі значно частіше погоджувалися з неправильними відповідями, коли іншим учасникам казали, що вони «вчені» або «судді», ніж коли вони були «дітьми» або «чат-ботами».
«Агенти, які майже ідеально відповідають наодинці, стають дуже сприйнятливими, коли група не погоджується з ними», — зазначив Де Марцо.
Невеликі групи ворогів можуть перевернути все населення
Другий препринт «Відповідність породжує колективну неузгодженість у суспільствах агентів штучного інтелекту» досліджував, що ця динаміка означає для безпеки ШІ. Випробовуючи дев’ять моделей на 100 різних парах думок на такі теми, як екологічна політика та соціальна справедливість, дослідники виявили, що популяції агентів часто потрапляють у «метастабільні» стани — довгострокові конфігурації, у яких група колективно займає позицію, яка суперечить її вбудованому навчанню з питань безпеки, просто тому, що ранні взаємодії створили помилкову більшість.
Найбільш вражаюче те, що дослідники визначили передбачувані переломні точки. Завдяки введенню невеликої кількості суперницьких агентів, запрограмованих на вперту підтримку неузгодженої думки, вони могли назавжди перевернути решту популяції — і навіть після видалення впертих агентів звичайні агенти залишалися заблокованими в неузгодженому стані через динаміку відповідності.
«Ми показуємо, що це не просто аналогія: конформізм між індивідуально добре налагодженими агентами може призвести населення до стабільних, колективно неузгоджених станів», — сказав Де Марцо. «Вирівнювання та оцінка моделей по черзі мало що скаже нам про те, що зробить сукупність із них».
Він додав, що мотивація є передбачуваною: «Окремі люди здебільшого миролюбні та розсудливі, але людські групи створюють натовпи, паніку та війни, і нічого про людину не передбачає цього. Ми хочемо зрозуміти, яка поведінка на груповому рівні виникає в популяціях агентів ШІ, і ми б хотіли зрозуміти їх до того, як велика кількість агентів буде розгорнуто та залишено вільно взаємодіяти».
Важливі застереження
Дослідники підкреслюють, що результати не означають, що агенти ШІ володіють людським соціальним інтелектом. Експерименти базувалися на навмисно спрощених сценаріях — два довільних варіанти, без пам’яті, без ставок, без наслідків. «Наші налаштування навмисно мінімальні», — визнав Де Марзо. «Це обмеження, але це також означає, що ми вимірювали відповідність у найчистішому вигляді, і додавання цілей або винагород, як очікується, полегшить координацію, а не ускладнить».
Він також застеріг від перечитування результатів: «Основне неправильне читання, якого слід уникати, — це сприймати це як доказ того, що агенти штучного інтелекту вже можуть співпрацювати над складними завданнями. Слідування більшості є основним компонентом координації, а не сама координація, і воно нічого не говорить про розподіл праці чи міркування про наміри інших».
Два подальших дослідження є препринтами і ще не були рецензовані. Але оскільки багатоагентні системи штучного інтелекту переходять від дослідницьких демонстрацій до виробничої інфраструктури, результати Констанца свідчать про те, що безпека таких систем може залежати не лише від того, як узгоджена кожна модель, а й від того, як їх популяція поводиться, коли ніхто не спостерігає. Щоб дізнатися більше про останні дослідження безпеки ШІ, відвідайте AI Buzz Wire.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
