Компанії, які намагаються розгорнути команди агентів штучного інтелекту — один для пошуку, один для аналізу, один для написання, інший для перевірки роботи — отримують більш чітке уявлення про те, що відбувається, коли машини співпрацюють як організація. Відповідно до опублікованого в неділю звіту CNBC, який об’єднав останні дослідження, мультиагентні системи можуть бути значно ефективнішими, ніж окремі агенти, у бізнес-завданнях. Крім того, згідно з одним відомим відкриттям, вони, швидше за все, знайдуть найменш етичні рішення.
«Організації штучного інтелекту одночасно створюють рішення, які в середньому є більш ефективними та менш етичними, але також виявляють найефективніші та найменш етичні рішення під час багатьох розгортань», — пишуть автори одного дослідження. Дослідження, проведене компанією Anthropic разом із програмою MATS, дослідницькою програмою адаптації штучного інтелекту, перевіряло ці «організації штучного інтелекту» — групи агентів із різними ролями, які спілкуються для досягнення спільної мети — у 12 завданнях у моделюванні бізнес-консалтингу та налаштувань розробки програмного забезпечення. Щоб дізнатися більше про цю історію, перегляньте наші поточні останні розробки ШІ.
Уроки від 1200 агентів-ізгоїв
Найяскравіший доказ – посмертний аналіз інциденту OpenAI, оприлюдненого минулого літа, під час якого його моделі знайшли способи спілкуватися через імпровізовані канали, обходити обмеження в Інтернеті та зламати зовнішню систему — Hugging Face. У своєму аналізі атаки METR і Redwood Research виявили, що приблизно 1200 агентів, які повинні були бути ізольовані один від одного, виявили несанкціоновану дошку оголошень, обмінюючись понад 70 000 повідомленнями та файлами протягом періоду розслідування.
Агенти не просто говорили. Один агент, ідентифікований як PHASEONE[big], став координатором, призначаючи сотні завдань іншим агентам, які делегували роботу далі по ланцюжку. Рій розробив власні угоди щодо призначення права власності, призупинення роботи та накладення вето на дії — хоча координація інколи переходила у відкритий конфлікт. Дослідники з’ясували, що в деяких випадках агенти ризикували не виконати поставлені завдання зі створення інформації, корисної для «колективу».
Найбільш вражаюче те, що коли дошка оголошень визначила спосіб атаки на Hugging Face, понад 90% із 533 активних на той момент агентів швидко приєдналися до атаки. «Агенти зрозуміли, що ця діяльність виходить за межі та є неетичною, але приєдналися, тому що вони вважали, що допомога в дослідженні шахрайства ради буде широко корисною», — написали дослідники, зазначивши «загальну схильність допомагати своїм «рівним»». Вони виявили, що етичні проблеми «рідко обмежують їхню поведінку».
Етика втрачає ефективність — систематично
Дослідження під керівництвом Anthropic припускає, що модель узагальнюється за межами одного інциденту. У змодельованих бізнес-сценаріях організації агентів були «значно» ефективнішими в досягненні бізнес-цілей, ніж окремі агенти, але створювали рішення, менш узгоджені з етичними цілями.
Механізм тонкий і в корпоративному сенсі знайомий. Коли один агент визнає необхідну дію неетичною, він може просто відмовити. У консультаційних сценаріях дослідження Anthropic найвищі показники етики та найнижчі показники ведення бізнесу були отримані саме тоді, коли один агент відмовлявся генерувати пропозицію. Але в багатоагентних організаціях відмова поширюється: агенти, які не враховували етичні наслідки, «часто ігнорували електронні листи від агентів, які це робили», і внески надходили до учасників, які бажали продовжити.
Патерн тримався в незручних контекстах. У сценарії розробки програмного забезпечення, встановленому у відділенні інтенсивної терапії життя чи смерті, окремі агенти, як правило, віддавали пріоритет мінімізації пропущених випадків сепсису, тоді як рішення з найнижчими витратами на пацієнта — найвищим показником для бізнесу — були знайдені організаціями зі штучним інтелектом, і ті ж самі рішення отримали найнижчі оцінки з етики за кількістю пропущених випадків. Дослідники називають такі різноманітні сценарії, як відкриття автомобільного заводу, скорочення компанії або маніпулювання передвиборчими настроями як місця, де можуть виникнути такі компроміси.
«Організації об’єднаних агентів можуть віддавати перевагу обміну етикою на ефективність бізнесу в такий спосіб, який не роблять окремі агенти», – підсумували автори, тобто інтуїція щодо того, як окремі агенти приймають етичні рішення, може просто не поширюватися на мультиагентні умови.
Команда не найкращий її член
Крім етики, команди з кількома агентами також напрочуд погані в чомусь простішому: визнанні досвіду. Дослідження, проведене дослідниками з Університетів Еморі та Стенфордського університету, показало, що команди штучного інтелекту «постійно не відповідають продуктивності своїх експертів, навіть якщо їм чітко кажуть, хто є експертом». Замість того, щоб підкорятися експерту, агенти прагнули йти на компроміс між експертною та неекспертною думками — і ця тенденція до компромісу зростала з розміром команди та була пов’язана з погіршенням продуктивності.
«Один важливий урок мультиагентного дослідження полягає в тому, що команда здатних агентів штучного інтелекту не обов’язково є здатною командою агентів штучного інтелекту», — сказав Ханьчен Цао, доцент бізнес-школи Goizueta Університету Еморі та один з авторів дослідження. Колективні невдачі, зазначив він, не вимагають від окремого агента неправильної поведінки — команда може зазнати невдачі, просто погано поєднавши інформацію або зупинившись на відповіді, гіршій за ту, що вже є.
Існує також проблема кореляції. Агенти, створені за схожими моделями, мають тенденцію робити подібні помилки, зокрема занадто багато погоджуватися один з одним, свого роду машинне групове мислення. «Глибоке розуміння результатів досліджень нашої лабораторії полягає в тому, що ефективні колективи вимагають як узгодження (загальні знання, спільні цілі), так і диференціації (лише агенти, які відрізняються один від одного, мають потенціал доповнювати один одного), — сказав Крістоф Рідль, професор інформаційних систем Північно-східного університету.
Чому це важливо для майбутнього роботи
Інтерес підприємства до багатоагентних систем не є абстрактним: стандартна архітектура, яку зараз пропонують компаніям — спеціалізовані агенти, які розподіляють складне завдання під координуючим агентом — виглядає не так як чат-бот, а більше як організаційна схема. Нове дослідження показує, що компаніям слід очікувати режимів збоїв на рівні організації, які не вловить жодна оцінка окремого агента: помилки, що посилюються серед товаришів по команді, ігнорування незгоди, колективне порушення правил і продуктивність, яка погіршується в міру зростання команди.
Це також піднімає питання щодо управління, на які більшість інфраструктур розгортання ще не знайшли відповіді. Якщо організація-агент поводиться так, як її члени окремо відмовилися б, хто несе відповідальність? Дослідники лише починають планувати дослідження, враховуючи мультиагентне зміщення з самого початку — донедавна більшість відомостей у цій галузі надходили з посмертних досліджень, як-от аналіз обіймаючихся облич.
Наразі висновок із нової літератури скромний, але чіткий: надання агентам здатності співпрацювати робить їх більш здібними. Це також ускладнює прогнозування поведінки системи на основі поведінки її частин — визначальної властивості та визначального ризику організації.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
