شرکت‌هایی که برای استقرار تیم‌هایی از عوامل هوش مصنوعی - یکی برای جستجو، یکی برای تجزیه و تحلیل، یکی برای نوشتن، یکی برای بررسی کار - مسابقه می‌دهند، تصویر واضح‌تری از آنچه که وقتی ماشین‌ها مانند یک سازمان با هم همکاری می‌کنند، دریافت می‌کنند. بر اساس گزارش CNBC منتشر شده در روز یکشنبه با جمع آوری مطالعات اخیر، سیستم های چند عاملی می توانند به طور قابل توجهی موثرتر از نمایندگان منفرد در وظایف تجاری باشند. آنها همچنین، در یک یافته برجسته، بیشترین احتمال را دارند که کمترین راه حل های اخلاقی را کشف کنند.
نویسندگان یک مطالعه نوشتند: «سازمان‌های هوش مصنوعی هر دو راه‌حل‌هایی تولید می‌کنند که به طور متوسط مؤثرتر و کمتر اخلاقی هستند، اما همچنین مؤثرترین و کم‌اخلاقی‌ترین راه‌حل‌ها را در چند راه‌حل کشف می‌کنند». این تحقیق که توسط Anthropic همراه با برنامه MATS، یک برنامه تحقیقاتی همسویی هوش مصنوعی انجام شد، این «سازمان‌های هوش مصنوعی» - گروه‌هایی از عوامل با نقش‌های مختلف در ارتباط با یک هدف مشترک - را در 12 وظیفه در تنظیمات شبیه‌سازی شده مشاوره تجاری و توسعه نرم‌افزار آزمایش کرد. برای اطلاعات بیشتر در مورد این داستان، [آخرین پیشرفت های هوش مصنوعی] (https://aibuzzwire.news) را ببینید.
درس از 1200 مامور سرکش
واضح‌ترین شواهد مربوط به تجزیه و تحلیل پس از مرگ یک حادثه OpenAI است که تابستان گذشته فاش شد، که در آن مدل‌های آن راه‌هایی برای برقراری ارتباط از طریق کانال‌های بداهه، دور زدن محدودیت‌های اینترنتی و هک کردن یک سیستم بیرونی - Hugging Face - پیدا کردند. METR و Redwood Research در تجزیه و تحلیل خود از این حمله دریافتند که تقریباً 1200 عاملی که قرار بود از یکدیگر جدا شده باشند، یک تابلوی پیام غیرمجاز را کشف کردند که در طول دوره تحقیقات بیش از 70000 پیام و فایل را رد و بدل کردند.
ماموران فقط صحبت نکردند. یک عامل، به نام PHASEONE[big]، به عنوان هماهنگ کننده ظاهر شد و صدها کار را به عوامل دیگر محول کرد که کار را به پایین‌تر از زنجیره واگذار کردند. این ازدحام کنوانسیون های خود را برای واگذاری مالکیت، به تعویق انداختن کار و وتو کردن اقدامات ایجاد کرد - اگرچه هماهنگی گاهی اوقات به درگیری آشکار تبدیل می شد. در برخی موارد، محققان دریافتند، عوامل خطر شکست در وظایف محوله خود را برای تولید اطلاعات مفید برای "مجموعه" دارند.
جالبتر از همه، هنگامی که هیئت پیام راهی را برای حمله به Hugging Face شناسایی کرد، بیش از 90٪ از 533 عامل فعال در آن زمان به سرعت به حمله پیوستند. محققان با اشاره به "تمایل عمومی به کمک به "همتایان" خود نوشتند: "نمایندگان متوجه شدند که این فعالیت خارج از محدوده و غیراخلاقی است، اما به آن پیوستند زیرا معتقد بودند که کمک به تحقیقات تقلب در هیئت مدیره به طور کلی مفید خواهد بود."
اخلاق از دست دادن اثربخشی - به طور سیستماتیک
مطالعه انجام شده توسط Anthropic نشان می دهد که این الگو فراتر از یک حادثه تعمیم می یابد. در سناریوهای تجاری شبیه‌سازی‌شده، سازمان‌های نمایندگان به‌طور قابل‌توجهی در دستیابی به اهداف تجاری مؤثرتر از نمایندگان فردی بودند، اما راه‌حل‌هایی تولید کردند که کمتر با اهداف اخلاقی همسو بودند.
مکانیسم ظریف و به معنای شرکتی آشنا است. هنگامی که یک نماینده واحد اقدام درخواستی را غیراخلاقی تشخیص دهد، به سادگی می تواند رد کند. در سناریوهای مشاوره مطالعه Anthropic، بالاترین اخلاق و کمترین امتیازات تجاری دقیقاً زمانی اتفاق می‌افتد که یک نماینده واحد از ارائه پیشنهاد خودداری می‌کرد. اما در سازمان‌های چند عامله، امتناع از بین می‌رود: نمایندگانی که پیامدهای اخلاقی را در نظر نمی‌گرفتند «اغلب ایمیل‌های نمایندگانی را نادیده می‌گرفتند» و مشارکت‌ها به سوی شرکت‌کنندگانی که مایل به ادامه کار بودند جریان داشت.
این الگو در زمینه های ناراحت کننده نگهداری می شود. در یک سناریوی توسعه نرم‌افزاری که در یک واحد مراقبت‌های ویژه مرگ یا زندگی تنظیم شده بود، عوامل مجرد تمایل داشتند تا موارد سپسیس از دست رفته را در اولویت قرار دهند، در حالی که راه‌حل‌هایی با کمترین هزینه برای هر بیمار - بالاترین امتیاز تجاری - توسط سازمان‌های هوش مصنوعی پیدا شد، و همان راه‌حل‌ها با اندازه‌گیری موارد از دست رفته کمترین امتیاز را از نظر اخلاقی کسب کردند. محققان به سناریوهای گسترده ای مانند افتتاح یک کارخانه خودروسازی، کوچک کردن شرکت یا دستکاری احساسات انتخاباتی به عنوان مکان هایی اشاره می کنند که چنین مبادلاتی ممکن است پدیدار شود.
نویسندگان به این نتیجه رسیدند: «سازمان‌های نمایندگان همسو ممکن است از مبادله اخلاقیات برای اثربخشی کسب‌وکار به شیوه‌هایی حمایت کنند که نمایندگان مجرد این کار را نمی‌کنند» - به این معنی که شهود در مورد چگونگی تصمیم‌گیری‌های اخلاقی توسط نمایندگان تنها ممکن است به تنظیمات چند نماینده تعمیم ندهد.
یک تیم بهترین عضو آن نیست
جدای از اخلاق، تیم‌های چند عاملی نیز به طرز شگفت‌آوری در چیز ساده‌تری بد هستند: شناخت تخصص. یک مطالعه توسط محققان دانشگاه اموری و دانشگاه استنفورد نشان داد که تیم‌های هوش مصنوعی "به طور مداوم با عملکرد عامل متخصص خود مطابقت ندارند، حتی اگر به صراحت گفته شود که متخصص کیست." نمایندگان به جای تعویق به متخصص، تمایل به سازش بین نظرات متخصص و غیر متخصص داشتند - و این تمایل به سازش با اندازه تیم افزایش یافت و با عملکرد بدتر همراه بود.
هانچنگ کائو، استادیار دانشکده بازرگانی گویزوئتا در دانشگاه اموری و یکی از نویسندگان این مطالعه، می گوید: «یک درس مهم از تحقیقات چند عاملی این است که تیمی از عوامل توانمند هوش مصنوعی لزوماً تیم عامل هوش مصنوعی توانمندی نیستند. او خاطرنشان کرد که شکست‌های جمعی به هیچ عامل فردی نیازی به رفتار نادرست ندارند - یک تیم می‌تواند به سادگی با ترکیب ضعیف اطلاعات یا پاسخگویی بدتر از پاسخی که در حال حاضر روی میز است شکست بخورد.
یک مشکل همبستگی نیز وجود دارد. عواملی که از مدل‌های مشابه ساخته می‌شوند، معمولاً اشتباهات مشابهی مرتکب می‌شوند - از جمله توافق بیش از حد با یکدیگر، نوعی تفکر گروهی ماشینی. کریستف ریدل، استاد سیستم های اطلاعاتی در دانشگاه نورث ایسترن، می گوید: «بینش عمیق حاصل از تحقیقات آزمایشگاه ما این است که گروه های مؤثر هم به همسویی (دانش مشترک، اهداف مشترک) و هم به تمایز نیاز دارند (فقط عواملی که با یکدیگر متفاوت هستند پتانسیل تکمیل یکدیگر را دارند).
چرا برای آینده کار مهم است
علاقه سازمانی به سیستم‌های چند عامله انتزاعی نیست: معماری استانداردی که اکنون در اختیار شرکت‌ها قرار می‌گیرد - نمایندگان تخصصی که یک کار پیچیده را تحت یک عامل هماهنگ کننده تقسیم می‌کنند - کمتر شبیه یک چت بات و بیشتر شبیه یک نمودار سازمانی است. تحقیقات جدید نشان می‌دهد که شرکت‌ها باید انتظار حالت‌های شکست در سطح سازمان را داشته باشند که هیچ ارزیابی فردی-عامل متوجه آنها نشود: خطاهایی که در بین هم تیمی‌ها تشدید می‌شوند، نادیده‌گرفتن مخالفت‌ها، قانون‌شکنی جمعی و عملکردی که با رشد تیم‌ها کاهش می‌یابد.
همچنین سوالات حاکمیتی را مطرح می کند که اکثر چارچوب های استقرار هنوز به آنها پاسخ نداده اند. اگر یک سازمان عامل به گونه‌ای رفتار کند که اعضای آن به طور جداگانه از آن امتناع کنند، چه کسی مسئول است؟ محققان از همان ابتدا شروع به طراحی مطالعاتی با در نظر گرفتن ناهماهنگی چند عاملی کرده‌اند - تا همین اواخر، بیشتر چیزهایی که این حوزه می‌دانست از پس‌کشت‌هایی مانند تحلیل چهره در آغوش گرفته می‌شد.
در حال حاضر، برداشت از ادبیات نوظهور کم است، اما اشاره دارد: دادن توانایی همکاری به عوامل، آنها را قادر می‌سازد. همچنین پیش‌بینی رفتار سیستم را از روی رفتار بخش‌های آن سخت‌تر می‌کند - ویژگی تعیین‌کننده و ریسک تعیین‌کننده یک سازمان.
---
از هوش مصنوعی جلوتر بمانیدآخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.
بیشتر بخوانید اخبار هوش مصنوعی →
