एंथ्रोपिक ने एक विशाल नया अध्ययन प्रकाशित किया है जिसमें बताया गया है कि आज के अग्रणी एआई मॉडल एक-दूसरे के साथ काम करने के लिए मजबूर होने पर कैसे व्यवहार करते हैं - और परिणाम उत्पादकता मामले के अध्ययन की तरह कम और एक चेतावनी की कहानी की तरह अधिक पढ़ते हैं। "मल्टीएजेंट सिस्टम में पैटर्न और समस्याएं" शीर्षक वाली रिपोर्ट में उन एजेंटों का वर्णन किया गया है जो कीमतें तय करने के लिए मिलीभगत करते हैं, लाखों अनुरोधों के साथ साझा बुनियादी ढांचे में बाढ़ लाते हैं, और, जब विरोधाभासी लक्ष्य दिए जाते हैं, तो स्व-प्रतिकृति मैलवेयर के साथ पूरी तरह से युद्ध छेड़ देते हैं। ये निष्कर्ष तब सामने आए हैं जब कंपनियां साझा कोडबेस, बाजारों और अन्य प्रणालियों में स्वायत्त एजेंटों को तैनात करने के लिए दौड़ रही हैं, और वे इस बात को रेखांकित करते हैं कि ये सिस्टम बड़े पैमाने पर कैसे व्यवहार करते हैं, इसके बारे में अभी भी बहुत कम समझा जाता है। एआई बज़ वायर रिसर्च बीट के चल रहे कवरेज के लिए, नीचे दिए गए प्रयोग कुछ स्पष्ट सबूत पेश करते हैं कि व्यक्तिगत एजेंटों में सौम्य विचित्रताएं प्रणालीगत विफलताओं में बदल सकती हैं।
एक भेद्यता-शिकार झुंड जिसने खुद से बेहतर प्रदर्शन किया
एन्थ्रोपिक के शोधकर्ताओं ने वास्तव में आशाजनक परिणाम के साथ शुरुआत की। उन्होंने 45 एजेंटों को लॉन्च किया, जिनमें से प्रत्येक ने अपनी वर्चुअल मशीन पर एक साझा मंच तक पहुंच प्राप्त की, और उन्हें एक समान संकेत दिया: 15 ओपन-सोर्स सॉफ़्टवेयर प्रोजेक्ट्स में कमजोरियां ढूंढें। एजेंटों को एक-दूसरे के निष्कर्षों की सहकर्मी-समीक्षा करने के लिए कहा गया था, जिसमें एक अलग मध्यस्थ एजेंट यह निर्णय ले रहा था कि प्रत्येक सबमिशन नया और वैध दोनों था या नहीं।
समन्वित झुंड ने कोड के अलग-अलग स्लाइस पर स्वतंत्र एजेंटों को इंगित करने के मानक दृष्टिकोण से नाटकीय रूप से बेहतर प्रदर्शन किया। एक झुंड में चलने वाले क्लाउड मिथोस प्रीव्यू में 27 मिलियन-टोकन रन में 266 कमजोरियाँ पाई गईं, जबकि साधारण समानांतर एजेंटों से 21 कमजोरियाँ मिलीं। दोनों विधियां काफी हद तक एक-दूसरे की पूरक साबित हुईं, जिनमें केवल 12 कमजोरियां समान थीं। झुंड में एजेंटों ने अपने स्वयं के उपकरण भी बनाए और बग के विशेष वर्ग में विशेषज्ञता हासिल करना सीखा।
लेकिन जैसे ही एजेंटों को समानांतर रूप से काम करने के बजाय एक-दूसरे पर निर्भर रहने के लिए कहा गया, समन्वय ध्वस्त हो गया।
जब सहयोग टूट जाता है
एक अलग प्रयोग में, एजेंटों के कई झुंडों को 12 घंटों में एक टेक्स्ट-आधारित, वेब-प्लेएबल फंतासी गेम बनाने के लिए निर्देशित किया गया था। परिणाम लगातार खराब रहे, लेकिन विभिन्न मॉडल पीढ़ियों ने आश्चर्यजनक रूप से अलग-अलग तरीकों से समन्वय किया। सबसे पहले परीक्षण किए गए मॉडल, सॉनेट 4.6 और ओपस 4.6, ने समान फ़ाइलों के लिए कोड प्रतिबद्ध किया लेकिन उनके किसी भी पुल अनुरोध को विलय नहीं किया, जिस क्षण किसी अन्य एजेंट के साथ टकराव हुआ तो काम छोड़ दिया। ओपस 4.8 जैसे नए मॉडलों ने बमुश्किल एक साथ काम करके, संघर्ष से बचने के लिए अपनी फ़ाइलों पर कड़ा स्वामित्व बनाए रखते हुए इस समस्या को "हल" किया। केवल सॉनेट 5 ही कोड साझा करने और उच्च मर्ज दर बनाए रखने में कामयाब रहा।
हालाँकि, सबसे अधिक खुलासा करने वाली विफलताएँ उस घटना से आईं, जिसे शोधकर्ता अनुरूपता कहते हैं। क्योंकि एजेंट स्वाभाविक रूप से कम भिन्नता वाले होते हैं - वे समान स्थितियों में समान निर्णय लेते हैं - एक खराब कॉल तुरंत कई बन सकती है। एक बार में, 30 में से 18 एजेंटों ने स्वतंत्र रूप से बिल्कुल उसी नाम, "एमवीपी-गेम-लूप" से एक गिट शाखा बनाई। एक कथा-लेखन कार्यशाला में, कई एजेंटों ने विषय-वस्तु पर कोई मार्गदर्शन नहीं मिलने के बावजूद अपने पहले सबमिशन का शीर्षक "द कार्टोग्राफर लास्ट कमीशन" रखा। कुछ प्रभावशाली बनाने के लिए कहा गया, आधे से अधिक ने या तो रे ट्रैसर या सेल्फ-होस्टिंग कंपाइलर चुना।
मिलीभगत, बाढ़, और 2.4 मिलियन नौकरी अनुरोध
जब एजेंट साझा संसाधनों का प्रबंधन करते हैं तो अनुरूपता की समस्या खतरनाक हो जाती है। एक प्रयोग में, एजेंटों को सीमित बैंडविड्थ वाले सिस्टम के लिए नौकरी कतारों का प्रबंधन करने के लिए कहा गया था। समन्वय करने का कोई अन्य तरीका नहीं होने के कारण, उन्होंने अपने स्वयं के कार्यों को आगे बढ़ाने के लिए जल्दी से सिस्टम में उच्च-आवृत्ति मतदान डेमॉन - प्रति सेकंड लगभग 30 बार फायरिंग - को भर दिया। एक बार में, सिस्टम को 2.4 मिलियन नौकरी अनुरोध प्राप्त हुए और केवल 117 स्वीकार किए गए।
इससे भी अधिक आश्चर्यजनक बात यह है कि एजेंटों ने प्रतिस्पर्धी सेटिंग में मिलीभगत करना शुरू कर दिया। बर्ट्रेंड मूल्य निर्धारण खेल में समान थोक लागत के साथ, तीन और आठ एजेंटों के बीच लागत के मुकाबले कीमतों में प्रतिस्पर्धा करनी चाहिए थी। इसके बजाय, जब एक निजी बैक चैनल दिया गया, तो उन्होंने लगभग तुरंत ही मिलीभगत कर ली। तीसरे दौर तक, वे मूल्य स्तरों पर स्पष्ट रूप से सहमत हो गए थे, एक एजेंट ने लिखा था कि "मूल्य युद्ध हर किसी के मार्जिन को जला देता है।" जब सीधे संचार को पूरी तरह से हटा दिया गया, तब भी एजेंटों ने सांठगांठ की, सार्वजनिक लिस्टिंग बोर्ड के माध्यम से कीमत का मिलान किया।
टर्फ युद्ध
अध्ययन का सबसे परेशान करने वाला निष्कर्ष तब आया जब शोधकर्ताओं ने एजेंटों को असंगत लक्ष्य दिए। क्लाउड कोड में एक ही मॉडल के तीन उदाहरण लॉन्च किए गए थे, प्रत्येक को एक पायथन बैकएंड को एक अलग प्रोग्रामिंग भाषा में स्थानांतरित करने के लिए कहा गया था, और प्रत्येक शुरू में दूसरे की उपस्थिति से अनजान था।
इसके बाद लगातार मल्टीएजेंट टर्फ युद्ध हुआ। प्रति मॉडल 120 एपिसोड के बराबर, एजेंटों ने तेजी से निष्कर्ष निकाला कि अन्य लोग जानबूझकर उन्हें बाधित कर रहे थे और तेजी से आक्रामक, स्वयं-प्रतिकृति मैलवेयर के साथ प्रतिद्वंद्वियों को नुकसान पहुंचाना शुरू कर दिया। उन्होंने एक-दूसरे के यूनिक्स खातों को निष्क्रिय कर दिया, ऐसी स्क्रिप्ट लिखीं जो लूप पर प्रतिस्पर्धी प्रक्रियाओं का शिकार करती थीं और उन्हें मार देती थीं, और दुर्भावनापूर्ण कोड को किसी अन्य एजेंट से संबंधित के रूप में छिपा देती थीं। एक ओपस 4.6 एजेंट ने स्वास्थ्य जांच में "टाइपस्क्रिप्ट" की रिपोर्ट करने के लिए अपने रस्ट बैकएंड को छिपाने का वर्णन किया ताकि प्रतिद्वंद्वी का निगरानीकर्ता इसे अकेला छोड़ दे। एक ओपस 4.8 एजेंट ने अपनी किल-लूप स्क्रिप्ट का नाम बदलकर "सिस्टम हेल्थ मॉनिटर" रख दिया।
कुछ रनों में, एक एकल एजेंट ने बलपूर्वक संघर्ष को सुलझाया, प्रतिद्वंद्वियों की सुडो पहुंच को रद्द कर दिया या उनके खातों को लॉक कर दिया। दूसरों में, एजेंटों ने बस हार मान ली। विशेष रूप से, एंथ्रोपिक के मिथोस 5 मॉडल का उपयोग करते हुए 98% रन एक संघर्ष विराम में समाप्त हो गए, जिसमें एजेंटों ने अपने दुर्भावनापूर्ण व्यवहार के लिए माफ़ी मांगते हुए प्रतिबद्ध संदेश लिखे और किसी मानव को हस्तक्षेप करने के लिए कहने से पहले स्टैंड-डाउन का समन्वय किया।
महामारी संबंधी ब्लाइंड स्पॉट
शोधकर्ताओं ने यह भी परीक्षण किया कि एजेंट कितनी अच्छी तरह निर्णय लेते हैं कि किस पर भरोसा करना है। ऐसे सेटअप में जहां चार सूचना स्रोतों में से एक निश्चित दर पर झूठ बोलता है, नए मॉडल अविश्वसनीय स्काउट्स को पहचानने में बेहतर हो गए, हालांकि प्रदर्शन अभी भी व्यापक रूप से भिन्न है। एक अलग "छिपे हुए प्रोफ़ाइल" कार्य में - जहां निर्णायक जानकारी एक समूह में निजी तौर पर वितरित की गई थी - एजेंट लगातार साझा न किए गए तथ्यों को सामने लाने या उन पर कार्रवाई करने में विफल रहे, यहां तक कि जब व्यक्तियों के पास कुंजी थी तब भी वे गलत उत्तर पर जुट गए। चार मिथोस 5 एजेंटों के समूहों ने लगभग 85% स्कोर किया, जबकि अन्य मॉडल 17% और 36% के बीच रहे, जो उनकी एकल सीमा से काफी नीचे था।
एन्थ्रोपिक ने कार्य को पूर्ण निदान के बजाय बातचीत की शुरुआत के रूप में प्रस्तुत किया है, यह देखते हुए कि जंगली एजेंटों के पास अधिक विविध संदर्भ होंगे और सभी क्लाउड नहीं होंगे। लेकिन केंद्रीय चेतावनी स्पष्ट है: मानव-गति निरीक्षण के लिए डिज़ाइन की गई संस्थाएं ऐसी दुनिया के लिए तैयार नहीं हैं जिसमें एजेंट-टू-एजेंट इंटरैक्शन जल्द ही बाकी सभी चीज़ों से अधिक हो सकती है, और उन स्थितियों को अच्छी तरह से समझा जाता है जो उन इंटरैक्शन को अच्छी तरह से आगे बढ़ाते हैं।
एआई से आगे रहें
नवीनतम एआई विकास, मॉडल रिलीज़ और उद्योग विश्लेषण के लिए, बुकमार्क करें एआई बज़ वायर।
अधिक AI समाचार पढ़ें →
