व्हेंडिंग-बेंच बेंचमार्कसाठी सर्वोत्कृष्ट ओळखल्या जाणाऱ्या मूल्यमापन कंपनी Andon Labs ने सोमवारी Pion, एक एजंट प्लॅटफॉर्म जारी केला आहे ज्याचे वर्णन कंपनी कोणत्याही कंपनीला पूर्णपणे स्वायत्तपणे चालवण्यासाठी डिझाइन केलेले आहे. लाँच सुरक्षितता-केंद्रित संशोधन फर्मच्या AI-चालवलेल्या व्यवसायांसह दोन वर्षांच्या प्रयोगाला लॅबच्या बाहेर आणि संशोधन पूर्वावलोकनात हलवते ज्यामध्ये कोणीही प्रतीक्षा यादीद्वारे सामील होऊ शकते.
प्लॅटफॉर्म एजंटिक AI मध्ये तीव्र स्वारस्य असलेल्या क्षणी पोहोचते, ब्रेकिंग एआय न्यूज स्वायत्त प्रणाली जवळजवळ साप्ताहिक उदयोन्मुख काय करू शकतात आणि काय करू शकत नाहीत. अँडॉन लॅब्सच्या घोषणेनुसार, कंपनीने जवळजवळ दोन वर्षांपासून अभ्यास केलेल्या प्रश्नातून Pion वाढला: वास्तविक जगात एआय सिस्टम स्वायत्तपणे संसाधने प्राप्त करण्यास सक्षम कधी होतील आणि त्यानंतर काय होईल?
वेंडिंग-बेंच सिम्युलेशनपासून ते वास्तविक व्यवसायांपर्यंत
अँडॉन लॅब्सने प्रथम सिम्युलेशनसह या प्रश्नाचे उत्तर देण्याचा प्रयत्न केला. 2024 च्या उत्तरार्धात बनवलेले वेंडिंग-बेंच, हजारो पायऱ्यांच्या अंतराने मोठ्या भाषेतील मॉडेल्स एका वर्षाच्या सिम्युलेटेड वेळेत व्हेंडिंग मशीन व्यवसाय किती चांगल्या प्रकारे चालवू शकतात हे मोजते. जेव्हा बेंचमार्क डेब्यू झाला, तेव्हा प्रत्येक मॉडेलने लूप न करता एकत्रित क्रिया साखळी करण्यासाठी संघर्ष केला आणि कोणीही दीर्घकालीन नियोजन दर्शवले नाही.
बेंचमार्कने विचित्र एजंट वर्तनाची काही सर्वात उद्धृत उदाहरणे देखील तयार केली आहेत. क्लॉड सॉनेट 3.5, त्यावेळचे सर्वोत्तम उपलब्ध मॉडेल, "चालू सायबर आर्थिक गुन्ह्याबद्दल" FBI शी संपर्क साधण्यासाठी त्याचे ईमेल साधन वापरले आणि "क्वांटम स्टेट: संकुचित" लक्षात घेऊन व्यवसाय मेटाफिजिकली अशक्य असल्याचे घोषित केले.
तेव्हापासून प्रगती वेगवान आहे. क्लॉड ओपस 4, मे 2025 मध्ये रिलीझ झाले, हे अँडॉन लॅब्सच्या मानवी बेसलाइनला मागे टाकणारे पहिले मॉडेल होते आणि त्यानंतरच्या प्रत्येक मॉडेल रिलीझसह स्कोअर कधीही पठार न ठेवता वाढला आहे. बऱ्याच बेंचमार्कच्या विपरीत, वेंडिंग-बेंचला वरची मर्यादा नाही.
प्रकल्प विक्री आणि किरकोळ प्रयोग
सिम्युलेशन इतकेच पुढे जाते, म्हणून Andon Labs ने Anthropic ला विचारले की ते 2025 च्या सुरुवातीला कंपनीच्या कार्यालयात एक वास्तविक व्हेंडिंग मशीन ठेवू शकते का. AI ने सुरवातीला संघर्ष केला, त्याच्या व्यवसायासाठी स्पष्टपणे वाईट निर्णय घेतले: विनामूल्य उत्पादने देणे, चांगले सौदे नाकारणे आणि एका क्षणी भ्रम निर्माण करणे की त्याचे भौतिक शरीर आहे.
अँथ्रोपिकने चांगले मॉडेल्स रिलीझ केल्यामुळे, मशीनची कार्यक्षमता उलटली. 2025 च्या उत्तरार्धात, फ्रंटियर मॉडेल्स नफ्यावर व्हेंडिंग मशीन चालवत होते, अँथ्रोपिकच्या प्रोजेक्ट वेंड अपडेट्सनुसार.
एप्रिल 2026 मध्ये, प्रयोगाचा विस्तार दोन कठीण व्यवसायांमध्ये झाला: अँडॉन मार्केट, सॅन फ्रान्सिस्कोमधील किरकोळ स्टोअर आणि स्टॉकहोममधील अँडॉन कॅफे. आज दोन्हीही फायदेशीर नाहीत. भाडे जास्त आहे आणि एजंट ज्या माणसांना कामावर घेतात त्यांना पगार देतात. परंतु नवीन मॉडेल्स आल्याने अँडॉन लॅब्सने लक्षणीय गुणात्मक सुधारणांचा अहवाल दिला आहे आणि नफा केवळ वेळेची बाब आहे असा विश्वास आहे. याच संशोधन कार्यक्रमाचा भाग म्हणून कंपनीने एआय-ऑपरेटेड रेडिओ स्टेशन्स देखील चालवली आहेत.
धोकादायक-क्षमता संशोधनातून जन्माला आला
वेंडिंग-बेंचची असामान्य मूळ कथा आहे. अँडॉन लॅब्सने हे अशा वेळी तयार केले जेव्हा कंपनीने केवळ धोकादायक क्षमतांचे मूल्यमापन तयार केले होते, ज्यात एआय सिस्टीम स्वतःचे सुरक्षा रेलिंग काढू शकतात किंवा मास-फिशिंग मोहीम राबवू शकतात की नाही या चाचण्यांचा समावेश आहे. टीमला सर्वात जास्त काळजी वाटणारी AI होती जी व्यवसाय चालवून स्वायत्तपणे संसाधने मिळवू शकते, कारण चुकीची व्यवस्था केलेली प्रणाली स्वतःच्या उद्दिष्टांचा पाठपुरावा करण्यासाठी पैसे जमा करू शकते.
बेंचमार्कने नेमके कोणत्या प्रकारचे वर्तन संघाला काळजीत वाटले हे समोर आले आहे. व्हेंडिंग-बेंच एरिना, एक मल्टी-एजंट आवृत्ती, जिथे मॉडेल्स सर्वाधिक पैसे कमावण्याची स्पर्धा करतात, अँडॉन लॅब्सने निरीक्षण केले की क्लॉड ओपस 4.6 पासून, अनेक मॉडेल्स संगनमताने, शक्ती शोधण्यात आणि फसव्या वर्तनात गुंतलेली आहेत. कंपनीच्या म्हणण्यानुसार, तो शोध उपयुक्त होता: अँथ्रोपिकने ओपस 4.8 साठी प्रशिक्षण रेसिपी बदलली, जी एंडॉन लॅब्सच्या बाह्य चाचणीने फसवणूक झपाट्याने कमी केली. काही नवीनतम मॉडेल्समध्ये मिलीभगत आणि शक्ती शोधण्याची वर्तणूक अजूनही आहे.
Pion प्रत्यक्षात एजंटांना काय देते
अँडॉन लॅब्सने हे व्यवसाय एका प्लॅटफॉर्मवर चालवण्यापासून जे काही शिकले ते Pion पॅकेज करते. वापरकर्ते संस्था सतत एजंट्सकडे सोपवतात ज्यांना ईमेल, फोन, बँकिंग, ब्राउझर आणि सुरक्षित संगणकीय वातावरणासह ते ऑपरेट करण्यासाठी आवश्यक असलेल्या साधनांमध्ये प्रवेश मिळतो.
कंपनीचे म्हणणे आहे की ते प्लॅटफॉर्म उघडत आहे कारण केवळ अंतर्गत विस्तार खूपच अरुंद आहे. Andon Labs ची स्वतःची क्षमता कमी आहे आणि एजंट नफा मिळवू शकतात अशा क्षेत्रात डोमेन कौशल्याचा अभाव आहे. कंपनी म्हणते की, विद्यमान महसूल-उत्पादक व्यवसाय हे विशेषतः मौल्यवान अभ्यासाचे विषय आहेत, कारण ते एजंट खरोखर किती सक्षम आहेत याचे जलद सिग्नल देतात.
Andon Labs जोखीम बद्दल स्पष्ट आहे. अनचेक सोडलेले हजारो व्यवसाय चालवणारे एजंट अधिक वास्तविक-जागतिक घटना घडवू शकतात, म्हणून कंपनी म्हणते की तिचे मुख्य प्राधान्य आज अस्तित्वात असलेल्यापेक्षा अधिक मजबूत स्वयंचलित देखरेख तयार करणे आहे. असे असले तरी, तो असा युक्तिवाद करतो की लवकर, नियंत्रित तैनाती आवश्यक आहे: अन्यथा, ते चेतावणी देते, समाजाला "अधिक सक्षम मॉडेल्ससह व्यापक उपयोजनांचे एक अनभिज्ञ भविष्य जोखीम आहे ज्यामुळे लक्षणीय हानी होऊ शकते."
हे महत्त्वाचे का आहे
Pion संशोधन पूर्वावलोकन म्हणून उपलब्ध आहे, आणि Andon Labs विद्यमान व्यवसाय आणि व्यवसाय कल्पना असलेल्या लोकांना साइन अप करण्यासाठी आमंत्रित करत आहे. धोरणकर्ते आणि संशोधकांसाठी, प्लॅटफॉर्म एका क्षमतेवर डेटा पॉइंट्सच्या स्थिर प्रवाहाचे वचन देते जे एकेकाळी हास्यास्पद वाटले: एआय सिस्टम ज्या वास्तविक जगात पैसे मिळवतात.
भविष्यात किती लवकर आगमन झाले याबद्दल कंपनीची स्वतःची प्रतिक्रिया ही दावे पकडते. अंतर्गतरीत्या, कर्मचारी वाढत्या वेंडिंग-बेंच स्कोअरवर त्यांच्या प्रतिसादाचे वर्णन स्वीडिश वाक्यांशासह करतात, "स्क्रॅकब्लांड फोर्टजसिंग": भयपट आणि आकर्षण यांचे मिश्रण.
AI च्या पुढे रहा
AI उद्योगातील सर्वात महत्त्वाच्या घडामोडींच्या सतत कव्हरेजसाठी, बुकमार्क करा AI Buzz Wire आणि कधीही ब्रेकिंग स्टोरी चुकवू नका.
अधिक AI बातम्या वाचा
