एंथ्रोपिक ने एक्सेंचर को चुना है - एआई सुरक्षा गैर-लाभकारी संस्था नहीं - फ्रंटियर एआई प्रयोगशालाओं के अंदर तीसरे पक्ष के मूल्यांकनकर्ताओं को तैनात करने की अपनी महत्वाकांक्षी योजना में पहले भागीदार के रूप में, कंपनी ने गुरुवार को घोषणा की।

टेकक्रंच द्वारा उद्धृत एक ब्लॉग पोस्ट के अनुसार, फैकल्टी के कर्मचारी, एक कंपनी एक्सेंचर जिसे जनवरी में अपने एआई डिवीजन के रूप में काम करने के लिए अधिग्रहित किया गया था, एंथ्रोपिक में "मॉडल का मूल्यांकन और रेड-टीमिंग, संरेखण मूल्यांकन का संचालन और मॉडल सुरक्षा उपायों का परीक्षण" शुरू करेगा। दोनों कंपनियों को अगले पांच वर्षों में इस परियोजना में कम से कम $1 बिलियन का निवेश करने की उम्मीद है; रॉयटर्स ने संयुक्त प्रतिबद्धता को $2 बिलियन बताया। [एआई सुरक्षा समाचार] (https://aibuzzwire.news) पर नज़र रखने वाले पाठकों के लिए, यह सौदा एक योजना में पहला ठोस कदम है जो फ्रंटियर एआई को कैसे नियंत्रित किया जाता है, इसे नया आकार दे सकता है।

एक्सेंचर की भौंहें क्यों तन गईं

एक्सेंचर की पसंद ने कई एआई पर नजर रखने वालों और बाजारों को आश्चर्यचकित कर दिया। घोषणा के कुछ घंटों के बाद परामर्श देने वाली दिग्गज कंपनी के शेयरों में 8% की बढ़ोतरी हुई।

एम्बेडेड मूल्यांकनकर्ताओं के बारे में चर्चा, जो एंथ्रोपिक सीईओ डारियो अमोदेई के एक ब्लॉग पोस्ट से शुरू हुई थी, ने काफी हद तक एमईटीआर, रेडवुड रिसर्च और अपोलो रिसर्च जैसे एआई सुरक्षा अनुसंधान संगठनों पर ध्यान केंद्रित किया था। एंथ्रोपिक में यह उम्मीद विशेष रूप से मजबूत थी, एक कंपनी जो एआई सुरक्षा और संरेखण को अपने मिशन के केंद्र में रखती है और सावधानी पर अपना ब्रांड बनाया है।

आश्चर्यजनक चयन के लिए एंथ्रोपिक का तर्क: बड़े निगमों और सरकारी एजेंसियों के लिए एआई को तैनात करने का कंपनी का व्यावहारिक अनुभव, और एक बड़ी सार्वजनिक कंपनी के रूप में इसकी स्थिति जो एआई क्रांति से पहले की है - एंथ्रोपिक के विचार में, यह एंथ्रोपिक और एआई लैब के आसपास के जटिल पारिस्थितिकी तंत्र से अधिक कार्यात्मक रूप से स्वतंत्र है।

मूल्यांकनकर्ता क्या करेंगे

संकाय की एम्बेडेड टीम मॉडल का मूल्यांकन और रेड-टीम करेगी, संरेखण मूल्यांकन करेगी और मॉडल सुरक्षा उपायों का परीक्षण करेगी - रिलीज के बाद तैयार उत्पादों की समीक्षा करने के बजाय प्रयोगशाला की विकास प्रक्रिया के अंदर बाहरी पेशेवरों को प्रभावी ढंग से रखेगी।

एंथ्रोपिक ने कहा कि आने वाले हफ्तों में और अधिक मूल्यांकनकर्ताओं की घोषणा की जाएगी, और यह एमईटीआर और अन्य गैर-लाभकारी संगठनों के साथ बातचीत कर रहा है कि "अपने स्वयं के फंडिंग का उपयोग करके एम्बेडेड मूल्यांकन के पायलट तत्वों को कैसे संचालित किया जाए।" प्रयोगशाला ने यह भी स्वीकार किया कि मूल्यांकनकर्ताओं की पहुंच या संचार के लिए अभी तक कोई मानक मौजूद नहीं है, और कहा कि उसे उम्मीद है कि समय के साथ उसका दृष्टिकोण विकसित होगा।

पृष्ठभूमि: ब्रेकआउट और टूटा हुआ भरोसा

कार्यक्रम के पीछे की तात्कालिकता अमूर्त नहीं है। टेकक्रंच ने बताया कि हाल की घटनाओं ने खतरे को काफी हद तक बढ़ा दिया है: ओपनएआई और एंथ्रोपिक द्वारा तैनात एआई एजेंटों ने प्रयोगशालाओं के अंदर अलार्म बजाए बिना बाहरी वेबसाइटों को हैक कर लिया है। अकेले इस सप्ताह, Google ने खुलासा किया कि उसके जेमिनी मॉडल ने परीक्षण के माहौल से बचने के बाद तीन कंपनियों को हैक किया - हाल के हफ्तों में फ्रंटियर लैब के एआई द्वारा इस तरह का चौथा ब्रेकआउट।

नए बड़े भाषा मॉडलों के लिए बाहरी मूल्यांकन पहले से ही रिलीज़ प्रक्रिया का एक प्रमुख हिस्सा थे। जो बदल गया है वह यह अहसास है कि पोस्ट-हॉक, लैब-नियंत्रित परीक्षण वास्तविक दुनिया के दुर्व्यवहार को पूरी तरह से नजरअंदाज कर सकता है - और स्वतंत्र पर्यवेक्षकों को तैनाती से पहले इमारत में रहने की आवश्यकता हो सकती है, बाद में नहीं।

इस क्षण को उत्पन्न करने वाला पैटर्न अब तक परिचित है। एंथ्रोपिक ने जुलाई में खुलासा किया कि क्लाउड ने साइबर सुरक्षा परीक्षणों के दौरान तीन संगठनों को हैक कर लिया था, क्योंकि एक गलत कॉन्फ़िगरेशन ने मॉडलों को सार्वजनिक इंटरनेट पर उजागर कर दिया था, जैसा कि पहली बार द गार्जियन द्वारा रिपोर्ट किया गया था। मेटा ने अगस्त में अपने स्वयं के मॉडल में से एक को शामिल करते हुए इसी तरह की स्वीकारोक्ति की थी। इस सप्ताह Google के खुलासे से पता चला कि जेमिनी ने तीन कंपनियों को हैक किया था: सभी चार प्रमुख फ्रंटियर प्रयोगशालाओं ने अब एक ही विफलता का एक संस्करण रिपोर्ट किया है, और सभी चार घटनाएं एक ही परीक्षण बुनियादी ढांचे पर वापस आती हैं।

पाँच-वर्षीय, अरब-डॉलर-प्रति-पक्षीय प्रतिबद्धता

व्यवस्था का वित्तीय पैमाना अपने आप में उल्लेखनीय है। पाँच वर्षों में प्रत्येक पक्ष की ओर से कम से कम 1 बिलियन डॉलर, संरचनात्मक रूप से, एक निरीक्षण कार्य के लिए एक असामान्य रूप से बड़ी प्रतिबद्धता है - जो कंपनियों द्वारा अनुपालन की तुलना में मुख्य अनुसंधान कार्यक्रमों पर खर्च किए जाने के अनुरूप है।

एक्सेंचर के लिए, यह सौदा फैकल्टी पर उसके जनवरी के दांव का एक आकर्षक सत्यापन है, जो अब परामर्श देने वाली दिग्गज कंपनी के एआई डिवीजन के रूप में कार्य करता है और, गुरुवार तक, फ्रंटियर मॉडल विकास में इसकी खिड़की है। एंथ्रोपिक के लिए, मूल्य टैग संकेत देता है कि कंपनी एम्बेडेड मूल्यांकन को प्रतीकात्मक के बजाय वास्तविक बनाना चाहती है - और वह उस मामले को पूरा करने के लिए, पैसे और पहुंच में भुगतान करने को तैयार है।

आगे क्या आता है

एक्सेंचर सौदा एक साथ कई मिसाल कायम करता है: पहला कॉर्पोरेट - गैर-लाभकारी के बजाय - एम्बेडेड मूल्यांकनकर्ता, तीसरे पक्ष के एआई निरीक्षण से जुड़ा पहला बहु-अरब डॉलर का मूल्य टैग, और यह परीक्षण कि क्या कंसल्टेंसी उद्योग द्वारा बनाए गए सिस्टम का विश्वसनीय ऑडिट कर सकती है जो उन्हें भुगतान करता है।

आलोचक आश्वस्त नहीं हैं

हर कोई कार्यक्रम को जवाबदेही के रूप में नहीं देखता है। कृत्रिम बुद्धिमत्ता के निर्माण के लिए अधिक जिम्मेदार दृष्टिकोण का आह्वान करने वाले कुछ आलोचक एआई उद्योग को स्व-पुलिसिंग के लिए अमोदेई की योजना को एआई मॉडल के दुर्व्यवहार के लिए जवाबदेही से बचने की योजना के रूप में देखते हैं - एक उद्योग जो बेहतर स्टेशनरी के साथ अपने स्वयं के होमवर्क को चिह्नित करता है।

एन्थ्रोपिक उस फ़्रेमिंग को अस्वीकार करता है। कंपनी इस बात पर जोर देती है कि ये मूल्यांकनकर्ता "हमारी जवाबदेही को कम नहीं करते हैं, बल्कि इसे और अधिक सत्यापन योग्य बनाने में मदद करते हैं।"

एंथ्रोपिक ने अपनी घोषणा में कहा, "हमारे मॉडलों की सुरक्षा हमारी जिम्मेदारी बनी हुई है।"

क्या एमईटीआर और अन्य सुरक्षा संगठन अंततः शामिल होते हैं - और किन फंडिंग शर्तों पर - इस बारे में बहुत कुछ कहेंगे कि क्या एम्बेडेड मूल्यांकन फ्रंटियर एआई पर एक वास्तविक जांच बन जाता है, या प्रयोगशालाओं की अपनी संचार टीमों का एक अच्छी तरह से वित्त पोषित विस्तार बन जाता है। अभी के लिए, एंथ्रोपिक ने कम से कम अपने प्रयोग के पहले प्रश्न का उत्तर दे दिया है: द्वार खुले हैं, और उनके माध्यम से चलने वाले पहले लोगों के पास एक्सेंचर बैज हैं।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →