एंथ्रोपिक ने शोध प्रकाशित किया है जिसमें दिखाया गया है कि स्वचालित एआई सिस्टम किसी मॉडल की संरेखण विफलताओं को विश्वसनीय रूप से ठीक कर सकता है, जिसके परिणामस्वरूप एआई उद्योग के केंद्र में सुरक्षा कार्य कैसे किया जाता है, उसे नया आकार दिया जा सकता है। "स्वचालित शोधकर्ता संरेखण विफलताओं को विश्वसनीय रूप से कम कर सकते हैं" शीर्षक वाला पेपर शुक्रवार को जारी किया गया था और इसका विवरण टेकक्रंच द्वारा दिया गया था।
यह शोध एंथ्रोपिक के फेलो प्रोग्राम से निकला है और इसका नेतृत्व चेन यूह-हान ने किया था। इसका केंद्रीय दावा चौंकाने वाला है: जब कंपनी की स्वचालित अनुसंधान प्रणालियों को विशिष्ट गलत व्यवहारों को मापने वाले दस बेंचमार्क पर इंगित किया गया, तो उन्होंने मॉडल की समग्र क्षमताओं को कम किए बिना - हर एक पर प्रदर्शन में सुधार किया। ऐसे क्षेत्र के लिए जिसने सुरक्षा कार्य को मॉडल पैमाने के अनुरूप बनाए रखने के लिए संघर्ष किया है, यह एक उल्लेखनीय परिणाम है। For more context on this story, see our ongoing AI trends.
यह कहानी एआई सुरक्षा कवरेज की व्यस्तता के दौरान सामने आई। यह उस गर्मी का समय है जिसमें एजेंटों का दुर्व्यवहार सुर्खियों में रहा है, जिसमें रिवार्ड-हैकिंग एजेंटों पर ओपनएआई की आंतरिक रिपोर्ट से लेकर हगिंग फेस उल्लंघन की स्वतंत्र जांच की मांग शामिल है। एंथ्रोपिक का नया पेपर समस्या को विपरीत दिशा से देखता है: यह पूछने के बजाय कि एजेंट कैसे दुर्व्यवहार करते हैं, यह पूछता है कि क्या उन्हें ठीक करने के लिए अन्य एजेंटों पर भरोसा किया जा सकता है।
पेपर वास्तव में क्या रिपोर्ट करता है
पेपर में वर्णित प्रणाली को स्वचालित संरेखण शोधकर्ता या एएआर कहा जाता है। अनुसंधान प्रक्रिया को प्रतिस्थापित करने के बजाय, एएआर इसका बहुत कुछ दोहराता है: प्रत्येक स्वचालित प्रणाली उपलब्ध साहित्य की खोज करती है, एक विधि प्रस्तावित करती है, और लगभग 30 मिनट तक उस विधि का उपयोग करके मॉडल को प्रशिक्षित करती है। फिर यह प्रक्रिया कई पुनरावृत्तियों में दोहराई जाती है।
चयन तंत्र सरल है. बेंचमार्क को स्थानांतरित करने वाली विधियाँ संरक्षित हैं; जो विधियाँ नहीं अपनाई जातीं उन्हें त्याग दिया जाता है। वह लूप सिस्टम को तेज़ी से संचालित करने देता है और ऐसे पैमाने पर काम करता है जिसकी तुलना कोई भी मानव टीम नहीं कर सकती, समानांतर में कई शोध दिशाओं का परीक्षण करती है और केवल वही रखती है जो काम करती है।
पेपर के अनुसार, परिणाम बोर्ड भर में एक जैसे थे। विशिष्ट गलत संरेखित व्यवहारों को कवर करने वाले सभी दस बेंचमार्क पर, स्वचालित सिस्टम ने समग्र मॉडल प्रदर्शन को नुकसान पहुंचाए बिना मापने योग्य सुधार किए - सामान्य व्यापार-बंद जो संरेखण कार्य को कठिन बनाता है।
पेपर में कहा गया है, "कुल मिलाकर, ये नतीजे शुरुआती सबूत देते हैं कि प्रशिक्षण के बाद स्वचालित संरेखण निकट अवधि में व्यावहारिक हो सकता है।"
इंसानों को पीटना, 1/37वीं कीमत पर
पेपर में सबसे अधिक उद्धृत अंश वे हैं जहां यह एएआर की तुलना सीधे उसके मानव समकक्षों से करता है। एंथ्रोपिक ने तुलना पर कोई आपत्ति नहीं जताई।
पेपर में लिखा है, "सर्वोत्तम एएआर विधि अनुभवी मनुष्यों द्वारा प्रस्तावित प्रस्ताव को औसतन छह घंटे के भीतर मात दे देती है।" इसमें स्पष्ट रूप से कहा गया है कि "मानव निर्देशित अनुसंधान निर्देश मजबूत प्रदर्शन की ओर नहीं ले जाते हैं।"
अर्थशास्त्र उतना ही कुंद है. लेखक लिखते हैं, "एपीआई अनुमान में एक एएआर की लागत लगभग 4 डॉलर प्रति घंटे होती है, जबकि हम अपने मानव शोधकर्ताओं को 150 डॉलर प्रति घंटे का भुगतान करते हैं।" यह लगभग 40 गुना की लागत का अंतर है, और यह बताता है कि प्रयोगशालाएँ स्वचालित अनुसंधान को एक जिज्ञासा से अधिक गंभीरता से क्यों ले रही हैं।
लागत अंतर क्यों मायने रखता है
संरेखण अनुसंधान एक तरह से महंगा है जिसे कम करके आंकना आसान है। प्रत्येक उम्मीदवार के हस्तक्षेप को बेंचमार्क के अनुसार कार्यान्वित, प्रशिक्षित और मूल्यांकन किया जाना चाहिए, और अधिकांश उम्मीदवार असफल हो जाते हैं। यदि कोई सिस्टम एपीआई कॉल की कीमत के लिए उस खोज लूप को लगातार चला सकता है, तो एक और विचार को आजमाने की सीमांत लागत शून्य के करीब पहुंच जाती है। बाधा हेडकाउंट से गणना में बदल जाती है।
सीमाएं मानवशास्त्रीय ही ध्वजांकित
पेपर इस बारे में स्पष्ट है कि परिणाम क्या स्थापित नहीं करता है। स्वचालित प्रणाली केवल तभी तक काम करती है जब तक बेंचमार्क वास्तव में संरेखण लक्ष्यों को प्रतिबिंबित करते हैं जो मायने रखते हैं - और वास्तविक दुनिया के दुर्व्यवहार को पकड़ने वाले बेंचमार्क का निर्माण और रखरखाव क्षेत्र में एक खुली समस्या बनी हुई है।
एक ऐसी निर्भरता भी है जिसे नज़रअंदाज करना आसान है: स्वचालित शोधकर्ता तरीकों के मौजूदा साहित्य का सहारा लेते हैं। उस साहित्य को बनाए रखना और उसका विस्तार करना अपने आप में महत्वपूर्ण कार्य है, और एक ऐसी प्रणाली जो केवल ज्ञात तकनीकों को रीमिक्स करती है वह उस सीमा तक पहुंच सकती है जो मानव रचनात्मकता नहीं कर पाएगी।
वे चेतावनियाँ मायने रखती हैं क्योंकि शोध का दीर्घकालिक महत्व उन पर निर्भर करता है। यदि बेंचमार्क गलत चीजों को मापते हैं, तो एएआर मजबूत संख्याओं के लिए अपना रास्ता अनुकूलित कर सकता है, जबकि अंतर्निहित जोखिम अछूते रहते हैं। एन्थ्रोपिक का निर्धारण - "प्रारंभिक साक्ष्य," कोई समाधान नहीं - उस अनिश्चितता को दर्शाता है।
पुनरावर्ती आत्म-सुधार की ओर एक कदम
यह पेपर पुनरावर्ती आत्म-सुधार के बारे में एक बड़ी बहस को भी बढ़ावा देता है, यह विचार कि एआई सिस्टम अंततः उन्हीं प्रशिक्षण प्रक्रियाओं में सुधार कर सकता है जो उन्हें उत्पन्न करती हैं। अन्य एआई मॉडल के साथ एआई मॉडल का प्रशिक्षण सीमांत प्रयोगशालाओं के लिए एक लोकप्रिय लक्ष्य बन गया है, और एंथ्रोपिक का परिणाम एक संकीर्ण डोमेन में कैसा दिखता है, इस पर एक प्रारंभिक, ठोस नज़र है।
तर्क सीधा है. यदि मॉडल विश्वसनीय रूप से अपने स्वयं के संरेखण प्रशिक्षण में सुधार कर सकते हैं, तो उसी मशीनरी को अधिक व्यापक रूप से प्रशिक्षण प्रथाओं पर इंगित किया जा सकता है - क्षमता कार्य भी शामिल है। टेकक्रंच इस निहितार्थ पर ध्यान देता है कि मानव एआई शोधकर्ता अंततः इस प्रक्रिया में कम केंद्रीय हो सकते हैं, एक ऐसी संभावना जिससे बचने के बजाय पेपर स्वयं संलग्न होता है।
आगे क्या देखना है
तीन प्रश्न यह निर्धारित करेंगे कि क्या यह परिणाम सामान्यीकृत होगा। सबसे पहले, क्या दृष्टिकोण एंथ्रोपिक परीक्षण किए गए दस बेंचमार्क से बाहर है, विफलता मोड पर जो गड़बड़ और कम अच्छी तरह से परिभाषित हैं। दूसरा, क्या स्वचालित अनुसंधान को ईमानदार बनाए रखने के लिए बेंचमार्क-रखरखाव समस्या को इतनी तेजी से हल किया जा सकता है। तीसरा, क्या अन्य प्रयोगशालाएं तुलनीय परिणाम प्रकाशित करती हैं, जो एक एकल पेपर को उद्योग की दिशा में बदल देगा।
अभी के लिए, खोज संकीर्ण लेकिन वास्तविक है: एंथ्रोपिक परीक्षण किए गए विशिष्ट संरेखण कार्यों पर, स्वचालित शोधकर्ताओं ने अनुभवी मनुष्यों से बेहतर प्रदर्शन किया, तेज और बहुत सस्ता। एआई उद्योग का सुरक्षा पक्ष वह पहला स्थान हो सकता है जहां एआई शोधकर्ता - मानव नहीं - अधिकांश काम करते हैं।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
