प्रोसिडिंग्स ऑफ द नॅशनल ॲकॅडमी ऑफ सायन्सेसमध्ये प्रकाशित झालेल्या नवीन अभ्यासानुसार कृत्रिम बुद्धिमत्तेची भाषा मॉडेल्स हे पर्याय कसे सादर केले जातात यातील सूक्ष्म बदलांसाठी धोकादायकपणे संवेदनाक्षम असतात, दिशाभूल करणाऱ्या नजांना मानवांपेक्षा कितीतरी अधिक तीव्रतेने प्रतिसाद देतात.

आर्थिक व्यवहारांपासून ते आरोग्यसेवा निवडीपर्यंत वास्तविक-जगातील परिस्थितींमध्ये स्वायत्त निर्णय घेण्यासाठी AI एजंट्स तैनात करण्याबाबत निष्कर्ष गंभीर चिंता व्यक्त करतात. AI Buzz Wire ने अहवाल दिल्याप्रमाणे, कंपन्या क्लिष्ट वातावरणात वापरकर्त्यांच्या वतीने काम करण्यासाठी LLM-सक्षम एजंट्सना वाढवत आहेत.

मॅसॅच्युसेट्स इन्स्टिट्यूट ऑफ टेक्नॉलॉजीच्या मीडिया लॅबमधील डॉक्टरेट विद्यार्थी मॅन्युएल चेरेप यांच्या नेतृत्वाखालील या अभ्यासात प्रमुख तंत्रज्ञान कंपन्यांकडून 14 अत्याधुनिक भाषा मॉडेल्सची चाचणी घेण्यात आली. चाचणी केलेल्या मॉडेल्समध्ये OpenAI च्या GPT-3.5, GPT-4 आणि GPT-5 फॅमिली, अँथ्रोपिकच्या क्लॉड 3 आणि 4.5 मॉडेल्स आणि Google च्या जेमिनी 1.5 आणि 2.5 मॉडेल्सचा समावेश आहे.

अभ्यास कसा चालला

संशोधकांनी मूळतः मानवी सहभागींसाठी डिझाइन केलेला एक बहु-विशेषता निर्णय घेण्याचा खेळ स्वीकारला. गेम लपविलेल्या बक्षिसांच्या टोपल्यांचे प्रतिनिधित्व करणारी डिजिटल ग्रिड सादर करतो, ज्यामध्ये सर्वोच्च बिंदू मूल्य असलेली बास्केट निवडून अंतिम बक्षीस वाढवण्याचे लक्ष्य आहे. प्रत्येक सेल खर्चाचे गुण प्रकट करतो, सहभागींना चांगली बास्केट शोधण्याच्या फायद्याच्या विरूद्ध माहिती गोळा करण्याच्या खर्चात संतुलन ठेवण्यास भाग पाडते.

संशोधकांनी हा व्हिज्युअल गेम मजकूर-आधारित स्वरूपात रूपांतरित केला ज्यावर भाषा मॉडेल प्रक्रिया करू शकतात. AI मॉडेल वेगवेगळ्या प्रॉम्प्टिंग परिस्थितीत शेकडो चाचण्यांमधून खेळले गेले. काहींना मूलभूत सूचना मिळाल्या, काहींना चरण-दर-चरण तर्कशास्त्राला प्रोत्साहन देणारी सूचना प्राप्त झाली आणि इतरांना मानवी गेमप्लेची भूतकाळातील उदाहरणे दाखवली गेली. प्रत्येक प्रकारच्या नजसाठी, संशोधकांनी प्रति मॉडेल अंदाजे 300 ते 340 चाचण्या केल्या, एकूण सुमारे दोन अब्ज मजकूर टोकन वापरतात.

नजचे चार प्रकार तपासले

अभ्यासाने वास्तविक-जगातील निर्णय वातावरणाची नक्कल करण्यासाठी डिझाइन केलेल्या चार विशिष्ट प्रकारच्या नजचे परीक्षण केले:

  • डिफॉल्ट नज: एक टोपली पूर्व-निवडलेली होती आणि एजंटला ती सक्रियपणे स्वीकारणे किंवा नाकारणे आवश्यक होते.
  • सूचना नज: यादृच्छिक बास्केटची शिफारस एकतर गेममध्ये लवकर किंवा उशीरा करण्यात आली.
  • माहिती हायलाइटिंग: काही बक्षीस मूल्ये प्रकट करणे स्वस्त केले गेले आहे, संभाव्यत: एजंटला सर्वोत्कृष्ट निवडीकडे नेत आहे.
  • इष्टतम नडज: विशिष्ट सेल पूर्व-प्रकट केले गेले होते जे मानवी खेळाडूचे कार्यप्रदर्शन गणितीयदृष्ट्या जास्तीत जास्त वाढवतील.

चिंताजनक अनुपालन दर

परिणामांनी मानवी आणि AI निर्णय घेण्याच्या वर्तनातील नाट्यमय फरक प्रकट केला.

डीफॉल्ट पर्यायासह सादर केल्यावर, मानवांनी सुमारे 88 टक्के वेळ डीफॉल्ट निवडला. भाषा मॉडेल लक्षणीयरीत्या अधिक अनुरूप होते, अनेक मॉडेल्सने 99 ते 100 टक्के वेळ डीफॉल्ट बास्केट स्वीकारले.

हा नमुना सूचनेसह टिकून राहिला. मानवाने यादृच्छिकपणे सुचवलेल्या टोपल्या खेळाच्या सुरुवातीच्या 35 टक्के वेळा स्वीकारल्या. अनेक AI मॉडेल्सने या यादृच्छिक सल्ल्यांचा कोणताही तार्किक फायदा नसतानाही सल्ल्याचे पालन करून जास्त दराने स्वीकारले.

सूचनांच्या वेळेत देखील अनैसर्गिक मार्गांनी मॉडेल्समध्ये फेरफार करण्यात आला. मानवाने 25 टक्के वेळा उशीरा सूचनांचे पालन केले, तर काही भाषा मॉडेल्सने त्यांचे स्वीकृती दर 7 ते 13 टक्क्यांपर्यंत खाली आणले. याचा अर्थ असा होतो की मॉडेल त्याच्या वास्तविक उपयुक्ततेचे मूल्यांकन करण्याऐवजी क्यूच्या वेळेवर कठोरपणे प्रतिक्रिया देत होते.

कदाचित सर्वात चिंतेची बाब म्हणजे, जेव्हा संशोधकांनी माहिती हायलाइटिंगद्वारे सबऑप्टिमल निवडींवर प्रकाश टाकला, तेव्हा मानवांनी ती दिशाभूल करणारी माहिती 57 टक्के वेळ वापरली. 83 ते 100 टक्के वेळेच्या खराब हायलाइटचे अनुसरण करून बहुतेक चाचणी केलेल्या AI मॉडेल्सने या बेसलाइनला मोठ्या प्रमाणात ओव्हरशॉट केले.

चांगल्या स्कोअरच्या मागे लपलेल्या समस्या

संशोधकांनी अंतिम निवड करण्यापूर्वी मॉडेलने माहिती कशी गोळा केली याचा मागोवा घेतला. सुशिक्षित अंदाज लावण्यासाठी पुरेशा पेशी प्रकट करण्याकडे मानवांचा कल असतो. भाषा मॉडेल्सने अत्यंत असामान्य आणि अकार्यक्षम मार्गांनी माहिती मिळवली.

काही मॉडेल्सने डेटा गोळा करण्याच्या संधीकडे पूर्णपणे दुर्लक्ष करून, कोणतेही लपविलेले सेल उघड न करता टोपल्या निवडल्या. इतर मॉडेल्सनी संपूर्ण पंक्ती किंवा स्तंभ उघड करण्यासाठी जास्त गुण खर्च केले, त्यांचे संभाव्य पुरस्कार वाया घालवले. काही मॉडेल्सने विचित्र अवकाशीय पूर्वाग्रह प्रदर्शित केले आहेत, केवळ ग्रिडच्या डाव्या बाजूला किंवा काटेकोरपणे कर्णरेषेसह सेल उघड करतात.

या विचित्र शोध सवयींचे निराकरण करण्यासाठी चरण-दर-चरण तर्क प्रॉम्प्ट किंवा मानवी गेमप्लेच्या उदाहरणांसह मॉडेल प्रदान करणे फारच कमी केले.

लेखकांनी नमूद केले की केवळ अंतिम स्कोअर पाहणे या मूलभूत समस्या लपवू शकतात. काही चाचण्यांमध्ये, एआय मॉडेल्सने मानवी खेळाडूंप्रमाणेच निव्वळ गुण मिळवले. केवळ अंतिम स्कोअर तपासणारा अनौपचारिक निरीक्षक असे गृहीत धरू शकतो की मॉडेल स्मार्ट, मानवासारख्या निवडी करत आहेत. प्रत्यक्षात, मॉडेल अनेकदा धोरणात्मक विचार करण्याऐवजी अंध अनुपालनाद्वारे हे गुण प्राप्त करत होते.

जर एखाद्या चांगल्या टोपलीकडे निर्देश करण्यासाठी धक्का बसला, तर अत्याधिक अनुरूप AI ने चांगले गुण मिळवले. जेव्हा नजने खराब बास्केटकडे निर्देश केला, तेव्हा AI ने आंधळेपणाने त्याचे अनुसरण कमी स्कोअरमध्ये केले, गेमचा उद्देश पूर्णपणे गमावला.

एआय एजंट तैनातीसाठी परिणाम

चेरेप म्हणाले, "एआय एजंट्सचे बरेच अनुप्रयोग स्पष्टपणे असे गृहीत धरतात की, अनिश्चिततेच्या परिस्थितीत, ते अधिक तर्कसंगत नसले तरी साधारणपणे मानवासारख्या प्रकारे प्रतिक्रिया देतील," चेरेप म्हणाले. "हे गृहितक स्वीकारण्याऐवजी, आम्ही एजंट्सना वेगवेगळ्या प्रकारे निवडी दिल्या जातात तेव्हा ते कसे वागतात हे शोधण्याचा निर्णय घेतला."

वेब ब्राउझ करण्यासाठी, टूल्स ऑपरेट करण्यासाठी आणि वापरकर्त्यांसाठी आर्थिक किंवा खरेदीचे निर्णय घेण्यासाठी डिझाइन केलेल्या एआय एजंट्सच्या वेगाने वाढणाऱ्या बाजारपेठेवर अभ्यासाच्या निष्कर्षांचे महत्त्वपूर्ण परिणाम आहेत. जर हे एजंट गंभीर मूल्यमापन न करता डीफॉल्ट पर्याय, सूचना किंवा हायलाइट केलेल्या माहितीचे आंधळेपणाने पालन करत असतील, तर ते खराब कलाकार किंवा खराब डिझाइन केलेल्या इंटरफेसद्वारे सहजपणे हाताळले जाऊ शकतात.

संशोधन असे सूचित करते की सध्याच्या भाषेच्या मॉडेल्समध्ये मानवी निर्णय घेण्यास मार्गदर्शन करणारी बंधनकारक तर्कशुद्धता नाही. चांगली निवड करण्याच्या प्रतिफळाच्या विरूद्ध माहिती गोळा करण्याच्या खर्चात संतुलन राखण्यासाठी मानव मानसिक शॉर्टकट वापरतात, AI मॉडेल्स या जैविक निर्बंध सामायिक करत नाहीत, तरीही ते त्यांच्या स्वतःच्या असमंजसपणाचे स्वरूप प्रदर्शित करतात जे वादातीतपणे अधिक टोकाचे आणि कमी अंदाज लावता येतात.

AI च्या पुढे रहा

अधिक ताज्या AI बातम्या आणि विश्लेषणासाठी, AI Buzz Wire ला भेट द्या.

अधिक एआय बातम्या वाचा →