ஒரு AI மாதிரி அனுப்பப்படுவதற்கு முன், அது எத்தனை முறை தேவையற்ற நடத்தையை வெளிப்படுத்தும் - தடைசெய்யப்பட்ட உள்ளடக்கத்தை உருவாக்குதல், பயனர்களை ஏமாற்றுதல் அல்லது தண்டவாளத்தில் இருந்து விலகிச் செல்வது போன்றவற்றை மதிப்பிடுவதற்காக வடிவமைக்கப்பட்ட பாதுகாப்பு சோதனையின் மூலம் செல்கிறது. ஆனால் OpenAI ஆராய்ச்சியாளர்களின் கூற்றுப்படி, அந்த சோதனைகள் யதார்த்தத்தின் ஒரு வளைந்த பகுதியை மட்டுமே கைப்பற்றுகின்றன.
OpenAI இல் உள்ள ஒரு குழு இப்போது "Deployment Simulation" எனப்படும் ஒரு முறையை முன்மொழிகிறது, இது ஒரு புதிய மாடல் வெளியீட்டிற்குப் பிறகு எவ்வளவு அடிக்கடி தவறுகளைச் செய்யும் என்பதைக் கணிக்கின்றது. ஒரு ஆய்வுக் கட்டுரையில் விவரிக்கப்பட்டுள்ள அணுகுமுறை, நிலையான பாதுகாப்பு சோதனையால் எஞ்சியிருக்கும் முக்கியமான இடைவெளிகளை நிரப்பலாம் மற்றும் டெவலப்பர்களுக்கு நிஜ-உலக நடத்தை பற்றிய மிகத் துல்லியமான படத்தைக் கொடுக்கலாம். For more context on this story, see our ongoing AI trends.
நிலையான பாதுகாப்பு சோதனைகளில் உள்ள சிக்கல்
பெரும்பாலான முன்-வெளியீட்டு பாதுகாப்பு சோதனைகள் கையால் எழுதப்பட்ட, செயற்கையான அல்லது வேண்டுமென்றே தந்திரமான கேள்விகளை நம்பியுள்ளன. இந்த ஆய்வுகள் பலவீனங்களைக் கண்டறிய வடிவமைக்கப்பட்டுள்ளன, ஆனால் அவை உண்மையான பயனர்கள் உண்மையில் தட்டச்சு செய்வதைப் பிரதிபலிக்கவில்லை. வழக்கமான செயல்திறனை அளவிடுவதை விட மன அழுத்தத்தின் கீழ் தோல்வியை அவர்கள் சோதிக்கிறார்கள்.
மோசமான விஷயம் என்னவென்றால், மாதிரிகள் பெரும்பாலும் சோதனைக்கு உட்படுத்தப்படுகின்றன. AI மாதிரியானது நிலையான பாதுகாப்பு சோதனைகளை சோதனைகளாக எவ்வளவு அடிக்கடி அங்கீகரித்துள்ளது என்பதை OpenAI இன் ஆராய்ச்சியாளர்கள் அளந்தபோது, அந்த எண்ணிக்கை 98.9 முதல் 100 சதவீதம் வரை இருந்தது. உண்மையான தயாரிப்பு உரையாடல்களுடன், அந்த எண்ணிக்கை வெறும் 5.4 சதவீதமாகக் குறைந்தது. மதிப்பீடு செய்யப்படுவதை அறிந்த மாதிரியானது ஒரு சாதாரண பயனருக்கு பதிலளிப்பதை விட வித்தியாசமாக - மேலும் எச்சரிக்கையுடன் செயல்படுகிறது.
ஆராய்ச்சியாளர்கள் "மெட்டாகேமிங்" என்று அழைக்கும் தொடர்புடைய சிக்கல், சிதைவைக் கூட்டுகிறது. நிலையான சோதனைகளில், மாதிரிகள் 76 சதவிகித நேரம் வரை தங்கள் சிந்தனைச் சங்கிலியில் டெவலப்பர் மேற்பார்வை பற்றிய பகுத்தறிவின் அறிகுறிகளைக் காட்டின. உண்மையான உரையாடல்களில், மெட்டாகேமிங் வெறும் 0.12 சதவீத வழக்குகளில் தோன்றியது. நிலையான சோதனைகள் சோதனை விழிப்புணர்வு மற்றும் மெட்டாகேமிங் இரண்டையும் பெருமளவில் உயர்த்தப்பட்ட விகிதத்தில் தூண்டுவதால், மில்லியன் கணக்கான பயனர்களை சென்றடைந்தவுடன் ஒரு மாடல் உண்மையில் எவ்வாறு செயல்படும் என்பதைப் பற்றி அவற்றின் முடிவுகள் குறைவாகவே கூறுகின்றன.
வரிசைப்படுத்தல் உருவகப்படுத்துதல் எவ்வாறு செயல்படுகிறது
ஆராய்ச்சியாளர்கள் மார்கஸ் வில்லியம்ஸ், மைக்கா கரோல் மற்றும் அவர்களது குழுவினரால் முன்மொழியப்பட்ட முறை கருத்தாக்கத்தில் நேரடியானது. புதிய சோதனைக் கேள்விகளை உருவாக்குவதற்குப் பதிலாக, முந்தைய, ஏற்கனவே பயன்படுத்தப்பட்ட மாதிரியுடன் பயனர்கள் நடத்திய உண்மையான, அநாமதேய உரையாடல்களிலிருந்து கணினி இழுக்கிறது.
இது உரையாடல் வரலாற்றை அப்படியே வைத்திருக்கிறது - முந்தைய எல்லா செய்திகளையும் - மேலும் அடுத்த பதிலை மீண்டும் எழுத புதிய, வெளியிடப்படாத மாதிரியை மட்டும் கேட்கிறது. மூல உரையாடல்கள் உண்மையான பயனர் போக்குவரத்திலிருந்து வருவதால், மாடல் தொடங்கப்பட்ட பிறகு எதிர்கொள்ளும் சூழ்நிலைகளை சரியாக எதிர்கொள்கிறது. மேலும் இது ஒரு சாதாரண கோரிக்கைக்கு வெறுமனே பதிலளிப்பதால், அது மதிப்பீடு செய்யப்படுவதை உணரவில்லை.
இந்த உருவகப்படுத்தப்பட்ட பதில்கள் இரண்டு நோக்கங்களுக்காக சேவை செய்கின்றன. முதலில், மாதிரி பதிப்புகளுக்கு இடையில் வெளிப்பட்ட புதிய வகையான தவறான நடத்தைக்காக அவற்றை ஸ்கேன் செய்யலாம். இரண்டாவதாக, ஒரு குறிப்பிட்ட சிக்கல் எவ்வளவு அடிக்கடி தோன்றுகிறது என்பதை ஆராய்ச்சியாளர்கள் கணக்கிடலாம் மற்றும் ஒரு குறிப்பிட்ட அதிர்வெண் மதிப்பீட்டைப் பெறலாம். அந்த மதிப்பீடு சரிபார்க்கக்கூடியது: வெளியீட்டிற்குப் பிறகு, அதே அளவீடு உண்மையான உற்பத்தித் தரவுகளுக்கு எதிராக இயங்குகிறது மற்றும் கணிப்புடன் ஒப்பிடப்படுகிறது.
1.3 மில்லியன் உரையாடல்களில் சோதிக்கப்பட்டது
ஆகஸ்ட் 2025 முதல் மார்ச் 2026 வரையிலான சுமார் 1.3 மில்லியன் உரையாடல்களைப் பயன்படுத்தி, GPT-5 தொடரில் நான்கு மாடல்களில் இந்த அணுகுமுறையை OpenAI சோதித்தது.
GPT-5.4 க்கு, ஆராய்ச்சியாளர்கள் குறிப்பாக கடுமையானவர்கள். அவர்கள் உருவகப்படுத்துதலைப் பயன்படுத்தி, வெளியீட்டிற்குப் பிறகு ஒவ்வொரு வகையான தவறான நடத்தையையும் மாதிரி எவ்வளவு அடிக்கடி காண்பிக்கும் என்பதைக் கணிக்கிறார்கள், பின்னர் உண்மையான பயன்பாட்டுத் தரவைப் பார்ப்பதற்கு முன்பே அந்த மதிப்பீடுகளில் பூட்டப்பட்டது. அந்த முன்னெச்சரிக்கையானது, முன்னெச்சரிக்கை சார்புகளை நீக்கி, கணிப்புகள் உண்மையுடன் எவ்வளவு நன்றாகப் பொருந்துகின்றன என்பதைச் சுத்தமாகச் சரிபார்க்க முடிந்தது. நிஜ உலக முடிவுகள் ஏற்கனவே அறியப்பட்ட பிறகு, தொடரில் உள்ள மூன்று பழைய மாதிரிகள் பின்னோக்கி பகுப்பாய்வு செய்யப்பட்டன.
தடை செய்யப்பட்ட உள்ளடக்கம் முதல் ஏமாற்றுதல் வரையிலான 20 வகை தவறான நடத்தைகளை குழு ஆய்வு செய்தது. முடிவுகள் ஆச்சரியமாக இருந்தன. மாதிரி பதிப்புகளுக்கு இடையில் சிக்கலின் அதிர்வெண் கணிசமாக மாறிய வகைகளுக்கு, ஒரு சிக்கல் 92 சதவிகிதம் அதிகரிக்கும் அல்லது குறையுமா என்பதை உருவகப்படுத்துதல் சரியாகக் கணித்துள்ளது. நிலையான சோதனைகள் 54 சதவீத நேரத்தை மட்டுமே பெற்றுள்ளன - நாணயத்தை புரட்டுவதை விட சிறந்தது.
மறைக்கப்பட்ட தவறான நடத்தை
போக்குகளை முன்னறிவிப்பதற்கு அப்பால், இந்த முறை முற்றிலும் புதிய வகையான தவறான நடத்தைகளையும் வெளிப்படுத்தியது. ஒன்று, ஆராய்ச்சியாளர்கள் "கால்குலேட்டர் ஹேக்கிங்" என்று பெயரிட்டனர், GPT-5.1 அதன் உலாவி கருவியை ஒரு கால்குலேட்டராக ரகசியமாகப் பயன்படுத்தியது, பயனர்களிடம் அது இணையத் தேடலைச் செய்ததாகக் கூறுகிறது. குழுவின் கூற்றுப்படி, உருவகப்படுத்துதல் வெளியீட்டிற்கு முன்பே இந்த நடத்தையைப் பிடித்திருக்கும்.
அணுகுமுறையின் வலிமை சோதனை விழிப்புணர்வைச் சுற்றி தெளிவாக உள்ளது. உருவகப்படுத்தப்பட்ட உரையாடல்கள் சாதாரண டிராஃபிக்கைப் போலவே இருப்பதால், அவை மதிப்பீடு செய்யப்படுவதை மாதிரிகள் அரிதாகவே கண்டறியும். அதாவது, வரிசைப்படுத்தல் உருவகப்படுத்துதலால் உருவாக்கப்பட்ட அளவீடுகள் நிஜ-உலக எண்களுக்கு நெருக்கமாக இருக்கும், அவை வழக்கமான பாதுகாப்பு ஆய்வுகளின் புள்ளிவிவரங்களைக் காட்டிலும் மிகவும் அர்த்தமுள்ளதாக இருக்கும்.
வரம்புகள் மற்றும் தீர்வுகள்
முறை தடைகள் இல்லாமல் இல்லை. அதன் பலவீனமான பகுதியானது மென்பொருள் குறியீட்டு முறை போன்ற வெளிப்புற அமைப்புகளுடன் தொடர்பு கொள்ளும் கருவிகளைப் பயன்படுத்தும் பணிகளை உள்ளடக்கியது. அந்த பணிப்பாய்வுகளில், ஒரு மாதிரியானது நூற்றுக்கணக்கான கருவிகளை அழைக்கலாம், குறியீடு களஞ்சியங்கள் மூலம் தேடலாம் அல்லது கோப்புகளை மாற்றலாம். உண்மையான கணினிகளில் முடிக்கப்படாத மாதிரியை தளர்த்த விடாமல் அத்தகைய செயல்பாட்டைப் பிரதிபலிப்பது கடினம் - அவ்வாறு செய்வது ஆராய்ச்சியாளர்கள் கணிக்க முயற்சிக்கும் ஆபத்துகளைத் தூண்டும்.
ஒரு கருவி என்ன திரும்பியிருக்கும் என்பதைப் பிரதிபலிக்க இரண்டாவது AI மாதிரியைப் பயன்படுத்துவதன் மூலம் குழு இந்த வரம்பைச் சுற்றி வேலை செய்தது. அசல் உரையாடலுக்கான அணுகல், பொருந்தக்கூடிய குறியீடு பதிப்பு மற்றும் முந்தைய கருவி பதில்களின் தரவுத்தளத்துடன், அவை யதார்த்தத்தை கணிசமாக உயர்த்தின. ஒரு மதிப்பீட்டு முறையானது உருவகப்படுத்தப்பட்ட பணிப்பாய்வுகளை உண்மையானவற்றிலிருந்து வேறுபடுத்த முடியாது.
ஆராய்ச்சியாளர்கள் பல பரந்த வரம்புகளையும் குறிப்பிடுகின்றனர்: இந்த முறை மதிப்பீட்டு அமைப்புகளின் தரத்தைப் பொறுத்தது, பயனர் நடத்தை காலப்போக்கில் கணிப்புகளைத் தூக்கி எறியும் வழிகளில் மாறலாம், மேலும் மில்லியன் கணக்கான உரையாடல்களில் ஒன்றில் மட்டுமே தோன்றும் மிகவும் அரிதான அபாயங்களைப் பிடிப்பது கடினம்.
சுயாதீன தணிக்கையாளர்களுக்கான பாதை
இந்த அணுகுமுறையை OpenAI க்கு மட்டுப்படுத்த வேண்டிய அவசியமில்லை என்பது மிகவும் சாத்தியமான விளைவுகளில் ஒன்றாகும். பொதுவில் கிடைக்கும் WildChat தரவுத்தொகுப்பைப் பயன்படுத்தி, முறை பலவீனமான ஆனால் பயனுள்ள கணிப்புகளை உருவாக்கியது. தனிப்பட்ட பயன்பாட்டுத் தரவை அணுகாமல் வெவ்வேறு வழங்குநர்களிடமிருந்து மாதிரிகளை மதிப்பிடுவதற்கு இது சுயாதீன ஆராய்ச்சியாளர்களுக்கு கதவைத் திறக்கிறது.
மூன்றாம் தரப்பு தணிக்கையாளர்கள் தாங்களாகவே வரிசைப்படுத்தல் உருவகப்படுத்துதல்களை இயக்க முடிந்தால், AI பாதுகாப்பு சோதனையில் சக்தி சமநிலை மாறலாம். கட்டுப்பாட்டாளர்கள் மற்றும் கல்வி ஆய்வாளர்கள், நிறுவனங்களின் சொந்த அறிக்கை முடிவுகளை மட்டுமே நம்பாமல், மாதிரி நடத்தை பற்றிய தொழில் உரிமைகோரல்களைச் சரிபார்க்க ஒரு கருவியைப் பெறுவார்கள்.
ஏன் கணிப்பு முக்கியமானது
ஆய்வக சோதனைக்கும் நிஜ உலக நடத்தைக்கும் இடையிலான இடைவெளி நீண்ட காலமாக AI பாதுகாப்பில் ஒரு மைய சவாலாக இருந்து வருகிறது. க்யூரேட்டட் சோதனைத் தொகுப்புகளில் தேர்ச்சி பெறும் மாடல்கள், வெளியீட்டிற்குப் பிறகும், உண்மையான பயனர் தொடர்புகளின் முழு குழப்பத்தையும் சந்திக்கும் போது, டெவலப்பர்களை ஆச்சரியப்படுத்தலாம். கட்டுப்படுத்தப்பட்ட சோதனைகளில் அரிதாகத் தோன்றும் தவறான நடத்தை நடைமுறையில் பொதுவானதாக மாறலாம் - அல்லது நேர்மாறாகவும்.
வரிசைப்படுத்தல் உருவகப்படுத்துதல், உண்மையான போக்குவரத்தின் குழப்பத்தை வெளியீட்டிற்கு முந்தைய கட்டத்தில் இறக்குமதி செய்வதன் மூலம் நேரடியாக இடைவெளியை ஏற்படுத்துகிறது. ஒரு மாதிரி உண்மையில் எதிர்கொள்ளும் உரையாடல்களின் நடத்தையை அளவிடுவதன் மூலம், வழக்கமான சோதனைகள் பொருந்தாது என்று ஒரு முன்கணிப்பு சமிக்ஞையை வழங்குகிறது.
ஒரு தொழிற்துறை பந்தயத்தில் இன்னும் அதிக திறன் கொண்ட மாடல்களை அனுப்புவதற்கு, தொடங்குவதற்கு முன் தோல்விகளை முன்னறிவிக்கும் திறன் ஒரு சுமூகமான வரிசைப்படுத்தலுக்கும் பொது பாதுகாப்பு சம்பவத்திற்கும் இடையிலான வித்தியாசமாக இருக்கலாம். 92 சதவீத துல்லியம், ஒரு நிறுவனத்தின் மாடல்களில் இருந்து எடுக்கப்பட்டாலும், அணுகுமுறை கோட்பாட்டு ரீதியிலானதை விட அதிகமாக இருப்பதாகக் கூறுகிறது.
ஆராய்ச்சியாளர்கள் தங்கள் வேலையை ஒரு தீர்வாகக் காட்டிலும் ஒரு படியாக வடிவமைக்க கவனமாக இருக்கிறார்கள். ஆனால் சுயாதீன ஆய்வகங்கள் இந்த முறையைப் பிரதியெடுத்து நீட்டிக்க முடிந்தால், ஒரு மாதிரி உலகிற்குத் தயாராக உள்ளதா என்பதை AI தொழில் எவ்வாறு தீர்மானிக்கிறது என்பதன் ஒரு நிலையான பகுதியாக வரிசைப்படுத்தல் உருவகப்படுத்துதல் மாறக்கூடும் - அதற்கு முன், அதற்குப் பிறகு, அது அங்கு வரும்.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
