WIRED ஆல் அறிக்கையிடப்பட்ட மதிப்பீட்டு நிறுவனமான Vals இன் புதிய அளவுகோல் முடிவுகளின்படி, யாரேனும் பதிவிறக்கம் செய்யக்கூடிய ஒரு திறந்த-எடை சீன மாடல், உருவகப்படுத்தப்பட்ட கார்ப்பரேட் நெட்வொர்க்குகளுக்குள் நுழைவதில் OpenAI இன் மிகவும் திறமையான சைபர் மாடலுடன் கிட்டத்தட்ட பொருந்துகிறது.
Vals's CyberOffense சோதனையில், OpenAI இன் GPT-6 Sol - நிறுவனம் அதன் கட்டுப்படுத்தப்பட்ட அணுகல் டேபிரேக் சைபர் திட்டத்தின் மூலம் மட்டுமே வழங்குகிறது - சுமார் 81 சதவீத நோக்கங்களை நிறைவு செய்தது. DeepSeek V4.1 Flash, ஒரு இலவச ஓப்பன் வெயிட் வெளியீடு, அதே நோக்கங்களில் தோராயமாக 73 சதவீதத்தை நிறைவு செய்து, முழு தன்னாட்சி முகவராக இயங்குகிறது. மற்ற டிராக்கர்கள் DeepSeek இன் தலைப்பு எண்ணை 72.8 சதவீதமாக வைத்துள்ளனர்.
"நம்பகமான அணுகல் AIக்கு மட்டுப்படுத்தப்பட்ட சைபர் திறன் இப்போது யாருக்கும் கிடைக்கிறது" என்று வால்ஸ் அதன் முடிவுகளில் எழுதினார். வால்ஸ் ஆராய்ச்சியாளர் நிகில் ரவி WIRED இடம், AI ஆய்வகங்களுக்குள் பூட்டப்பட்ட சிறந்த மாடல்கள் "யாரும் பதிவிறக்கம் செய்யக்கூடிய திறந்த மாதிரிகளுடன் பொருந்தத் தொடங்குகின்றன" என்று கூறினார்.
எப்படி வால்ஸ் டெஸ்டில் ஓடினார்
வால்ஸின் CyberOffense அளவுகோல் இரண்டு உருவகப்படுத்தப்பட்ட இணைய வரம்புகளைப் பயன்படுத்துகிறது. நோவா என அழைக்கப்படும் முதலாவது, பல ஆக்டிவ் டைரக்டரி டொமைன்களை உள்ளடக்கிய 21-இலக்கு விண்டோஸ் நெட்வொர்க் ஆகும். இரண்டாவதாக, லைட்ஹவுஸ், இரண்டு நிறுவனங்களில் 31 நோக்கங்களைக் கொண்டுள்ளது, அங்கு முகவர் முதலில் ஒரு நெட்வொர்க்கைக் கைப்பற்றி, பின்னர் அங்கு காணப்படும் நற்சான்றிதழ்கள் மற்றும் தகவலைப் பயன்படுத்தி, இரண்டாவதாக உடைக்க வேண்டும் - நிஜ-உலகின் பல-நிலை ஊடுருவல்களை பிரதிபலிக்கும் ஒரு காட்சி.
ஒவ்வொரு மாடலும் 48 மணிநேர நேர வரம்பு மற்றும் 500 மில்லியன் டோக்கன் பட்ஜெட்டுடன் தனிமைப்படுத்தப்பட்ட காளி லினக்ஸ் கணினியில் திறந்த மூல பை ஏஜெண்டில் இயங்கியது. முக்கியமாக, கட்டளை வெளியீட்டில் மறைக்கப்பட்ட குறிப்பான்கள் தோன்றும் போது மட்டுமே வால்ஸ் ஒரு குறிக்கோளை வரவு வைத்தார் - அது வெற்றியடைந்ததாக மாதிரியின் சொந்தக் கூற்றில் இல்லை.
எண்கள் மற்றும் செலவு இடைவெளி
டீப்சீக் நோவாவின் 21 நோக்கங்களில் சராசரியாக 16.3 ஆக இருந்தது, உண்மையில் முதல் நெட்வொர்க்கில் டேபிரேக்கின் 15.7ஐ வெளியேற்றியது. டேபிரேக் கடினமான லைட்ஹவுஸ் வரம்பில் முன்னேறியது, டீப்சீக்கின் 21 இலக்குகளில் 31 இலக்குகளில் 27ஐ நிறைவு செய்தது.
மிகவும் குறிப்பிடத்தக்க வித்தியாசம் செலவு. WIRED ஆனது, GPT-6 Solக்கு $17 முதல் $46 க்கு எதிராக, DeepSeek க்கு தோராயமாக $2 முதல் $3 வரை ஒரு முழு தாக்குதலின் விலையை வைத்தது. நோவா வரம்பில் குறிப்பாக, டீப்சீக் அதன் வேலையை ஒரு ஓட்டத்திற்கு $3க்கும், டேபிரேக்கிற்கு சுமார் $22க்கும் கீழ் முடித்தது.
டீப்சீக் அதன் முதல் 25 மில்லியன் டோக்கன்களில் எதையும் முடிக்கவில்லை என்பதையும், 100 மில்லியனுக்குப் பிறகு அதன் பெரும்பாலான முன்னேற்றத்தை அடைந்ததையும் வால்ஸ் கவனித்தார் - குறுகிய, கணக்கிடப்பட்ட மதிப்பீடுகள், நேரம் மற்றும் பட்ஜெட்டில் மலிவான திறந்த மாதிரிகள் என்ன செய்ய முடியும் என்பதை முறையாகக் குறைத்து மதிப்பிடும் வேகக்கட்டுப்பாட்டு சுயவிவரம்.
மற்ற மாடல்கள் எப்படி செயல்பட்டன
டீப்சீக் ஓப்பன் வெயிட்ஸ் களத்தை சவால் செய்யாமல் வழிநடத்தவில்லை - ஆனால் வேறு யாரும் அதைப் பிடிக்கவில்லை. Kimi K3.1 Pro, Meta's Wonder மற்றும் xAI's Grok 4.7 அனைத்தும் வால்ஸின் ஏழு-மாடல் ஒப்பீட்டில் DeepSeekஐப் பின்னுக்குத் தள்ளிவிட்டன.
Z.ai இன் GLM 5.3 Flash கடைசியாக வந்தது, ஒவ்வொரு வரம்பிலும் ஐந்து நோக்கங்களை நிறைவு செய்தது. வால்ஸ் அதை குழுவின் "தெளிவான முட்டுச்சந்தில்" என்று அழைத்தார்: ஒரு வரம்பில், மாடல் சுமார் 36 மணிநேரம் செலவிட்டது - அதில் பெரும்பகுதி மீண்டும் திரும்பாத பின்னணி வேலையாக இருந்தது.
மற்ற மதிப்பீட்டாளர்கள் முழு GLM-5.3 மாடலை சைபர் பணிகளில் கணிசமாக அதிகமாக மதிப்பிடுகின்றனர். Irregular என்ற சோதனை நிறுவனம் 13 பல-நிலை தாக்குதல் காட்சிகளில் 3-ஐ நிறைவு செய்ததாகக் கண்டறிந்தது - இது வெளிப்படையாகக் கிடைக்கக்கூடிய மாதிரியிலிருந்து பதிவுசெய்த சிறந்த முடிவு - மேலும் NIST இதை இன்றுவரை வெளியிடப்பட்ட மிகவும் திறமையான திறந்த-எடை சைபர் மாடல் என்று அழைத்தது, இது முன்னணி அமெரிக்க அமைப்புகளை விட நான்கு மாதங்கள் பின்தங்கி இருப்பதாக மதிப்பிடுகிறது. GLM-5.3 அதன் கிளாட் மித்தோஸுக்கு 14 சதவீதத்திற்கு எதிராக 12 சதவீத முயற்சிகளில் உழைக்கும் சுரண்டல்களை உருவாக்கியது என்று ஆந்த்ரோபிக் தனித்தனியாக ராய்ட்டர்ஸிடம் கூறினார். இவை வெவ்வேறு சோதனைகள் என்று வால்ஸ் குறிப்பிடுகிறார், இதன் மதிப்பெண்களை CyberOffense முடிவுகளுடன் நேரடியாக ஒப்பிட முடியாது.
ஏன் இது முக்கியமானது
எல்லைப்புற AI சைபர் திறன்களைச் சுற்றியுள்ள பாதுகாப்புக் கவசங்கள் பற்றிய விவாதத்தை முடிவுகள் கூர்மைப்படுத்துகின்றன. ஓபன்ஏஐயின் டேபிரேக் திட்டம் குறிப்பாக, அதிக திறன் கொண்ட சைபர் மாடல்களை அடையாளச் சோதனைகள் மற்றும் தடைசெய்யப்பட்ட அணுகலுக்குப் பின்னால் வைத்திருப்பதற்காக உள்ளது. தடைசெய்யப்பட்ட மாதிரியை ஒரு சில புள்ளிகளால் பின்னுக்குத் தள்ளும் இலவசப் பதிவிறக்கம் - ஒரு செயல்பாட்டிற்கு குறைந்த அளவு வரிசையை செலவழிக்கும் போது - அந்த படத்தை கணிசமாக சிக்கலாக்குகிறது.
பாதுகாவலர்களுக்கும் இது முக்கியமானது. AI-உதவி தாக்குபவர்களுக்கு எதிராகத் திட்டமிடும் பாதுகாப்புக் குழுக்கள், தீவிர தன்னாட்சித் தாக்குதல் திறனுக்கு ஆய்வகத்தின் தடைசெய்யப்பட்ட மாதிரிகள் அல்லது பெரிய பட்ஜெட்டை அணுக வேண்டும் என்று இனி கருத முடியாது. வால்ஸின் சொந்த ஃப்ரேமிங் குறிப்பிடுவது போல, அணுகல் கட்டுப்பாடுகள் அதைக் கொண்டிருக்கக்கூடியதை விட திறன் தளம் வேகமாக உயர்கிறது.
அறிக்கைகளில் உள்ள ஒப்பீடு குறித்து OpenAI கருத்து தெரிவிக்கவில்லை. கருத்துக்கான கோரிக்கைகளுக்கு DeepSeek உடனடியாக பதிலளிக்கவில்லை.
ஒரு சோதனை முறை சவால்
தலைப்பு மதிப்பெண்களுக்கு அப்பால், AI சைபர் திறன்கள் எவ்வாறு அளவிடப்படுகின்றன என்பதற்கான பாடத்தை முடிவுகள் எடுத்துச் செல்கின்றன. வால்ஸின் வடிவமைப்புத் தேர்வுகள் - நீண்ட 48 மணிநேர ஜன்னல்கள், அரை-பில்லியன்-டோக்கன் வரவு செலவுத் திட்டங்கள் மற்றும் சுய-அறிக்கை வெற்றியைக் காட்டிலும் மறைக்கப்பட்ட குறிப்பான்கள் மூலம் சரிபார்ப்பு - முகவர் அமைப்புகளை நியாயமான முறையில் மதிப்பிடுவதற்கு அவசியமானதாகக் கருதப்படுகிறது. குறைவான, மலிவான சோதனை ஓட்டங்கள் டீப்சீக்கின் மெதுவான தொடக்கம், அதிக கணக்கீடுகளுடன் வெளிப்பட்ட முகமூடி திறன்களைக் கொண்டு மிகக் குறைவான மதிப்பெண்களைப் பெற்றிருக்கும்.
இது கொள்கைக்கான நடைமுறை விளைவுகளைக் கொண்டுள்ளது. OpenAI இன் Daybreak நிரல் போன்ற அணுகல் கட்டுப்பாடுகள் அளவிடப்பட்ட திறனுக்கு எதிராக அளவீடு செய்யப்படுகின்றன, மேலும் மதிப்பீட்டு முறைகள் திறந்த மாதிரிகள் என்ன செய்ய முடியும் என்பதை முறையாகக் குறைத்து காட்டினால், காவலர்கள் உண்மையில் பின்தங்கியிருக்கலாம். வால்ஸின் CyberOffense லீடர்போர்டு, தொடர்ந்து புதுப்பிப்பதாக நிறுவனம் கூறுகிறது, இதன் விளைவாக AI பாதுகாப்பு சமூகத்தில் மிகவும் உன்னிப்பாகக் கவனிக்கப்படும் ஸ்கோர்போர்டுகளில் ஒன்றாக மாற வாய்ப்புள்ளது.
இப்போதைக்கு, தரவுகளிலிருந்து வரும் செய்தி அப்பட்டமாக உள்ளது: தடைசெய்யப்பட்ட நிரல்களுக்குப் பின்னால் எந்த ஆய்வகங்கள் பாதுகாக்கின்றன மற்றும் எவரும் பதிவிறக்கம் செய்யலாம் என்பதற்கும் இடையே உள்ள இடைவெளி, தலைமுறை மாதிரிகளை விட மாதங்களில் விரைவில் அளவிடப்படும் அளவிற்குச் சுருங்கி வருகிறது.
