Real-SWE எனப்படும் புதிய அளவுகோல், AI தொழிற்துறையானது குறியீட்டு திறனை எவ்வாறு அளவிடுகிறது என்பதை சவாலுக்கு உட்படுத்துகிறது, மேலும் முதல் முடிவுகள் எல்லைப்புற ஆய்வகங்களுக்கு அடக்கமாக உள்ளன. ஆந்த்ரோபிக்ஸ் ஃபேபிள் 5.1, க்ளாட் கோட் சேனலின் உள்ளே இயங்குகிறது, தனியார், நிஜ உலக நிறுவன குறியீட்டுத் தளங்களிலிருந்து எடுக்கப்பட்ட பணிகளில் 38.8% தெளிவுத்திறன் வீதத்துடன் பலகையை வழிநடத்துகிறது. சோதனை செய்யப்பட்ட எந்த மாதிரியும் 40 சதவீதத்தை அழிக்கவில்லை.

ஸ்பெசிஃபிக் லேப்ஸ் மூலம் இந்த மாதம் வெளியிடப்பட்ட பெஞ்ச்மார்க், உண்மையான நிறுவனங்களிடமிருந்து குழு உரிமம் பெற்ற தனியார் உற்பத்தி குறியீட்டுத் தளங்களில் எல்லைப்புற AI மாதிரிகளை மதிப்பிடுகிறது. நிபுணரால் உருவாக்கப்பட்ட அல்லது செயற்கையான பணிகள், எவ்வளவு சிறப்பாக வடிவமைக்கப்பட்டிருந்தாலும், உண்மையான நிறுவனங்களில் உள்ள பொறியாளர்கள் உண்மையில் செய்யும் சொற்களஞ்சிய வேலைகள் அல்ல என்று அதன் படைப்பாளிகள் வாதிடுகின்றனர். For more context on this story, see our ongoing more AI stories.

ஏன் தனிப்பட்ட கோட்பேஸ்கள் படத்தை மாற்றுகின்றன

Real-SWE ஆனது இரண்டு அச்சுகளில் SWE-பெஞ்ச் போன்ற நிறுவப்பட்ட வரையறைகளிலிருந்து வேறுபடுகிறது, அதன் ஆசிரியர்களின் கூற்றுப்படி: அடிப்படை குறியீட்டு கலைப்பொருள் மற்றும் அறிவுறுத்தலின் தனித்தன்மை. ஒவ்வொரு பணியும் தனியுரிம அமைப்பிலிருந்து வருகிறது, அதன் குறியீடு மற்றும் தீர்வுகள் பொது இணையத்தில் கிடைக்காது, அதாவது பொது களஞ்சியங்களிலிருந்து இழுக்கப்பட்ட மனப்பாடம் செய்யப்பட்ட பதில்களில் முகவர்கள் சாய்ந்து கொள்ள முடியாது.

பணிகள் வணிக விளைவுகளையும் கொண்டுள்ளன. பில்லிங் சரியாகப் பெறுதல், வரிகளைக் கணக்கிடுதல் மற்றும் வாடிக்கையாளர்களை இடம்பெயர்தல் - ஒரு வணிகம் எவ்வாறு இயங்குகிறது என்பதைப் பாதிக்கும் மாற்றங்கள், பல சேவைகளில் பெரும்பாலும் அடிப்படைக் குறிகாட்டியின் எடுத்துக்காட்டுப் பணிகளில் அடங்கும். ஒவ்வொரு நிறுவனத்திற்கும் அதன் சொந்த மரபுகள் மற்றும் குறியீட்டை எழுதுவதற்கான வழிகள் உள்ளன, மேலும் முகவர்கள் அந்த விதிமுறைகளைப் புரிந்துகொண்டு ஏற்கனவே உள்ளவற்றுடன் வேலை செய்யும் மாற்றங்களைச் செய்ய வேண்டும்.

"நிஜ உலகில் ஒரு மென்பொருள் பொறியாளரின் வேலையை ஒரு குறியீட்டு முகவர் உண்மையில் செய்ய முடியுமா?" அளவுகோலின் அறிமுகம் கேட்கிறது. லீடர்போர்டு இப்போது பதிலைப் பரிந்துரைக்கிறது: மூன்றில் ஒரு பங்கு நேரம் மட்டுமே சிறந்தது.

முழு லீடர்போர்டு

குறிப்பிட்ட ஆய்வகங்கள் 95 சதவீத நம்பிக்கை இடைவெளிகளுடன், ஒரு பணிக்கு சராசரியாக எட்டு சுயாதீன ரன்களுக்கு மேல் பாஸ்@1 என தீர்மான விகிதத்தை அளவிடும் எட்டு எல்லை மாதிரி மற்றும் சேணம் சேர்க்கைகளை மதிப்பீடு செய்தன:

1. கட்டுக்கதை 5.1 (கிளாட் குறியீடு) - 38.8%
2. GPT-6 அஸ்ட்ரா (கோடெக்ஸ் CLI) — 33.8%
3. ஜெமினி 3.8 ஃப்ளாஷ் (ஜெமினி சிஎல்ஐ) - 31.2%
4. GLM 5.3 (கிளாட் குறியீடு) — 28.8%
5. (டை) Grok 4.6 (Grok Build) — 23.8%
5. (டை) மியூஸ் ஸ்பார்க் 1.3 (மியூஸ் கோட்) - 23.8%
7. கிமி கே3 (கிமி குறியீடு) — 18.8%
8. GPT-5.6 சோல் (கோடெக்ஸ் CLI) — 16.2%

முடிவுகள் வார இறுதியில் ஹேக்கர் செய்திகளில் விரிவாக விவாதிக்கப்பட்டன, அங்கு தரவரிசை பல நூறு ஆதரவு வாக்குகளை ஈர்த்தது மற்றும் முகவர் முன்னேற்றத்திற்கான சரியான அளவுகோல் தனியார்-கோட்பேஸ் மதிப்பீடுதானா என்பது பற்றிய உற்சாகமான விவாதம்.

ஒரு குறுகலான ஆனால் அர்த்தமுள்ள உச்சியில் பரவுகிறது

முதல் நான்கு அமைப்புகளுக்கு இடையே உள்ள இடைவெளி தற்போதைய போட்டி நிலப்பரப்பைப் பற்றி என்ன சொல்கிறது என்பது குறிப்பிடத்தக்கது. ஓபன்ஏஐயின் ஜிபிடி-6 அஸ்ட்ராவை விட ஃபேபிள் 5.1 இன் ஐந்து-புள்ளி முன்னணி என்பது ஒரு அளவுகோலில் அர்த்தமுள்ளதாக இருக்கிறது, அங்கு ஒவ்வொரு பணியும் உண்மையான உற்பத்தி சிக்கலாகும். ஜெமினி 3.8 ஃப்ளாஷ் மூன்றாவது இடத்தைப் பிடித்தது குறிப்பிடத்தக்கது, ஏனெனில் இந்த மாடல் ஒரு முதன்மையான பகுத்தறிவு அமைப்பைக் காட்டிலும் வேகமான, குறைந்த செலவில் வேலை செய்யும் குதிரையாக நிலைநிறுத்தப்பட்டுள்ளது. Z.ai இன் GLM 5.3, கிளாட் கோட் மூலம் மதிப்பிடப்பட்டது, தலைவரின் ஐந்து புள்ளிகளுக்குள் தரையிறங்குவது, நடைமுறை பொறியியல் வேலைகளில் திறந்த எடை மாதிரிகள் எவ்வாறு போட்டித்தன்மையுடன் மாறியுள்ளன என்பதை அடிக்கோடிட்டுக் காட்டுகிறது.

சமமாக சொல்வது கீழே பரவுகிறது. முந்தைய OpenAI வெளியீடான GPT-5.6 Sol, ஃபேபிள் 5.1-ஐ விட பாதிக்கும் குறைவான பணிகளைத் தீர்க்கிறது - எல்லை எவ்வளவு விரைவாக நகர்ந்தது, மேலும் ஒரு மாதிரித் தலைமுறை பின்னோக்கி எவ்வளவு செங்குத்தானது என்பதை நினைவூட்டுகிறது.

மாடல்களைப் போலவே ஹார்னஸும் முக்கியமானது

பெஞ்ச்மார்க்கின் முறையான தேர்வுகளில் ஒன்று கவனத்தை ஈர்ப்பது: தனித்தனியாக மாதிரிகளை மதிப்பிடுவதற்குப் பதிலாக, நிறுவனப் பொறியாளர்கள் உண்மையில் நடைமுறையில் எவ்வாறு செயல்படுகிறார்கள் என்பதைப் பிரதிபலிக்க, ரியல்-எஸ்டபிள்யூஇ நேட்டிவ் சேணம் - கிளாட் கோட், கோடெக்ஸ் சிஎல்ஐ, ஜெமினி சிஎல்ஐ, க்ரோக் பில்ட் ஆகியவற்றைப் பயன்படுத்துகிறது. லீடர்போர்டு மாடல் மற்றும் சேணம் சேர்க்கைகளை வெளிப்படையாக தரவரிசைப்படுத்துகிறது, சாரக்கட்டு, கருவி அணுகல் மற்றும் மறு செய்கை சுழல்கள் இப்போது உண்மையான வரிசைப்படுத்தல்களில் மாதிரி திறனில் இருந்து பிரிக்க முடியாதவை என்பதை ஒப்புக்கொள்கிறது.

அமைப்புகளைத் தேர்ந்தெடுக்கும் நிறுவனங்களுக்கு அந்த ஃப்ரேமிங் முக்கியமானது. அதே மாதிரியானது அதைச் சுற்றியிருக்கும் முகவர் சேனையைப் பொறுத்து மிகவும் வித்தியாசமாகச் செயல்பட முடியும், மேலும் பொது பெஞ்ச்மார்க் எண்களில் குறியீட்டு உதவியாளர்களை மதிப்பிடும் வாங்குபவர்கள், அந்த அமைப்புகள் தங்கள் சொந்த குறியீட்டுத் தளங்களில் எவ்வாறு செயல்படும் என்பதைப் பற்றிய சிதைந்த படத்தைப் பெறலாம்.

தொழில்துறைக்கு இது என்ன அர்த்தம்

பயிற்சித் தரவுகளில் கசியும் பொதுச் சோதனைகளில் ஃபிரான்டியர் மாடல்கள் கிட்டத்தட்ட சரியான மதிப்பெண்களைப் பதிவு செய்வதன் மூலம், வரையறைகள் செறிவூட்டல் குறித்து மீண்டும் மீண்டும் குற்றம் சாட்டப்பட்டுள்ளன. Real-SWE இன் வடிவமைப்பு இரண்டு சிக்கல்களையும் ஒரே நேரத்தில் எதிர்கொள்ள முயற்சிக்கிறது: குறியீடு தனிப்பட்டது மற்றும் உரிமம் பெற்றது, பணிகள் பணிபுரியும் பொறியியல் குழுக்களின் உண்மையான பணி தயாரிப்புகள், மேலும் அறிவுறுத்தல்கள் மெருகூட்டப்பட்ட சிக்கல் அறிக்கைகளுக்குப் பதிலாக உண்மையான டிக்கெட்டுகளின் குழப்பமான தனித்தன்மையை பிரதிபலிக்கின்றன.

நிதானமாக எடுத்துச் செல்வது முழுமையான நிலை. சிறந்த அமைப்பு கூட முதல் முயற்சியில் பத்து உண்மையான நிறுவனப் பணிகளில் நான்கிற்கும் குறைவானவற்றைத் தீர்க்கிறது, சராசரியாக எட்டு ரன்களுக்கு மேல். முகவர் குறியீட்டு முறையின் அனைத்து முன்னேற்றங்களுக்கும், உண்மையான உற்பத்தி அமைப்புகளில் தன்னாட்சி மென்பொருள் பொறியியல் ஒரு மேற்பார்வையிடப்பட்ட செயல்பாடாக உள்ளது என்று தரநிலை அறிவுறுத்துகிறது - இது விற்பனையாளர் டெமோக்களைக் காட்டிலும் மனித பொறியாளர்கள் அடிக்கடி மதிப்பாய்வு, திருப்பிவிடுதல் மற்றும் பழுதுபார்த்தல்.

குறியீட்டு உதவியாளர்களைத் தேர்ந்தெடுக்கும் நிறுவனங்களுக்கு, பெஞ்ச்மார்க் ஒரு நடைமுறை சரிபார்ப்புப் பட்டியலை வழங்குகிறது: தனிப்பட்ட குறியீட்டில் மதிப்பிடப்பட்ட அமைப்புகளை விரும்புகிறது, ஒற்றை-ரன் தலைப்பு எண்களைக் காட்டிலும் நம்பிக்கை இடைவெளிகளை வலியுறுத்துகிறது, மேலும் கச்சா மாதிரித் திறனைப் போலவே எடை சேர்ப்புத் தரத்தையும் பெரிதும் வலியுறுத்துகிறது. Real-SWE இன் முதல் லீடர்போர்டு கடைசி வார்த்தையாக இருக்காது - ஆனால் ஒவ்வொரு பொறியியல் தலைவரும் ஏஜென்டிக் கோடிங் பற்றி கேட்கும் கேள்விக்கு இது மிகவும் நேரடியான பதில்.

குறியீட்டு முகவர்கள், மாடல் வெளியீடுகள் மற்றும் அவற்றை வடிவமைக்கும் ஆராய்ச்சி பற்றிய கூடுதல் தகவலுக்கு, அடுத்த சுற்று பெஞ்ச்மார்க் முடிவுகள் வரும்போது சமீபத்திய AI செய்திகளைப் பின்பற்றவும்.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →