ஒரு மணி நேரத்தில் போட்டித்திறன் வாய்ந்த ஸ்டார்கிராஃப்ட் போட்களை எழுத பெரிய மொழி மாடல்களைக் கேட்கும் அளவுகோல், அதன் மிக விரிவான முடிவுகளை இன்னும் வழங்கியுள்ளது, மேலும் தீர்ப்பு பிரிக்கப்பட்டுள்ளது: OpenAI இன் GPT-6 Astra AI துறையில் ஆதிக்கம் செலுத்துகிறது, ஆனால் வலிமையான மனிதனால் எழுதப்பட்ட போட்கள் இன்னும் 93% சிறந்த மாடலை வெல்லும்.

ஸ்டார்ஸ்கிர்மிஷ் பெஞ்ச் v0.2, டெவலப்பர் Kai McPheeters அவர்களால் அக்டோபர் 15 அன்று வெளியிடப்பட்டது, ஒரு StarCraft: Brood War bot ஒவ்வொரு LLM லும் சுவர்-கடிகார நேரத்தை ஒரு மணிநேரம் கொடுத்தால் எவ்வளவு வலிமையானவை என்பதை மதிப்பிடுகிறது. ஒவ்வொரு மாதிரியும் C++ இல் ஒரு Protoss bot ஐ எழுதுகிறது, இது போட்டி மாதிரிகள் எழுதிய போட்களுக்கு எதிராகவும், மனிதனால் எழுதப்பட்ட போட்டியாளர்களுக்கு எதிராகவும் விளையாடப்படுகிறது. மாதிரிகள் தங்கள் படைப்புகளை மேம்படுத்த பயிற்சி விளையாட்டுகளில் இருந்து பாடங்களை இணைக்க வேண்டும் என்பதால், நீண்ட அடிவான பகுத்தறிவு மற்றும் ஏஜென்டிக் குறியீட்டை ஆய்வு செய்ய சோதனை வடிவமைக்கப்பட்டுள்ளது. For more context on this story, see our ongoing latest AI developments.

பெஞ்ச்மார்க் எவ்வாறு செயல்படுகிறது

விதிகள் வேண்டுமென்றே எளிமையானவை. ஒரு மணி, ஒரு மொழி, ஒரு இனம். ஒவ்வொரு மாடலின் ஸ்கோரும் போட்டி மனிதர்களால் எழுதப்பட்ட போட்கள் மற்றும் டெமோ போட்களின் பட்டியலில் ஐந்து ரன்களில் சராசரி வெற்றி விகிதமாகும். பதிப்பு 0.2 ஒரு திருப்பத்தைச் சேர்த்தது: ஒவ்வொரு ஃபிளாக்ஷிப் மாடலும் அதன் சொந்த ஆய்வகத்தின் முதல் தரப்பு CLI குறியீட்டு சேனலுக்குள் இயங்குகிறது, அகற்றப்பட்ட API லூப்பைக் காட்டிலும் முழு ஏஜென்டிக் அடுக்கையும் சோதிக்கிறது.

ஒரு சமச்சீரற்ற தன்மை உள்ளது, அதை முதன்மை ஆசிரியர் குறிப்பிடுகிறார்: ஜெமினி 4 ஆர்கான் "உயர்வில்" இயங்குகிறது - அதற்குக் கிடைக்கும் மிக உயர்ந்த பகுத்தறிவு முயற்சி - மற்ற எல்லா மாதிரிகளும் அதிகபட்சமாக இயங்கும்.

GPT-6 Astra Leads, GPT-6.1 Sol Wins on Value

முடிவுகள் GPT-6 அஸ்ட்ராவை லீடர்போர்டின் உச்சியில் வைத்தது, இது GPT-6.1 Sol ஐ விட தெளிவான படியாக இரண்டாவது இடத்தில் உள்ளது என்று எழுதுதல் விவரிக்கிறது. பெஞ்ச்மார்க் கண்காணிப்பாளர்களுக்கு மார்ஜின் முக்கியமானது: பெரும்பாலான ஏஜென்டிக் கோடிங் தொகுப்புகளில், ஃபிளாக்ஷிப் மாடல்கள் ஒன்றுக்கொன்று சில புள்ளிகளுக்குள் க்ளஸ்டர் ஆகும், எனவே புலத்தை தனித்தனி அடுக்குகளாகப் பிரிக்கும் லீடர்போர்டு, நெரிசலான முதல் பத்தை விட அதிக கண்டறியும் வேலையைச் செய்கிறது. ஜெமினி 4 ஆர்கான், கிளாட் ஓபஸ் 5.5 மற்றும் கிளாட் ஃபேபிள் 5.1 ஆகியவை இரண்டு ஓபன்ஏஐ மாடல்களுக்குப் பின்னால் செயல்படுகின்றன, இவை அனைத்தும் 37 மற்றும் 39 க்கு இடையில் ஸ்கோர் செய்தன. மெட்டாவின் மியூஸ் வொண்டர் ஃபுல் ஏழாவது இடத்தைப் பிடித்தது.

செலவு பகுப்பாய்வு மிகவும் குறிப்பிடத்தக்க கண்டுபிடிப்பாக இருக்கலாம். ஒரு மணி நேர ஓட்டத்தின் சராசரி API செலவுக்கு எதிராக திட்டமிடப்பட்டது, GPT-6.1 Sol மிகவும் கவர்ச்சிகரமான குவாட்ரண்டில் தனியாக தரையிறங்குகிறது: ஒரு ஓட்டத்திற்கு GPT-6 அஸ்ட்ராவின் செலவில் பத்தில் ஒரு பங்கிற்கு இரண்டாவது இடம். பட்ஜெட்டிற்கு எதிராக முகவர் செயல்திறனை எடைபோடும் அணிகளுக்கு, இரண்டு OpenAI மாடல்களுக்கு இடையே உள்ள இடைவெளியே நடைமுறை தலைப்பு.

மனித போட்கள் வெகு தொலைவில் உள்ளன

மனிதனால் எழுதப்பட்ட வலிமையான போட்களுக்கு எதிராக - Stardust, PurpleWave மற்றும் BananaBrain - GPT-6 Astra அதன் கேம்களில் 7% மட்டுமே வெற்றி பெற்றது. ஒரு மணிநேர பகுத்தறிவு வரம்பு ஒரு காரணியாகும், மேலும் உண்மையான மனிதனால் எழுதப்பட்ட போட்களுக்கான போட்டி நிலைமைகள் மதிப்பீட்டில் பயன்படுத்தப்படும் மூன்று இரண்டு-பிளேயர் வரைபடங்களைக் காட்டிலும் கணிசமாக கடினமானது என்று அளவுகோலின் ஆசிரியர் குறிப்பிடுகிறார்.

இருப்பினும், மென்பொருளில் உடனடியான AI ஆதிக்கத்தின் விவரிப்புகளுக்கு இந்த இடைவெளி ஒரு பயனுள்ள திருத்தமாக உள்ளது: தெளிவான வெற்றி நிலைமைகள், ஆழமான உத்தி மற்றும் நீண்ட திட்டமிடல் எல்லைகள் கொண்ட ஒரு பணியில், பல தசாப்தங்களாக சமூகப் பொறியியல் இன்னும் ஒரு மணிநேர எல்லை-மாடல் குறியீட்டு முறையை உருவாக்க முடியும்.

StarCraft நீண்ட காலமாக விளையாட்டு விளையாடும் AI க்கு ஒரு நிரூபிக்கும் மைதானமாக செயல்படுகிறது, ஏனெனில் அது மிருகத்தனமான சக்தியை எதிர்க்கிறது. நிகழ்நேர மூலோபாயம் ஒரே நேரத்தில் பொருளாதாரம், ஸ்கவுட்டிங் மற்றும் பகுதி தகவலின் கீழ் போர் ஆகியவற்றைக் கோருகிறது, மேலும் ப்ரூட் வார் சமூகம் பல ஆண்டுகளாக போட்டி போட் போட்டிகளை பராமரித்து வருகிறது. அந்த திரட்டப்பட்ட சுற்றுச்சூழலானதுதான் அடிப்படை மனித அடிப்படையை அர்த்தமுள்ளதாக்குகிறது - ஸ்டார்டஸ்ட், பர்பில்வேவ் மற்றும் பனானாபிரைன் ஆகியவை சாதாரண எதிர்ப்பாளர்கள் அல்ல, ஆனால் சுத்திகரிக்கப்பட்ட, போட்டி-கடினப்படுத்தப்பட்ட திட்டங்கள்.

புதிய ஃபிளாக்ஷிப்கள் சண்டையில் நுழையுங்கள்

பதிப்பு 0.2 புதிதாக வெளியிடப்பட்ட மாடல்களுக்கான ஆரம்ப ஸ்கோர்போர்டாகவும் செயல்பட்டது. கூகிளின் ஜெமினி 4 ஆர்கான், v0.1 இன் ஜெமினி 3.8 ஃப்ளாஷை மாற்றியது மற்றும் அறிமுகத்தில் மூன்றாவது இடத்தைப் பிடித்தது, அதே நேரத்தில் மெட்டாவின் மியூஸ் வொண்டர் ஃபுல் மியூஸ் ஸ்பார்க் 1.3 இல் நுழைந்து ஏழாவது இடத்தைப் பிடித்தது. GPT-6 அஸ்ட்ரா மற்றும் கிளாட் ஓபஸ் 5.5 முந்தைய பதிப்பின் கவரேஜில் இருந்து கொண்டு செல்லப்பட்டது.

பெஞ்ச்மார்க் ஒவ்வொரு ஓட்டத்திற்கும் ஒரு ஏஜென்ட் ட்ரேஸைப் பதிவுசெய்கிறது, ஒவ்வொரு மாதிரியும் அதன் மணிநேரத்தை எவ்வாறு செலவழித்தது என்பதைப் பதிவுசெய்கிறது - இது லீடர்போர்டை வெவ்வேறு ஆய்வகங்களின் மாதிரிகள் திட்டமிடல், குறியீட்டு முறை மற்றும் பிளேடெஸ்டிங் ஆகியவற்றுக்கு இடையே பட்ஜெட் நேரத்தை எவ்வாறு மாற்றுகிறது என்பதற்கான நடத்தை ஆய்வாக மாற்றுகிறது. ஒரு மாதிரியானது கட்டிடக்கலை முடிவுகளை முன்-ஏற்றுகிறதா அல்லது தரமற்ற வரைவுகள் மூலம் விரைவாக செயல்படுகிறதா என்பது, மொத்த மதிப்பெண்களை மறைக்கும் செயல்முறை விவரமாகும், மேலும் இங்குதான் மிகவும் சுவாரஸ்யமான குறுக்கு ஆய்வக வேறுபாடுகள் வெளிப்படுகின்றன.

ஏன் இது முக்கியமானது

ஏஜென்டிக் குறியீட்டு அளவுகோல்கள் வேகமாக நிறைவுற்றன, முதன்மை மாதிரிகள் பல மென்பொருள்-பொறியியல் தொகுப்புகளின் மேற்பகுதிக்கு அருகில் உள்ளன. StarSkirmish ஒரு மாற்றீட்டை வழங்குகிறது: மனித வல்லுநர்களால் உச்சவரம்பு அமைக்கப்படும் சூழல், டிக்கெட் தீர்மானத்தின் சதவீத புள்ளிகளைக் காட்டிலும் வெற்றி விகிதங்களில் முன்னேற்றம் அளவிடப்படுகிறது, மேலும் ஒரு மணி நேர வரவுசெலவுத் திட்டம் முகவர் வேலையில் நிஜ உலகக் கட்டுப்பாடுகளை பிரதிபலிக்கிறது.

முடிவுகள் டெவலப்பர்களை ஒருமனதாக தாக்கியது. ஷோ HN இடுகை 200 க்கும் மேற்பட்ட ஆதரவை ஈர்த்தது, வர்ணனையாளர்கள் முகவர் தடயங்கள் மற்றும் செலவு-திறன் சதி ஆகியவற்றை தோண்டி எடுத்தனர். ஹேக்கர் நியூஸ் மீதான பெஞ்ச்மார்க் விவாதங்கள், முறையியல் வினாக்கள் மற்றும் திறன் ஹாட் டேக்குகளுக்கு இடையே பிளவுபடும்; இது மிகவும் ஆய்வு செய்யப்பட்ட வடிவமைப்புத் தேர்வுகளில் பகுத்தறிவு-முயற்சி சமச்சீரற்ற தன்மை மற்றும் ஐந்து-ரன் மாதிரி அளவு ஆகிய இரண்டையும் ஈர்த்தது. பகுத்தறிவு முயற்சி நிலைகள் உயரும் மற்றும் சேணம் மேம்படும் போது, ​​அளவுகோலின் ஆசிரியர் தொடர்ச்சியான மறு செய்கைகளைத் திட்டமிடுகிறார் - இப்போது, ​​மனித StarCraft bot சமூகம் அதன் வசதியான முன்னணியில் உள்ளது.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →