เกณฑ์มาตรฐานที่ขอให้โมเดลภาษาขนาดใหญ่เขียนบอท StarCraft ที่แข่งขันได้ภายในหนึ่งชั่วโมงได้ให้ผลลัพธ์ที่มีรายละเอียดมากที่สุด และคำตัดสินก็แยกออก: GPT-6 Astra ของ OpenAI ครองตำแหน่ง AI แต่บอทที่แข็งแกร่งที่สุดที่เขียนโดยมนุษย์ยังคงเอาชนะโมเดลที่ดีที่สุดถึง 93% ของเวลาทั้งหมด

StarSkirmish Bench v0.2 ซึ่งเผยแพร่เมื่อวันที่ 15 ตุลาคมโดยนักพัฒนา Kai McPheeters ประเมินความแข็งแกร่งของบอท StarCraft: Brood War ที่ LLM แต่ละตัวสามารถสร้างได้ภายในหนึ่งชั่วโมงของนาฬิกาแขวน แต่ละโมเดลเขียนบอท Protoss ด้วยภาษา C++ ซึ่งจากนั้นจะเล่นกับบอทที่เขียนโดยโมเดลคู่แข่ง และแข่งกับคู่แข่งที่เขียนโดยมนุษย์ การทดสอบนี้ออกแบบมาเพื่อตรวจสอบการใช้เหตุผลในขอบเขตระยะยาวและการเข้ารหัสแบบตัวแทน เนื่องจากแบบจำลองจะต้องรวมบทเรียนจากเกมฝึกหัดเพื่อปรับปรุงการสร้างสรรค์ของพวกเขา For more context on this story, see our ongoing AI industry coverage.

เกณฑ์มาตรฐานทำงานอย่างไร

กฎมีเจตนาเรียบง่าย หนึ่งชั่วโมง หนึ่งภาษา หนึ่งเชื้อชาติ คะแนนของแต่ละรุ่นคืออัตราการชนะโดยเฉลี่ยในการวิ่งห้าครั้งโดยเทียบกับบัญชีรายชื่อบอทและบอททดลองที่เขียนโดยมนุษย์และแข่งขันกัน เวอร์ชัน 0.2 เพิ่มจุดพลิกผัน: รุ่นเรือธงทุกรุ่นทำงานโดยใช้ชุดการเข้ารหัส CLI บุคคลที่หนึ่งของห้องปฏิบัติการของตัวเอง โดยทดสอบสแต็กเอเจนต์เต็มรูปแบบ แทนที่จะใช้ลูป API แบบแยกส่วน

มีความไม่สมมาตรประการหนึ่ง ซึ่งผู้เขียนเกณฑ์มาตรฐานตั้งข้อสังเกตไว้ล่วงหน้า: Gemini 4 Argon ทำงานที่ "สูง" ซึ่งเป็นความพยายามในการให้เหตุผลสูงสุดที่มีอยู่ ในขณะที่รุ่นอื่นๆ ทุกรุ่นทำงานที่ระดับสูงสุด

GPT-6 Astra Leads, GPT-6.1 Sol ชนะตามมูลค่า

ผลลัพธ์ทำให้ GPT-6 Astra อยู่ด้านบนสุดของกระดานผู้นำ ซึ่งบทความอธิบายว่าเป็นก้าวที่ชัดเจนนำหน้า GPT-6.1 Sol ในอันดับที่สอง อัตรากำไรมีความสำคัญสำหรับผู้ดูเกณฑ์มาตรฐาน: ในชุดการเข้ารหัสเอเจนต์ส่วนใหญ่ โมเดลเรือธงจะกระจุกตัวอยู่ห่างจากกันเพียงไม่กี่จุด ดังนั้นลีดเดอร์บอร์ดที่แยกฟิลด์ออกเป็นระดับที่แตกต่างกันจึงทำหน้าที่วินิจฉัยมากกว่าสิบอันดับแรกที่มีผู้คนหนาแน่น Gemini 4 Argon, Claude Opus 5.5 และ Claude Fable 5.1 มีฟังก์ชันการทำงานอยู่เบื้องหลังโมเดล OpenAI ทั้งสองรุ่น โดยทั้งหมดได้คะแนนระหว่าง 37 ถึง 39 คะแนน Muse Wonder Full ของ Meta ได้อันดับที่ 7

การวิเคราะห์ต้นทุนอาจเป็นการค้นพบที่โดดเด่นกว่า เมื่อวางแผนเทียบกับต้นทุน API เฉลี่ยของการรันหนึ่งชั่วโมง GPT-6.1 Sol ลงจอดเพียงลำพังในควอแดรนท์ที่น่าสนใจที่สุด: อันดับที่สองในราคาเพียงหนึ่งในสิบของต้นทุนต่อการรันของ GPT-6 Astra สำหรับทีมที่ชั่งน้ำหนักประสิทธิภาพของตัวแทนเทียบกับงบประมาณ ช่องว่างระหว่างโมเดล OpenAI ทั้งสองคือหัวข้อข่าวที่ใช้งานได้จริง

บอทมนุษย์ยังคงนำหน้าอยู่ไกล

เมื่อเทียบกับบอทที่แข็งแกร่งที่สุดที่เขียนโดยมนุษย์ — Stardust, PurpleWave และ BananaBrain — GPT-6 Astra ชนะเพียง 7% ของเกมทั้งหมด ผู้เขียนของเกณฑ์มาตรฐานตั้งข้อสังเกตว่าขีดจำกัดการใช้เหตุผลหนึ่งชั่วโมงเป็นปัจจัยหนึ่ง และเงื่อนไขการแข่งขันสำหรับบอทที่เขียนโดยมนุษย์จริงนั้นยากกว่าแผนที่สำหรับผู้เล่นสองคนทั้งสามแผนที่ที่ใช้ในการประเมินอย่างมาก

อย่างไรก็ตาม ช่องว่างดังกล่าวเป็นประโยชน์ในการแก้ไขเรื่องราวเกี่ยวกับการครอบงำของ AI ในซอฟต์แวร์: ในงานที่มีเงื่อนไขชัยชนะที่ชัดเจน กลยุทธ์เชิงลึก และขอบเขตการวางแผนที่ยาวนาน วิศวกรรมชุมชนมานานหลายทศวรรษยังคงยืนหยัดอยู่เหนือชั่วโมงแห่งการเข้ารหัสโมเดลชายแดนที่สามารถสร้างได้

StarCraft ทำหน้าที่เป็นพื้นที่พิสูจน์สำหรับการเล่นเกม AI มานานแล้ว เนื่องจากสามารถต้านทานการใช้กำลังดุร้ายได้ กลยุทธ์แบบเรียลไทม์ต้องการการจัดการเศรษฐกิจ การสอดแนม และการต่อสู้ไปพร้อมๆ กันภายใต้ข้อมูลบางส่วน และชุมชน Brood War ยังคงรักษาการแข่งขันบอททัวร์นาเมนท์มาเป็นเวลาหลายปี ระบบนิเวศที่สั่งสมมานั้นคือสิ่งที่ทำให้เกณฑ์มาตรฐานของมนุษย์มีความหมาย — Stardust, PurpleWave และ BananaBrain ไม่ใช่คู่ต่อสู้ทั่วไป แต่เป็นโปรแกรมที่ได้รับการปรับปรุงและเสริมความแข็งแกร่งให้กับทัวร์นาเมนต์

เรือธงใหม่เข้าสู่การต่อสู้

เวอร์ชัน 0.2 ยังทำหน้าที่เป็นกระดานบอกคะแนนในช่วงแรกๆ สำหรับรุ่นที่ออกใหม่อีกด้วย Gemini 4 Argon ของ Google เข้ามาแทนที่ Gemini 3.8 Flash ของ v0.1 และอันดับที่สามในการเปิดตัว ในขณะที่ Muse Wonder Full ของ Meta เข้ามาแทนที่ Muse Spark 1.3 และจบอันดับที่เจ็ด GPT-6 Astra และ Claude Opus 5.5 นำมาจากการรายงานข่าวของเวอร์ชันก่อนหน้า

เกณฑ์มาตรฐานจะบันทึกการติดตามตัวแทนสำหรับการวิ่งแต่ละครั้ง โดยบันทึกว่าแต่ละโมเดลใช้เวลาอย่างไร — ชุดข้อมูลที่เปลี่ยนกระดานผู้นำให้เป็นการศึกษาพฤติกรรมว่าแบบจำลองของห้องปฏิบัติการต่างๆ จัดงบประมาณเวลาระหว่างการวางแผน การเขียนโค้ด และการทดสอบการเล่นอย่างไร ไม่ว่าโมเดลจะตัดสินใจด้านสถาปัตยกรรมแบบ front-load หรือวนซ้ำอย่างรวดเร็วผ่านแบบร่างแบบร่าง นั้นเป็นรายละเอียดของกระบวนการที่คะแนนรวมซ่อนอยู่อย่างแน่นอน และนี่คือจุดที่ความแตกต่างระหว่างแล็บที่น่าสนใจที่สุดมักปรากฏให้เห็น

ทำไมมันถึงสำคัญ

เกณฑ์มาตรฐานการเข้ารหัสแบบเอเจนต์กำลังอิ่มตัวอย่างรวดเร็ว โดยมีโมเดลเรือธงที่จัดกลุ่มใกล้ระดับสูงสุดของชุดวิศวกรรมซอฟต์แวร์จำนวนมาก StarSkirmish เสนอทางเลือกอื่น: สภาพแวดล้อมที่ผู้เชี่ยวชาญของมนุษย์เป็นผู้กำหนดเพดาน ความคืบหน้าวัดจากอัตราการชนะมากกว่าเปอร์เซ็นต์ของการแก้ปัญหาตั๋ว และงบประมาณที่ใช้เวลานานเป็นชั่วโมงจะสะท้อนข้อจำกัดในโลกแห่งความเป็นจริงในการทำงานตัวแทน

ผลลัพธ์ที่ได้โดนใจนักพัฒนา โพสต์ Show HN ได้รับการโหวตมากกว่า 200 ครั้ง โดยผู้แสดงความคิดเห็นได้เจาะลึกร่องรอยของตัวแทนและแผนการประหยัดต้นทุน การอภิปรายเกี่ยวกับเกณฑ์มาตรฐานเกี่ยวกับ Hacker News มีแนวโน้มที่จะแยกระหว่างวิธีการเล่นโวหารและความสามารถที่ได้รับความนิยม อันนี้ดึงทั้งสองอย่างด้วยความไม่สมดุลของการใช้เหตุผลและความพยายามและขนาดตัวอย่างห้ารันท่ามกลางตัวเลือกการออกแบบที่พิจารณาอย่างรอบคอบที่สุด เมื่อระดับความพยายามในการหาเหตุผลเพิ่มขึ้นและปรับปรุงให้ดีขึ้น ผู้เขียนของเกณฑ์มาตรฐานก็วางแผนที่จะทำซ้ำอย่างต่อเนื่อง และตอนนี้ ชุมชนบอท StarCraft ที่เป็นมนุษย์ยังคงเป็นผู้นำอย่างสบายใจ

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →