Một điểm chuẩn yêu cầu các mô hình ngôn ngữ lớn viết các bot StarCraft mang tính cạnh tranh trong một giờ đã mang lại kết quả chi tiết nhất và kết luận bị chia rẽ: GPT-6 Astra của OpenAI thống trị lĩnh vực AI, nhưng các bot mạnh nhất do con người viết vẫn đánh bại mô hình tốt nhất trong 93% thời gian.
StarSkirmish Bench v0.2, được nhà phát triển Kai McPheeters xuất bản vào ngày 15 tháng 10, đánh giá mức độ mạnh của một bot StarCraft: Brood War mà mỗi LLM có thể tạo ra trong một giờ đồng hồ treo tường. Mỗi mô hình viết một bot Protoss bằng C++, sau đó bot này sẽ được đấu với các bot được viết bởi các mô hình đối thủ và chống lại các đối thủ cạnh tranh do con người viết. Bài kiểm tra được thiết kế để thăm dò lý luận dài hạn và mã hóa tác nhân, vì các mô hình phải kết hợp các bài học từ trò chơi thực hành để cải thiện khả năng sáng tạo của chúng. For more context on this story, see our ongoing AI industry coverage.
Cách thức hoạt động của Điểm chuẩn
Các quy tắc được cố tình đơn giản. Một giờ, một ngôn ngữ, một chủng tộc. Điểm của mỗi mô hình là tỷ lệ thắng trung bình trong 5 lần chạy so với danh sách các bot demo và bot demo cạnh tranh do con người viết. Phiên bản 0.2 đã bổ sung thêm một điểm thay đổi: mọi mẫu máy hàng đầu đều chạy bên trong khai thác mã hóa CLI của bên thứ nhất trong phòng thí nghiệm của chính nó, thử nghiệm toàn bộ ngăn xếp tác nhân thay vì vòng lặp API đơn giản.
Có một điểm bất đối xứng mà tác giả điểm chuẩn lưu ý trước: Gemini 4 Argon chạy ở mức "cao" — nỗ lực lý luận cao nhất hiện có — trong khi mọi mô hình khác đều chạy ở mức tối đa.
GPT-6 Astra dẫn đầu, GPT-6.1 Sol thắng về giá trị
Kết quả đưa GPT-6 Astra lên đầu bảng xếp hạng, bài viết mô tả là một bước tiến rõ ràng trước GPT-6.1 Sol ở vị trí thứ hai. Biên độ rất quan trọng đối với những người theo dõi điểm chuẩn: trong hầu hết các bộ mã hóa đại lý, các mô hình hàng đầu tập trung cách nhau một vài điểm, do đó, một bảng xếp hạng phân chia trường thành các cấp riêng biệt sẽ thực hiện nhiều công việc chẩn đoán hơn so với top 10 đông đúc. Gemini 4 Argon, Claude Opus 5.5 và Claude Fable 5.1 về mặt chức năng xếp sau hai mô hình OpenAI, tất cả đều đạt điểm từ 37 đến 39. Muse Wonder Full của Meta đứng thứ bảy.
Phân tích chi phí có thể là phát hiện nổi bật hơn. Được tính toán dựa trên chi phí API trung bình của một lần chạy trong một giờ, GPT-6.1 Sol chỉ đứng ở góc phần tư hấp dẫn nhất: vị trí thứ hai với chỉ hơn 1/10 chi phí mỗi lần chạy của GPT-6 Astra. Đối với các nhóm cân nhắc hiệu suất của tác nhân so với ngân sách, khoảng cách giữa hai mô hình OpenAI là tiêu đề thực tế.
Robot con người vẫn dẫn trước rất xa
Chống lại các bot mạnh nhất do con người viết - Stardust, PurpleWave và BananaBrain - GPT-6 Astra chỉ thắng 7% số trò chơi của mình. Tác giả của điểm chuẩn lưu ý rằng giới hạn lý luận trong một giờ là một yếu tố và điều kiện giải đấu dành cho các bot thực sự do con người viết khó hơn đáng kể so với ba bản đồ hai người chơi được sử dụng để đánh giá.
Tuy nhiên, khoảng cách này là một sự điều chỉnh hữu ích cho những câu chuyện về sự thống trị sắp xảy ra của AI trong phần mềm: trong một nhiệm vụ có điều kiện thắng rõ ràng, chiến lược sâu sắc và tầm nhìn lập kế hoạch dài hạn, kỹ thuật cộng đồng hàng thập kỷ vẫn vượt xa những gì một giờ mã hóa mô hình biên giới có thể tạo ra.
StarCraft từ lâu đã đóng vai trò là nơi thử nghiệm chính xác cho AI chơi trò chơi bởi vì nó chống lại lực lượng vũ phu. Chiến lược thời gian thực yêu cầu quản lý đồng thời nền kinh tế, trinh sát và chiến đấu với một phần thông tin và cộng đồng Brood War đã duy trì các giải đấu bot cạnh tranh trong nhiều năm. Hệ sinh thái tích lũy đó là điều làm cho cơ sở con người của điểm chuẩn trở nên có ý nghĩa - Stardust, PurpleWave và BananaBrain không phải là những đối thủ bình thường mà là những chương trình được cải tiến, nâng cao chất lượng giải đấu.
Flagship mới bước vào cuộc cạnh tranh
Phiên bản 0.2 cũng đóng vai trò là bảng điểm sớm cho các mẫu mới ra mắt. Gemini 4 Argon của Google đã thay thế Gemini 3.8 Flash của v0.1 và xếp thứ ba khi ra mắt, trong khi Muse Wonder Full của Meta thay thế Muse Spark 1.3 và đứng thứ bảy. GPT-6 Astra và Claude Opus 5.5 được chuyển tiếp từ phạm vi phủ sóng của phiên bản trước.
Điểm chuẩn ghi lại dấu vết tác nhân cho mỗi lần chạy, ghi lại cách mỗi mô hình sử dụng giờ của mình — một tập dữ liệu biến bảng thành tích thành một nghiên cứu hành vi về cách các mô hình của các phòng thí nghiệm khác nhau phân bổ thời gian giữa việc lập kế hoạch, mã hóa và thử nghiệm. Việc một mô hình tải trước các quyết định về kiến trúc hay lặp lại nhanh chóng thông qua các bản nháp có lỗi chính xác là loại chi tiết quy trình mà điểm tổng hợp ẩn đi và đó là nơi mà những khác biệt thú vị nhất giữa các phòng thí nghiệm có xu hướng xuất hiện.
Tại sao nó lại quan trọng
Các tiêu chuẩn mã hóa tác nhân đang bão hòa nhanh chóng, với các mô hình hàng đầu tập trung ở gần đầu của nhiều bộ công nghệ phần mềm. StarSkirmish cung cấp một giải pháp thay thế: một môi trường trong đó mức trần do các chuyên gia con người đặt ra, tiến độ được đo bằng tỷ lệ thắng thay vì điểm phần trăm của độ phân giải yêu cầu và ngân sách thời gian kéo dài hàng giờ phản ánh những hạn chế trong thế giới thực đối với công việc đại lý.
Kết quả đã gây ấn tượng mạnh với các nhà phát triển. Bài đăng của Show HN đã thu hút hơn 200 lượt tán thành, trong đó những người bình luận đào sâu vào dấu vết tác nhân và âm mưu tiết kiệm chi phí. Các cuộc thảo luận về điểm chuẩn trên Hacker News có xu hướng phân chia giữa các vấn đề về phương pháp luận và khả năng hấp dẫn; cái này thu hút cả hai, với sự bất đối xứng về nỗ lực lý luận và cỡ mẫu năm lần chạy trong số các lựa chọn thiết kế được xem xét kỹ lưỡng nhất. Khi mức độ nỗ lực suy luận tăng lên và khả năng khai thác được cải thiện, các kế hoạch của tác giả điểm chuẩn tiếp tục lặp lại — và hiện tại, cộng đồng bot StarCraft con người vẫn giữ được vị trí dẫn đầu thoải mái.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
