Công ty điểm chuẩn Phân tích nhân tạo đã ra mắt phiên bản 5 của Chỉ số thông minh, gọi đây là bản nâng cấp lớn nhất đối với xếp hạng mô hình tổng hợp kể từ khi v4 ra mắt vào tháng 1. Thay đổi tiêu đề: lần đầu tiên, 60% Chỉ số được xây dựng dựa trên các đánh giá bằng các bộ kiểm tra riêng hoặc các câu trả lời được đưa ra — một phản ứng trực tiếp đối với các vấn đề ô nhiễm điểm chuẩn đã làm xói mòn niềm tin vào bảng xếp hạng công cộng.

Cuộc cải tổ diễn ra với một phán quyết rõ ràng ở trên cùng. Claude Opus 5.5 (tối đa) dẫn đầu Chỉ số v5 ở mức 58, trước GPT-6 Astra (tối đa) ở mức 57 và GPT-6.1 Sol (tối đa) ở mức 55. Anthropic và OpenAI cùng giữ năm vị trí hàng đầu, tiếp theo là Gemini 4 Argon (cao) của Google ở vị trí 50. For more context on this story, see our ongoing breaking AI news.

Điều gì đã thay đổi trong v5

Chỉ số v5 được tổ chức thành bốn danh mục có trọng số bằng nhau - Công việc Tri thức, Mã hóa, Khoa học và Chung - mỗi danh mục có giá trị 25%. Hai điểm chuẩn hoàn toàn mới và ba điểm chuẩn đã nhận được những nâng cấp lớn:

  • FrontierCode 2.0 (mới). Điểm chuẩn riêng của Cognition gồm 132 tác vụ mã hóa trong thế giới thực trong các kho lưu trữ nguồn mở, được phân loại dựa trên việc liệu người bảo trì kho lưu trữ có thực sự hợp nhất thay đổi của tác nhân hay không. Các nhiệm vụ được giữ ở chế độ riêng tư để tránh bị lây nhiễm và Phân tích nhân tạo chạy mọi nhiệm vụ ba lần trong khai thác tác nhân Stirrup.
  • Terminal-Bench-Science (mới). Bảy mươi nhiệm vụ nghiên cứu khoa học tác nhân được thực hiện trong môi trường đầu cuối, trong đó một nhiệm vụ chỉ vượt qua nếu mọi thử nghiệm của nhiệm vụ đó đều vượt qua.
  • HLE-Diamond (đã nâng cấp). Phiên bản 1.000 câu hỏi được tinh chỉnh của Bài kiểm tra cuối cùng của nhân loại từ Trung tâm An toàn và Quy mô AI AI, chia đều giữa các câu hỏi lý luận và kiến ​​thức, thay thế cho HLE gốc.
  • AA-Omniscience v1.1 (đã nâng cấp). Một tập dữ liệu về kiến ​​thức và ảo giác đã được làm sạch, loại bỏ các câu hỏi bão hòa và công khai.
  • Tập hợp con cứng CritPt v2 (đã nâng cấp). Một tập con cứng gồm 40 câu hỏi riêng của điểm chuẩn vật lý cấp độ nghiên cứu, được các tác giả sửa đổi và chạy bằng mã thực thi.

Bị loại khỏi chỉ mục: GDPval-AA v2.1, SciCode và AA-LCR v1.1. Phân tích nhân tạo cũng ra mắt Chỉ số tiến độ v1 đồng hành, theo dõi khả năng của mô hình theo thời gian trên một thang đo liên tục duy nhất.

Claude Opus 5.5 Dẫn đầu tổng thể

Claude Opus 5.5 (tối đa) dẫn đầu ba trong số chín đánh giá riêng lẻ: FrontierCode 2.0 ở mức 46%, HLE-Diamond ở mức 68% và AA-Omniscience v1.1 ở mức 48. Không có mô hình nào dẫn đầu mọi thứ — năm mô hình khác đứng đầu sáu điểm chuẩn còn lại.

GPT-6 Astra (tối đa) dẫn đầu Terminal-Bench-Science với 63% và tập hợp con cứng CritPt v2 ở mức 72%, khẳng định sức mạnh của OpenAI trong công việc khoa học dài hạn. Claude Sonnet 5.5 đứng đầu AA-Briefcase ở 1812 Elo, K3.1 Pro của Kimi dẫn đầu Terminal-Bench 4.0 với 67%, Gemini 4 Argon dẫn đầu AutomationBench-AA với 78% và Muse Wonder Full dẫn đầu GDP.pdf với 33% vượt qua.

Kết quả của HLE-Diamond chứa đựng một chi tiết đáng chú ý: các mô hình hàng đầu đạt điểm cao hơn nhiều về lý luận so với kiến ​​thức. Claude Opus 5.5 và GPT-6 Astra đều đạt 78% ở câu hỏi lý luận, nhưng lần lượt giảm xuống còn 58 và 50% ở câu hỏi kiến ​​thức - bằng chứng cho thấy ngay cả các hệ thống biên giới vẫn gây ảo giác hoặc thiếu sự thật thường xuyên hơn so với điểm lý luận của chúng cho thấy.

Khoảng cách ở các hạng cân mở tăng gấp ba lần

Phát hiện đáng chú ý nhất đối với hệ sinh thái trọng lượng mở: khoảng cách giữa mô hình mở tốt nhất và mô hình dẫn đầu tổng thể tăng gấp ba lần, mở rộng từ 3 điểm trong v4.3 lên 12 điểm trong v5.

K3.1 Pro của Kimi là mẫu có trọng lượng mở hàng đầu ở vị trí 46 - nhưng trọng lượng của nó vẫn chưa được công bố. Trong số các mẫu có trọng lượng được phát hành, V4.1 Flash 1017 (tối đa) của DeepSeek và GLM-5.3 (tối đa) của Z.ai dẫn đầu ở mức 32, kém 26 điểm so với Claude Opus 5.5 và dưới Claude Haiku 5.5 (tối đa) ở mức 36.

Khoảng cách rộng nhất trên các tiêu chuẩn tác nhân khó nhất. Trên HLE-Diamond, Kimi K3.1 Pro đạt 37% so với 68% của Opus 5.5; trên Terminal-Bench-Science, 34% so với 63% của GPT-6 Astra. Hầu hết các mẫu tạ mở đều có điểm chuẩn dưới 10% trên tiêu chuẩn khoa học.

Giá mỗi nhiệm vụ thay đổi gấp mười ba lần

Chi phí vẫn là một biến quyết định. Trong số mười mẫu có điểm cao nhất, GPT-6.1 Terra (tối đa) là rẻ nhất ở mức 0,96 USD cho mỗi nhiệm vụ Chỉ số thông minh, trong khi Claude Fable 5.1 (tối đa) đắt nhất ở mức 13,04 USD - chênh lệch gấp hơn 13 lần.

Câu chuyện về hiệu quả được cho là bài học thực tế nhất của v5: GPT-6.1 Sol (tối đa) đạt điểm trong khoảng 4 điểm so với Claude Opus 5,5 trong khi chi phí chỉ bằng 1/8 cho mỗi nhiệm vụ, ở mức 1,27 USD so với 10,04 USD của Opus. GPT-6 Astra (tối đa) nằm giữa chúng ở mức 6,24 USD.

Tại sao điểm chuẩn riêng lại quan trọng

Việc chuyển sang các bộ đánh giá riêng tư phản ánh một vấn đề toàn ngành: điểm chuẩn công khai rò rỉ vào dữ liệu đào tạo và bão hòa, khiến cho thành tích trên bảng xếp hạng không thể tin cậy được. Với FrontierCode 2.0, các nhiệm vụ được phân loại dựa trên việc liệu người bảo trì có hợp nhất thay đổi hay không - với bất kỳ lỗi kiểm tra chặn nào đều ghi điểm 0 - và danh sách nhiệm vụ vẫn ở chế độ riêng tư.

Điều đó làm cho v5 trở thành một trong những điểm chuẩn khó hơn cho trò chơi và phán quyết của nó có trọng lượng: biên giới được dẫn đầu bởi Anthropic và OpenAI, cài đặt nỗ lực quan trọng hơn bao giờ hết và các mô hình trọng lượng mở có cơ sở nghiêm túc để phục hồi các nhiệm vụ tác nhân ngày càng xác định công việc AI trong thế giới thực.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →