Artificial Analysis บริษัทมาตรฐานได้เปิดตัวดัชนี Intelligence เวอร์ชัน 5 ซึ่งถือเป็นการอัพเกรดที่ใหญ่ที่สุดในการจัดอันดับโมเดลคอมโพสิตนับตั้งแต่ v4 เปิดตัวในเดือนมกราคม การเปลี่ยนแปลงหัวข้อข่าว: เป็นครั้งแรกที่ 60 เปอร์เซ็นต์ของดัชนีสร้างขึ้นจากการประเมินด้วยชุดการทดสอบส่วนตัวหรือคำตอบที่เก็บไว้ ซึ่งเป็นการตอบสนองโดยตรงต่อปัญหาการปนเปื้อนของเกณฑ์มาตรฐานที่กัดกร่อนความไว้วางใจในกระดานผู้นำสาธารณะ

การสับเปลี่ยนเกิดขึ้นพร้อมกับคำตัดสินที่ชัดเจนจากเบื้องบน Claude Opus 5.5 (สูงสุด) เป็นผู้นำดัชนี v5 ที่ 58 นำหน้า GPT-6 Astra (สูงสุด) ที่ 57 และ GPT-6.1 Sol (สูงสุด) ที่ 55 Anthropic และ OpenAI ร่วมกันครองห้าอันดับแรก โดยมี Gemini 4 Argon ของ Google (สูง) ตามมาที่ 50 For more context on this story, see our ongoing artificial intelligence updates.

สิ่งที่เปลี่ยนแปลงไปในเวอร์ชัน 5

ดัชนี v5 แบ่งออกเป็นสี่หมวดหมู่ที่มีน้ำหนักเท่ากัน ได้แก่ งานความรู้ การเขียนโค้ด วิทยาศาสตร์ และทั่วไป ซึ่งแต่ละหมวดหมู่มีมูลค่า 25 เปอร์เซ็นต์ เกณฑ์มาตรฐานสองรายการเป็นเกณฑ์ใหม่ทั้งหมด และสามเกณฑ์หลักได้รับการอัปเกรดหลัก:

  • FrontierCode 2.0 (ใหม่) เกณฑ์มาตรฐานส่วนตัวของ Cognition สำหรับงานเขียนโค้ดในโลกแห่งความเป็นจริง 132 งานในพื้นที่เก็บข้อมูลโอเพ่นซอร์ส โดยให้คะแนนว่าผู้ดูแลพื้นที่เก็บข้อมูลจะรวมการเปลี่ยนแปลงของเอเจนต์จริงหรือไม่ งานจะคงความเป็นส่วนตัวเพื่อหลีกเลี่ยงการปนเปื้อน และการวิเคราะห์ประดิษฐ์จะทำงานทุกงานสามครั้งในชุดสายรัดเอเจนต์โกลน
  • Terminal-Bench-Science (ใหม่) งานวิจัยทางวิทยาศาสตร์เชิงเอเจนต์เจ็ดสิบงานดำเนินการในสภาพแวดล้อมเทอร์มินัล โดยที่งานจะผ่านไปก็ต่อเมื่อการทดสอบทุกรายการผ่านเท่านั้น
  • HLE-Diamond (อัปเกรดแล้ว) การสอบครั้งสุดท้ายของมนุษยชาติเวอร์ชันปรับปรุง 1,000 คำถามที่ได้รับการปรับปรุงจากศูนย์ความปลอดภัยและมาตราส่วน AI แบ่งเท่าๆ กันระหว่างคำถามการให้เหตุผลและความรู้ โดยแทนที่ HLE ดั้งเดิม
  • AA-Omniscience เวอร์ชัน 1.1 (อัปเกรดแล้ว) ชุดข้อมูลความรู้และอาการประสาทหลอนที่สะอาดแล้ว โดยนำคำถามสาธารณะและแบบอิ่มตัวออกแล้ว
  • ชุดย่อยยากของ CritPt v2 (อัปเกรดแล้ว) ชุดย่อยยากส่วนตัว 40 คำถามของเกณฑ์มาตรฐานฟิสิกส์ระดับการวิจัย แก้ไขโดยผู้เขียนและเรียกใช้โดยใช้การเรียกใช้โค้ด

หายไปจากดัชนี: GDPval-AA v2.1, SciCode และ AA-LCR v1.1 นอกจากนี้ Artificial Analysis ยังได้เปิดตัว Companion Progress Index v1 ซึ่งติดตามความสามารถของโมเดลในช่วงเวลาหนึ่งในระดับต่อเนื่องเดียว

Claude Opus 5.5 เป็นผู้นำโดยรวม

Claude Opus 5.5 (สูงสุด) เป็นผู้นำในการประเมิน 3 รายการจากทั้งหมด 9 รายการ ได้แก่ FrontierCode 2.0 ที่ 46 เปอร์เซ็นต์, HLE-Diamond ที่ 68 เปอร์เซ็นต์ และ AA-Omniscience v1.1 ที่ 48 คะแนน ไม่มีรุ่นใดที่ทำได้ทุกอย่าง มีรุ่นอื่นอีก 5 รุ่นที่มีคะแนนเหนือกว่าหกเกณฑ์มาตรฐานที่เหลือ

GPT-6 Astra (สูงสุด) เป็นผู้นำ Terminal-Bench-Science ที่ 63 เปอร์เซ็นต์ และ CritPt v2 hard subset ที่ 72 เปอร์เซ็นต์ ซึ่งยืนยันถึงความแข็งแกร่งของ OpenAI ในงานวิทยาศาสตร์ในขอบเขตอันยาวไกล Claude Sonnet 5.5 เหนือกว่า AA-Briefcase ที่ 1812 Elo, K3.1 Pro ของ Kimi เป็นผู้นำ Terminal-Bench 4.0 ที่ 67 เปอร์เซ็นต์, Gemini 4 Argon เป็นผู้นำ AutomationBench-AA ที่ 78 เปอร์เซ็นต์ และ Muse Wonder Full เป็นผู้นำใน GDP.pdf ที่ 33 เปอร์เซ็นต์ all-pass

ผลลัพธ์ของ HLE-Diamond มีรายละเอียดที่บอกเล่าได้: โมเดลชั้นนำให้คะแนนในด้านการให้เหตุผลมากกว่าความรู้ Claude Opus 5.5 และ GPT-6 Astra ต่างก็ได้คะแนนสูงถึง 78 เปอร์เซ็นต์สำหรับคำถามเชิงเหตุผล แต่ลดลงเหลือ 58 และ 50 เปอร์เซ็นต์ตามลำดับสำหรับความรู้ ซึ่งเป็นหลักฐานที่แสดงให้เห็นว่าแม้แต่ระบบชายแดนยังคงเห็นภาพหลอนหรือขาดข้อเท็จจริงบ่อยกว่าคะแนนการให้เหตุผลที่แนะนำ

Triples ของ Open-Weights Gap

การค้นพบที่น่ากังวลที่สุดสำหรับระบบนิเวศ Open-Weights: ช่องว่างระหว่างโมเดลเปิดที่ดีที่สุดและผู้นำโดยรวมเพิ่มขึ้นสามเท่า โดยขยายจาก 3 คะแนนในเวอร์ชัน 4.3 เป็น 12 คะแนนในเวอร์ชัน 5

K3.1 Pro ของ Kimi เป็นรุ่นน้ำหนักเปิดอันดับต้นๆ ที่อายุ 46 ปี — แต่น้ำหนักของมันยังไม่ได้เปิดตัว ในบรรดารุ่นที่มีน้ำหนักที่วางจำหน่าย V4.1 Flash 1017 (สูงสุด) ของ DeepSeek และ GLM-5.3 (สูงสุด) ของ Z.ai อยู่ที่ 32 คะแนน เต็มตามหลัง Claude Opus 5.5 และต่ำกว่า Claude Haiku 5.5 (สูงสุด) ที่ 36 คะแนนเต็ม

ช่องว่างนั้นกว้างที่สุดบนการวัดประสิทธิภาพเอเจนต์ที่ยากที่สุด บน HLE-Diamond นั้น Kimi K3.1 Pro ได้คะแนน 37 เปอร์เซ็นต์ เทียบกับ Opus 5.5 ที่ 68 เปอร์เซ็นต์; บน Terminal-Bench-Science 34 เปอร์เซ็นต์ เทียบกับ GPT-6 Astra 63 เปอร์เซ็นต์ โมเดล Open Weights ส่วนใหญ่มีคะแนนต่ำกว่า 10 เปอร์เซ็นต์ของเกณฑ์มาตรฐานทางวิทยาศาสตร์

ราคาต่องานแตกต่างกันไปสิบสามเท่า

ต้นทุนยังคงเป็นตัวแปรชี้ขาด ในบรรดาโมเดลที่ได้คะแนนสูงสุดสิบโมเดล GPT-6.1 Terra (สูงสุด) มีราคาถูกที่สุดที่ 0.96 ดอลลาร์ต่องาน Intelligence Index ในขณะที่ Claude Fable 5.1 (สูงสุด) มีราคาแพงที่สุดที่ 13.04 ดอลลาร์ ซึ่งมีค่าสเปรดมากกว่า 13 เท่า

เรื่องราวด้านประสิทธิภาพถือเป็นสิ่งที่นำไปใช้ได้จริงมากที่สุดใน v5: GPT-6.1 Sol (สูงสุด) ทำคะแนนภายใน 4 คะแนนของ Claude Opus 5.5 ในขณะที่คิดต้นทุนประมาณหนึ่งในแปดของราคาต่องานมาก ที่ 1.27 ดอลลาร์ เทียบกับ Opus ที่ 10.04 ดอลลาร์ GPT-6 Astra (สูงสุด) อยู่ระหว่างราคา 6.24 ดอลลาร์

เหตุใดเกณฑ์มาตรฐานส่วนตัวจึงมีความสำคัญ

การเปลี่ยนไปใช้ชุดการประเมินส่วนตัวสะท้อนให้เห็นถึงปัญหาทั่วทั้งอุตสาหกรรม: เกณฑ์มาตรฐานสาธารณะรั่วไหลไปสู่ข้อมูลการฝึกอบรมและทำให้อิ่มตัว ทำให้กระดานผู้นำได้รับสิ่งที่ไม่น่าไว้วางใจ ด้วย FrontierCode 2.0 งานจะถูกให้คะแนนว่าผู้ดูแลจะรวมการเปลี่ยนแปลงหรือไม่ — กับความล้มเหลวในการตรวจสอบการบล็อกที่ให้คะแนนเป็นศูนย์ — และรายการงานยังคงเป็นส่วนตัว

นั่นทำให้ v5 เป็นหนึ่งในเกณฑ์มาตรฐานที่ยากต่อการเล่นเกม และคำตัดสินของมันมีน้ำหนัก: ขอบเขตนำโดย Anthropic และ OpenAI การตั้งค่าความพยายามมีความสำคัญมากกว่าที่เคย และโมเดล open-weights มีพื้นฐานที่จริงจังในการกู้คืนงานตัวแทนที่กำหนดงาน AI ในโลกแห่งความเป็นจริงมากขึ้นเรื่อยๆ

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →