ห้องทดลอง AI แบบกระจายอำนาจ Prime Intellect ได้เผยแพร่ผลการทดลองขนาดใหญ่ที่ทดสอบว่าโมเดล AI ระดับแนวหน้าในปัจจุบันสามารถทำการวิจัยการเรียนรู้ด้วยเครื่องอัตโนมัติได้ดีเพียงใด และสิ่งที่ดีที่สุดก็ใกล้เคียงกับสถิติโลกของมนุษย์อย่างน่าทึ่งด้วยเกณฑ์มาตรฐานชุมชนที่มีชื่อเสียงโด่งดัง

โครงการนี้มีชื่อว่า NanoGPT Speedrun Frontier และเผยแพร่เมื่อวันที่ 22 สิงหาคม ประกอบด้วยการวิ่งอัตโนมัติ 153 ครั้งใน 18 โมเดลชายแดนที่พยายามใช้ speedrun ของเครื่องมือเพิ่มประสิทธิภาพ nanoGPT ซึ่งเป็นการแข่งขันที่นักวิจัยค้นหาวิธีที่มีประสิทธิภาพมากที่สุดในการฝึกโมเดลภาษาขนาดเล็กให้เป็นเป้าหมายคุณภาพคงที่ เรื่องราวดังกล่าวได้ขึ้นหน้าแรกของ Hacker News อย่างรวดเร็ว โดยมีความคิดเห็นมากมายโต้แย้งว่าผลลัพธ์ดังกล่าวบอกอะไรเกี่ยวกับความสามารถของ AI ในการค้นพบทางวิทยาศาสตร์อย่างแท้จริง For more context on this story, see our ongoing latest AI developments.

แท้จริงแล้ว NanoGPT Speedrun คืออะไร

เกณฑ์มาตรฐานมาจากพื้นที่เก็บข้อมูล modded-nanogpt ที่ดูแลโดย Keller Jordan และรายชื่อผู้ร่วมให้ข้อมูลในชุมชนจำนวนมาก ความท้าทายนี้ระบุได้ง่ายอย่างไม่น่าเชื่อ: ใช้ NVIDIA H100 GPU 8 ตัว ฝึกฝนโมเดลภาษาที่สูญเสียเอนโทรปีข้าม 3.28 บนชุดการตรวจสอบ FineWeb ซึ่งเป็นระดับประสิทธิภาพของการจำลอง GPT-2 ดั้งเดิมของ Andrej Karpathy หลังจากผ่านไป 45 นาที ซึ่งเร็วที่สุดเท่าที่จะเป็นไปได้

ด้วยการมีส่วนร่วมของชุมชนหลายร้อยครั้งในช่วงสองปีที่ผ่านมา สถิติของมนุษย์ลดลงเหลือน้อยกว่า 75 วินาทีและมีโทเค็นการฝึกอบรมต่ำกว่า 400 ล้านโทเค็น ซึ่งเป็นการปรับปรุงมากกว่าสูตรดั้งเดิมถึง 30 เท่า โซลูชันที่ชนะเลิศอ่านได้เหมือนแค็ตตาล็อกของวิศวกรรม ML สมัยใหม่: เครื่องมือเพิ่มประสิทธิภาพ Muon, การฝังแบบหมุนด้วย QK-Norm, การเปิดใช้งาน ReLU-squared, การหาปริมาณ FP8 บนความสนใจและการส่งผ่าน MLP, Flash Attention 3 พร้อมรูปแบบหน้าต่างบานเลื่อน และเทคนิคอื่น ๆ อีกมากมายที่ซ้อนกันอยู่ด้านบน

การทดสอบของ Prime Intellect ใช้แทร็กเครื่องมือเพิ่มประสิทธิภาพเบนช์มาร์ก ซึ่งตามเอกสารประกอบของพื้นที่เก็บข้อมูล ลดจำนวนขั้นตอนการฝึกอบรมที่จำเป็นเพื่อให้บรรลุเป้าหมายที่สูญเสียไป โดยขึ้นอยู่กับสถาปัตยกรรมคงที่ ชุดข้อมูล และขนาดแบตช์ ด้วยงบประมาณนาฬิกาแขวนที่ไม่จำกัดอย่างมีประสิทธิภาพ นั่นทำให้เป็นการทดสอบการค้นพบอัลกอริธึมอย่างแท้จริงมากกว่าความเร็วฮาร์ดแวร์แบบดิบ

การทดลองทำงานอย่างไร

แบบจำลองทั้ง 18 โมเดลแต่ละแบบได้รับมอบหมายงานโดยอัตโนมัติ: เสนอการเปลี่ยนแปลงสูตรการฝึกอบรม ดำเนินการทดลอง ตรวจสอบผลลัพธ์ และทำซ้ำ — ด้วยสคริปต์การตรวจสอบที่ตายตัวและเมล็ดแบบสุ่มคงที่ เพื่อให้แน่ใจว่าการปรับปรุงที่กล่าวอ้างนั้นเกิดขึ้นจริง ไม่ใช่การดำเนินการที่โชคดี ตามที่ผู้วิจารณ์ Hacker News คนหนึ่งสรุปไว้ โมเดลเหล่านี้ถูกขอให้ค้นคว้าวิธีปรับปรุงการฝึกโมเดลขนาดเล็ก พยายามเปลี่ยนแปลงซ้ำๆ ทดสอบโมเดล และใช้ผลลัพธ์เพื่อตัดสินใจว่าจะลองทำอะไรต่อไป

โมเดลดังกล่าวทำงานผ่านชุดควบคุมตัวแทนที่หลากหลาย รวมถึง claude-code, codex ของ OpenAI, kimi-code, grok-cli, qwen-code และไพรม์เอเจนต์ของ Prime Intellect เอง และทีมงานได้ติดตามการใช้โทเค็นของการรันทุกครั้ง จำนวนการทดสอบ การเรียกใช้เครื่องมือ และเวลาตัวแทนที่ผ่านไป โดยรวมแล้ว การทดลองใช้โทเค็นหลายร้อยล้านรายการต่อโมเดลระดับบนสุด และหลายพันล้านรายการทั่วทั้งกริด

กระดานผู้นำ: นิทาน 5 เป็นผู้นำแพ็ค

ผลลัพธ์พาดหัว: โมเดลที่ระบุว่าเป็น Fable 5 ซึ่งทำงานผ่านชุดคำสั่ง claude-code ปิดช่องว่างระหว่างสูตรพื้นฐานและบันทึกของมนุษย์ได้ร้อยละ 81.7 ด้วยผลลัพธ์ที่ได้รับการตรวจสอบที่ดีที่สุดที่ 2,726 บนตัวชี้วัดของกระดานผู้นำ การไปถึงจุดนั้นใช้เวลาเอเจนต์สะสม 8.7 วัน ประมาณ 800 ล้านโทเค็น การทดลอง 811 ครั้ง และการเรียกใช้เครื่องมือประมาณ 3,000 ครั้ง

กลุ่มไล่ตามนำโดย Opus 5 ซึ่งปิดช่องว่าง 53.6 เปอร์เซ็นต์ ตามมาด้วย Kimi K3 ที่ 52.2 เปอร์เซ็นต์ เมื่อขับเคลื่อนโดยสายรัดไพรม์เอเจนต์ของ Prime Intellect (และ 45.8 เปอร์เซ็นต์ผ่านรหัส kimi) Opus 4.8 ทำได้ 39.4 เปอร์เซ็นต์, GPT-5.6 หลายรุ่นทำได้ประมาณ 11 ถึง 36 เปอร์เซ็นต์, Sonnet 5 ปิดได้ 26.8 เปอร์เซ็นต์ และ Grok 4.5 และ Qwen3.8 Max แต่ละรุ่นทำได้ประมาณ 24.6 เปอร์เซ็นต์

ยิ่งไปกว่านั้น DeepSeek V4 Pro ปิดช่องว่างได้ 12.3 เปอร์เซ็นต์ GPT-5.5 สูงถึง 8.1 เปอร์เซ็นต์ และ Kimi K2.7 รุ่นเก่าปิดที่ 7.2 เปอร์เซ็นต์ โดยเฉพาะอย่างยิ่ง โมเดลที่เพิ่งเปิดตัวรุ่นหนึ่ง — GLM 5.3 — ยังคงทำงานอยู่ในเวลาที่เผยแพร่โดยยังไม่มีบันทึกที่ตรวจสอบความถูกต้อง ซึ่งเป็นเครื่องเตือนใจว่าการวัดประสิทธิภาพจะลงโทษโมเดลที่ไม่สามารถตรวจสอบการปรับปรุงของตนเองได้อย่างน่าเชื่อถือ

ทำไมมันถึงสำคัญ

เกณฑ์มาตรฐานเช่นนี้มีความสำคัญเนื่องจากจะวัดสิ่งที่กระดานผู้นำการเขียนโค้ดไม่สามารถทำได้ นั่นคือ ความสามารถในการดำเนินการวนรอบการวิจัยอย่างแท้จริง เช่น สมมติฐาน การทดลอง การวิเคราะห์ และการแก้ไข ในเวลาหลายวันแทนที่จะเป็นนาที ความสามารถนั้นเป็นรากฐานของการวิจัย AI อัตโนมัติที่เกิดขึ้นใหม่ โดยที่เจ้าหน้าที่ไม่ได้รับมอบหมายให้เขียนโค้ดตามข้อกำหนด แต่ให้ค้นพบสิ่งที่ไม่มีใครแสดงให้พวกเขาเห็น

การแพร่กระจายของผลลัพธ์ก็เป็นข้อมูลที่เป็นประโยชน์เช่นกัน เกือบทุกแบบจำลองในการทดสอบพบแนวคิดหลักที่ชนะเหมือนกัน ตามการเขียนของโครงการ สิ่งที่แยกการทำงานที่ดีที่สุดคือสิ่งที่การทดลองทิ้งไว้: สารที่แรงกว่าจะรักษาสัญญาณที่อ่อนแอไว้ในผลลัพธ์ที่มีเสียงดังนานพอที่จะตรวจสอบได้ และเข้าใจข้อมูลการทดลองของตนเองได้ดีขึ้น

คำเตือนจากชุมชน

ผู้แสดงความคิดเห็นของ Hacker News ยกประเด็นด้านระเบียบวิธีที่ยุติธรรม การตั้งค่าความพยายามและการควบคุมแตกต่างกันไปในรุ่นต่างๆ — Fable 5 ทำงานโดยใช้การตั้งค่าเหตุผลสูง ในขณะที่ Opus 5 ทำงานสูงสุด — และการคำนวณเลขคณิต 153 ครั้งใน 18 รุ่น บ่งบอกว่าบางรุ่นได้รับความพยายามมากกว่ารุ่นอื่นๆ การจัดอันดับของแบบจำลองสะท้อนถึงความสามารถในการวิจัยดิบหรือคุณภาพของสายรัดยังคงเป็นคำถามเปิดอยู่

แต่ทิศทางการเดินทางยังชัดเจน เมื่อมือมนุษย์ที่เร็วที่สุดใช้เวลาหลายปีในความพยายามร่วมกันเพื่อบรรลุสถิติปัจจุบัน เจ้าหน้าที่อัตโนมัติที่ดีที่สุดกำลังปิดช่องว่างส่วนใหญ่นั้นในเวลาประมวลผลเพียงสัปดาห์กว่าๆ เล็กน้อย คำถามต่อไปว่ารุ่นใดสามารถปิดส่วนที่เหลืออีก 18.3 เปอร์เซ็นต์ได้หรือไม่ อาจจะได้รับคำตอบเร็วกว่าที่คาด

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเกณฑ์มาตรฐานและการวิจัยที่กำหนดขอบเขตของ AI โปรดติดตามการรายงานข่าวอย่างต่อเนื่องของ AI Buzz Wire

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →