ทีมวิจัยจาก FAIR ที่ Meta, University of Oxford และ University College London ได้แนะนำ AI Research Preference Models (RPMs) ซึ่งเป็นวิธีการตัดสินใจว่าการทดลองแมชชีนเลิร์นนิงใดที่ตัวแทนการวิจัยอิสระควรใช้งานจริง แทนที่จะคาดการณ์ว่าการทดสอบจะได้คะแนนอย่างไร RPM จะจัดอันดับผู้สมัครที่ยังไม่ได้ดำเนินการและเลือกตัวที่มีแนวโน้มมากที่สุด การเปลี่ยนแปลงที่ทีมงานกล่าวว่ากล่าวถึงปัญหาคอขวดที่แท้จริงในการวิจัยที่ขับเคลื่อนด้วย AI: การคำนวณการตรวจสอบ ตามรายงานของ MarkTechPost เกี่ยวกับงานนี้

แนวคิดนี้เกิดขึ้นในช่วงเวลาที่ตัวแทนการวิจัยสามารถเสนอ นำไปใช้ และให้คะแนนการทดลองของตนเองได้แล้ว การสร้างไอเดียมีราคาถูก การดำเนินการไม่ได้ การฝึกอบรมผู้สมัครคนเดียวอาจใช้เวลาหลายชั่วโมงหรือหลายวันของ GPU ดังนั้นตัวแทนจึงเสนอการทดลองมากกว่าที่จะสามารถทำได้อย่างหลีกเลี่ยงไม่ได้ ผู้สมัครคนใดที่จะถูกประหารชีวิตนั้น ถือเป็นส่วนสำคัญต่อความก้าวหน้าของการวิจัย ตามที่ทีมงานกำหนดกรอบไว้ สำหรับห้องแล็บที่ต้องดูค่าประมวลผลเพิ่มขึ้น การจัดเฟรมดังกล่าวจึงเป็นเหตุผลว่าทำไมงานนี้จึงดึงดูดความสนใจไปทั่วทั้งการพัฒนา AI ล่าสุดในระบบอัตโนมัติของการวิจัย

เหตุใดการเลือกการทดสอบจึงเป็นคอขวด

ทีมงานพบว่าโมเดลภาษาไม่น่าเชื่อถือในการคาดการณ์เมตริกสัมบูรณ์หรือผลการดำเนินการ แบบจำลองไม่สามารถดูการทดลองของผู้สมัครและคาดการณ์คะแนนที่จะได้รับได้อย่างแม่นยำ นักวิจัยพบว่าสิ่งที่สามารถทำได้คือการตัดสินว่าผู้สมัครคนใดในสองคนที่มีทางออกที่ดีกว่า - การเปรียบเทียบแบบสัมพันธ์มากกว่าการคาดการณ์แบบสัมบูรณ์ RPM สร้างขึ้นจากความแตกต่างนั้นโดยสิ้นเชิง โดยไม่เคยคาดการณ์คะแนน แต่เพียงจัดอันดับเท่านั้น

ระบบทำงานภายใน AIRA-dojo ซึ่งเป็นโครงการค้นหาต้นไม้วิวัฒนาการแบบโอเพ่นซอร์สที่สร้างการทดลองการเรียนรู้ของเครื่องจักรผ่านการเลือกผู้ปกครองที่ละโมบและตัวดำเนินการแบบร่าง ปรับปรุง และดีบัก โดยส่งคืนโหนดคะแนนการตรวจสอบสูงสุดในตอนท้าย เกณฑ์มาตรฐาน AIRS-Bench ก็เป็นโอเพ่นซอร์สเช่นกัน ทั้งโครงนั่งร้านและรุ่นที่ต้องการใช้ Qwen3.6-27B เป็นกระดูกสันหลัง ซึ่งทีมงานตั้งข้อสังเกตว่าเป็นตุ้มน้ำหนักแบบเปิด

การแข่งขันรอบน็อกเอาต์ทำงานอย่างไร

แทนที่จะสร้างการทดลองย่อยหนึ่งรายการและดำเนินการ เอเจนต์ใช้ตัวดำเนินการ 15 ครั้งขนานกันเพื่อสร้างตัวเลือกที่ยังไม่ได้ดำเนินการ 15 รายการ จากนั้น RPM จะเปรียบเทียบแบบคู่ในทัวร์นาเมนต์น็อกเอาต์ และมีเพียงผู้ชนะเท่านั้นที่จะดำเนินการ การเปรียบเทียบแต่ละครั้งจะอิงตามโหนดบริบทที่รวบรวมโดยการเดินในแนวกว้างของแผนผังที่สำรวจ โดยผู้สมัครแต่ละคนจะแสดงข้างคะแนนการตรวจสอบความถูกต้องของบรรพบุรุษ ดังนั้นผู้ตัดสินจะพิจารณาเหตุผลจากประวัติการค้นหาจริงของตัวแทนแทนที่จะอยู่ในสุญญากาศ

บทความนี้จะอธิบายสองตัวแปรที่มีงบประมาณการประมวลผลต่างกัน:

  • RPM สำหรับการอนุมานเท่านั้น — LLM-ในฐานะผู้พิพากษาที่เปรียบเทียบแผนผู้สมัคร โค้ด และประวัติการค้นหาในการผ่านครั้งเดียว การแจ้งเตือนได้รับการปรับให้เหมาะสมด้วย MIPROv2 จากเฟรมเวิร์ก DSPy และมาบรรจบกันในสิ่งที่ทีมเรียกว่ารูบริกผู้ตรวจสอบหลัก: ทนต่อจุดบกพร่องที่แก้ไขได้ ให้รางวัลในการขยายขีดความสามารถ และลงโทษทิศทางการวิจัยที่ซ้ำซ้อน ความแม่นยำในการเปรียบเทียบออฟไลน์วัดได้ 57.7 ถึง 59.0 เปอร์เซ็นต์
  • Agentic RPM — ผู้ตัดสินคนเดียวกันพร้อมแซนด์บ็อกซ์ที่โคลนสภาพแวดล้อมของเอเจนต์ รวมถึง H200 GPU ตัวเดียว โดยมีเครื่องมือที่จำกัดเฉพาะ Python, Bash และการดำเนินการส่งโซลูชัน โดยจะทำการทดลองนำร่องขนาดเล็ก จากนั้นแบบจำลองผลป้อนกลับจะเสนอการทดลองถัดไปที่มีข้อมูลมากที่สุดหรือยุติการวนซ้ำ นักบินจะถูกจำกัดไว้ที่ 30 วินาทีโดยมีขีดจำกัด 60 วินาที และงบประมาณเวลาที่เหลือนั้นจงใจเกินจริง — 2,700 วินาทีที่รายงานเทียบกับ 300 วินาทีจริง — ดังนั้นตัวแทนจึงไม่หยุดการเพิ่มประสิทธิภาพตั้งแต่เนิ่นๆ

ผู้พิพากษาปรับเหมือนนักสืบหลัก

การวางกรอบผู้สืบสวนหลักเป็นส่วนที่น่าสนใจอย่างเงียบๆ แทนที่จะให้รางวัลแก่ผู้สมัครที่ดูน่าประทับใจสูงสุด รูบริกที่ได้รับการปรับให้เหมาะสมจะสะท้อนวิธีที่นักวิจัยที่มีประสบการณ์พิจารณาแนวคิดต่างๆ เช่น โค้ดแบบบั๊กกี้ที่สามารถแก้ไขได้ ดีกว่าโค้ดที่ขัดเกลาแล้วตามทางตัน และทิศทางที่ทำซ้ำแผนผังที่มีอยู่นั้นมีค่าน้อยกว่าแบบใหม่ รูบริกดังกล่าวซึ่งเรียนรู้ผ่านการเพิ่มประสิทธิภาพในทันทีมากกว่าการปรับแต่งด้วยมือ เป็นสิ่งที่นำมาซึ่งการปรับปรุง แนวทางการกำจัดของทีม

ผลลัพธ์มาตรฐานบน AIRS-Bench

การประเมินครอบคลุมงานข้อความสาธารณะและงานตาราง 20 งาน โดยแต่ละงานมีเวลา 24 ชั่วโมงสำหรับ H200 เดียว และเมล็ดสุ่ม 10 รายการ สิ่งสำคัญที่สุดคือ แกนหลัก Qwen3.6-27B เดียวกันนี้ขับเคลื่อนทั้งผู้ดำเนินการทดลองและแบบจำลองการตั้งค่า ดังนั้นกำไรที่ได้จะมาจากเลเยอร์การเลือกมากกว่าแบบจำลองผู้พิพากษาที่แข็งแกร่งกว่า คะแนนมาตรฐานเฉลี่ย:

  • ไม่มี RPM (สุ่มเลือก): 0.684
  • RPM สำหรับการอนุมานเท่านั้น: 0.711
  • รอบต่อนาทีแบบเอเจนต์: 0.729
  • ออราเคิลการตรวจสอบความถูกต้อง (เพดาน): 0.748
  • ทดสอบออราเคิล(เพดาน) : 0.759

ความน่าจะเป็นของการปรับปรุงเมื่อเทียบกับการเลือกแบบสุ่มคือ 0.5923 สำหรับตัวแปรอนุมานอย่างเดียว และ 0.5913 สำหรับตัวแปรตัวแทน โดยมีช่วงความเชื่อมั่น 95 เปอร์เซ็นต์ขอบเขตล่างที่ 0.5066 และ 0.5018 ซึ่งสูงกว่าเกณฑ์ 0.5 สำหรับนัยสำคัญทางสถิติ แม้ว่าทีมงานจะตรงไปตรงมาว่าระยะขอบนั้นค่อนข้างเจียมเนื้อเจียมตัวมากกว่าการเปลี่ยนแปลง

ประสิทธิภาพคือผลลัพธ์เชิงปฏิบัติมากขึ้น RPM สำหรับการอนุมานเท่านั้นถึงคะแนนสุดท้ายของเส้นฐานสุ่มที่ 0.684 ใน 14.88 ชั่วโมง ซึ่งเพิ่มขึ้น 1.61 เท่า ในขณะที่ตัวแปรเอเจนติกต้องใช้เวลา 15.50 ชั่วโมง ซึ่งเพิ่มขึ้น 1.55 เท่า แม้จะคำนึงถึงค่าใช้จ่ายของการอนุมานของผู้พิพากษาที่จัดเอง แต่ตัวเลขที่ปรับแล้วก็ยังคงดีอยู่

เปิดตุ้มน้ำหนักและคำเตือนที่ซื่อสัตย์

ทีมงานรับทราบล่วงหน้าว่า RPM สามารถใช้งานได้เพียงบางส่วนเท่านั้นในปัจจุบัน ส่วนประกอบเป็นแบบเปิด — แบ็คโบนที่ผ่านการฝึกอบรมล่วงหน้าแบบแช่แข็งโดยไม่มีการปรับแต่งอย่างละเอียด โครงแบบโอเพ่นซอร์สและเกณฑ์มาตรฐาน และแบบจำลองแบ็คโบนน้ำหนักแบบเปิด — แต่ข้อกำหนดแซนด์บ็อกซ์ของตัวแปรเอเจนต์และค่าใช้จ่ายในการทดลองนำร่องหมายความว่าห้องปฏิบัติการส่วนใหญ่จะเริ่มต้นด้วยเวอร์ชันการอนุมานเท่านั้น นักวิจัยยังตั้งข้อสังเกตอีกว่าขั้นตอนการดีบั๊กจะเปลี่ยนกลับไปเป็นการเลือกแบบสุ่มในตัวแปรเอเจนต์ เนื่องจากเวลานำร่องแข่งขันกับนาฬิกาของเอเจนต์เอง

ความสำคัญที่ยิ่งใหญ่กว่าอาจเป็นทิศทาง เนื่องจากตัวแทนการวิจัยอิสระเปลี่ยนจากการสาธิตไปสู่การใช้งานรายวันในห้องปฏิบัติการอุตสาหกรรม ทรัพยากรที่ขาดแคลนจึงไม่ใช่แนวคิดอีกต่อไป แต่เป็นชั่วโมงของ GPU และวิธีการที่จะบีบความคืบหน้ามากขึ้นจากงบประมาณการคำนวณคงที่เมื่อเวลาผ่านไป การจัดอันดับก่อนการวิ่งเป็นแนวคิดง่ายๆ และตัวเลข AIRS-Bench บ่งบอกว่าเป็นแนวคิดที่ใช้ได้ผลดีพอที่จะมีความสำคัญ

ก้าวนำหน้า AI

ติดตามงานวิจัยที่กำลังกำหนดรูปแบบแห่งอนาคตได้ที่ AI Buzz Wire

อ่านข่าว AI เพิ่มเติม →