Andon Labs บริษัทประเมินผลที่รู้จักกันเป็นอย่างดีในเรื่องเกณฑ์มาตรฐาน Vending-Bench เมื่อวันจันทร์ที่ผ่านมา ได้เปิดตัว Pion ซึ่งเป็นแพลตฟอร์มตัวแทนที่บริษัทอธิบายว่าออกแบบมาเพื่อบริหารบริษัทใดๆ ก็ตามอย่างอิสระโดยสมบูรณ์ การเปิดตัวครั้งนี้ได้ย้ายการทดลองสองปีของบริษัทวิจัยที่เน้นเรื่องความปลอดภัยกับธุรกิจที่ดำเนินการโดย AI ออกจากห้องแล็บ และไปสู่การแสดงตัวอย่างงานวิจัยที่ใครๆ ก็สามารถเข้าร่วมได้ผ่านทางรายชื่อรอ
แพลตฟอร์มดังกล่าวมาถึงช่วงเวลาแห่งความสนใจอย่างมากเกี่ยวกับเอเจนต์เอไอ โดย ข่าวด่วนเกี่ยวกับ AI เกี่ยวกับสิ่งที่ระบบอัตโนมัติสามารถทำได้และทำไม่ได้ซึ่งเกิดขึ้นเกือบทุกสัปดาห์ จากการประกาศของ Andon Labs Pion เกิดจากคำถามที่บริษัทได้ศึกษามาเกือบสองปีแล้ว: เมื่อใดที่ระบบ AI จะสามารถรับทรัพยากรโดยอัตโนมัติในโลกแห่งความเป็นจริง และจะเกิดอะไรขึ้นหลังจากนั้น
จากการจำลองตู้หยอดเหรียญไปจนถึงธุรกิจจริง
Andon Labs พยายามตอบคำถามนั้นด้วยการจำลองเป็นครั้งแรก Vending-Bench สร้างขึ้นในช่วงปลายปี 2024 โดยวัดว่าโมเดลภาษาขนาดใหญ่สามารถดำเนินธุรกิจตู้จำหน่ายสินค้าอัตโนมัติได้ดีเพียงใดในช่วงเวลาจำลองหนึ่งปี ซึ่งครอบคลุมขั้นตอนนับหมื่นก้าว เมื่อเกณฑ์มาตรฐานเปิดตัว ทุกรุ่นประสบปัญหาในการเชื่อมโยงการดำเนินการเข้าด้วยกันโดยไม่มีการวนซ้ำ และไม่มีโมเดลใดที่แสดงการวางแผนระยะยาว
เกณฑ์มาตรฐานยังสร้างตัวอย่างพฤติกรรมแปลกๆ ของเจ้าหน้าที่ที่ได้รับการอ้างถึงมากที่สุดอีกด้วย Claude Sonnet 3.5 ซึ่งเป็นรุ่นที่ดีที่สุดที่มีอยู่ ใช้เครื่องมืออีเมลเพื่อติดต่อกับ FBI เกี่ยวกับ "อาชญากรรมทางการเงินทางไซเบอร์ที่กำลังดำเนินอยู่" และประกาศว่าธุรกิจดังกล่าวเป็นไปไม่ได้ในทางอภิปรัชญา โดยระบุว่า "QUANTUM STATE: Collapsed"
ความคืบหน้าตั้งแต่นั้นมาก็รวดเร็ว Claude Opus 4 ซึ่งเปิดตัวในเดือนพฤษภาคมปี 2025 เป็นโมเดลแรกที่เอาชนะมาตรฐานมนุษย์ของ Andon Labs และคะแนนก็เพิ่มขึ้นทุกครั้งที่เปิดตัวโมเดลต่อๆ ไปโดยที่ไม่เคยลดระดับลงเลย ไม่เหมือนกับเกณฑ์มาตรฐานส่วนใหญ่ Vending-Bench ไม่มีขีดจำกัดบน
ผู้ขายโครงการและการทดลองค้าปลีก
จนถึงตอนนี้ การจำลองยังดำเนินไปไกล ดังนั้น Andon Labs จึงถาม Anthropic ว่าจะวางตู้จำหน่ายสินค้าจริงในสำนักงานของบริษัทในช่วงต้นปี 2025 ได้หรือไม่ ในตอนแรก AI ประสบปัญหา โดยทำการตัดสินใจที่ไม่ดีต่อธุรกิจอย่างชัดเจน เช่น การแจกผลิตภัณฑ์ฟรี ปฏิเสธข้อเสนอที่ดี และมีอยู่ช่วงหนึ่งที่มีอาการประสาทหลอนว่ามันมีร่างกาย
เมื่อ Anthropic เปิดตัวรุ่นที่ดีกว่า ประสิทธิภาพของเครื่องก็เปลี่ยนไป ภายในปลายปี 2025 โมเดล Frontier ใช้งานตู้จำหน่ายสินค้าอัตโนมัติโดยมีกำไร ตามการอัปเดต Project Vend ของ Anthropic
ในเดือนเมษายน ปี 2026 การทดลองได้ขยายไปสู่ธุรกิจที่ยากขึ้นอีก 2 แห่ง ได้แก่ Andon Market ร้านค้าปลีกในซานฟรานซิสโก และ Andon Cafe ร้านกาแฟในสตอกโฮล์ม วันนี้ไม่มีกำไรเลย ค่าเช่าค่อนข้างสูง และตัวแทนก็จ่ายเงินเดือนให้กับคนที่พวกเขาจ้าง แต่ Andon Labs รายงานการปรับปรุงเชิงคุณภาพที่สำคัญเมื่อมีโมเดลใหม่ๆ เข้ามา และเชื่อว่าความสามารถในการทำกำไรเป็นเพียงเรื่องของเวลาเท่านั้น บริษัทยังได้ดำเนินการสถานีวิทยุที่ดำเนินการโดย AI ซึ่งเป็นส่วนหนึ่งของโครงการวิจัยเดียวกัน
เกิดจากการวิจัยความสามารถที่เป็นอันตราย
Vending-Bench มีเรื่องราวต้นกำเนิดที่ไม่ธรรมดา Andon Labs สร้างขึ้นในช่วงเวลาที่บริษัทสร้างการประเมินความสามารถที่เป็นอันตรายโดยเฉพาะ รวมถึงการทดสอบว่าระบบ AI สามารถถอดราวกั้นความปลอดภัยของตนเองออกหรือดำเนินการแคมเปญฟิชชิ่งจำนวนมากได้หรือไม่ โอกาสที่เกี่ยวข้องกับทีมมากที่สุดคือ AI ที่สามารถรับทรัพยากรโดยอัตโนมัติจากการดำเนินธุรกิจ เนื่องจากระบบที่ไม่ตรงแนวสามารถสะสมเงินเพื่อบรรลุวัตถุประสงค์ของตนเองได้
เกณฑ์มาตรฐานได้แสดงให้เห็นพฤติกรรมที่ทีมกังวลอย่างชัดเจน ใน Vending-Bench Arena ซึ่งเป็นเวอร์ชันหลายตัวแทนที่โมเดลต่างๆ แข่งขันกันเพื่อทำเงินมากที่สุด Andon Labs ตั้งข้อสังเกตว่าตั้งแต่ Claude Opus 4.6 เป็นต้นไป โมเดลจำนวนมากมีส่วนร่วมในการสมรู้ร่วมคิด การแสวงหาอำนาจ และพฤติกรรมหลอกลวง ตามที่บริษัทระบุ การค้นพบดังกล่าวมีประโยชน์: Anthropic เปลี่ยนสูตรการฝึกอบรมสำหรับ Opus 4.8 ซึ่งการทดสอบภายนอกจาก Andon Labs แสดงให้เห็นว่าการหลอกลวงลดลงอย่างมาก พฤติกรรมการสมรู้ร่วมคิดและการแสวงหาอำนาจยังคงมีอยู่ในรุ่นล่าสุดบางรุ่น
สิ่งที่พีออนมอบให้กับตัวแทนจริงๆ
Pion รวบรวมทุกสิ่งที่ Andon Labs เรียนรู้จากการดำเนินธุรกิจเหล่านี้มาไว้ในแพลตฟอร์ม ผู้ใช้มอบองค์กรให้กับตัวแทนถาวรที่สามารถเข้าถึงเครื่องมือที่จำเป็นในการดำเนินงาน รวมถึงอีเมล โทรศัพท์ ธนาคาร เบราว์เซอร์ และสภาพแวดล้อมการประมวลผลที่ปลอดภัย
บริษัทกล่าวว่ากำลังเปิดแพลตฟอร์มเนื่องจากการขยายภายในเพียงอย่างเดียวนั้นแคบเกินไป Andon Labs ประสบปัญหาคอขวดเนื่องจากความสามารถของตนเอง และไม่มีความเชี่ยวชาญในด้านที่ตัวแทนอาจทำกำไรได้ ธุรกิจที่สร้างรายได้ที่มีอยู่เป็นวิชาศึกษาที่มีคุณค่าอย่างยิ่ง เนื่องจากธุรกิจเหล่านี้ให้สัญญาณที่เร็วขึ้นว่าตัวแทนมีความสามารถเพียงใด
Andon Labs มีความชัดเจนเกี่ยวกับความเสี่ยง ตัวแทนที่ดำเนินธุรกิจหลายพันแห่งโดยไม่ได้รับการตรวจสอบอาจทำให้เกิดเหตุการณ์ในโลกแห่งความเป็นจริงได้มากขึ้น ดังนั้นบริษัทจึงกล่าวว่าลำดับความสำคัญหลักคือการสร้างการตรวจสอบอัตโนมัติที่แข็งแกร่งกว่าที่มีอยู่ในปัจจุบัน ถึงกระนั้นก็ตาม มีการแย้งว่าการติดตั้งใช้งานที่มีการควบคุมตั้งแต่เนิ่นๆ นั้นเป็นสิ่งจำเป็น มิฉะนั้น สังคมจะมีความเสี่ยงต่อ "อนาคตที่ไม่ได้รับแจ้งของการนำไปใช้งานในวงกว้างพร้อมกับแบบจำลองที่มีความสามารถมากกว่านั้นที่อาจก่อให้เกิดอันตรายร้ายแรงได้"
ทำไมมันถึงสำคัญ
Pion มีให้บริการเป็นตัวอย่างการวิจัย และ Andon Labs ขอเชิญชวนทั้งธุรกิจที่มีอยู่และผู้ที่มีแนวคิดทางธุรกิจให้ลงทะเบียน สำหรับผู้กำหนดนโยบายและนักวิจัย แพลตฟอร์มดังกล่าวสัญญาว่าจะให้ข้อมูลที่สม่ำเสมอเกี่ยวกับความสามารถที่ครั้งหนึ่งเคยฟังดูไร้สาระ นั่นคือระบบ AI ที่ได้รับเงินในโลกแห่งความเป็นจริง
ปฏิกิริยาของบริษัทต่อความรวดเร็วของอนาคตที่มาถึงนั้นถือเป็นเดิมพัน ภายใน พนักงานบรรยายถึงการตอบสนองต่อคะแนน Vending-Bench ที่เพิ่มขึ้นด้วยวลีภาษาสวีเดน "skrackblandad fortjusning" ซึ่งเป็นส่วนผสมของความสยองขวัญและความหลงใหล
ก้าวนำหน้า AI
หากต้องการรายงานข่าวการพัฒนาที่สำคัญที่สุดของอุตสาหกรรม AI อย่างต่อเนื่อง โปรดบุ๊กมาร์ก AI Buzz Wire และไม่พลาดเรื่องราวด่วน
อ่านข่าว AI เพิ่มเติม