Google DeepMind ได้สาธิตเทคนิคการฝึกหุ่นยนต์โดยโมเดล Gemini 4 Argon เรียนรู้งานทางกายภาพโดยการดูวิดีโอธรรมดา จากนั้นจึงถ่ายทอดพฤติกรรมที่เรียนรู้ไปยังหุ่นยนต์ฮิวแมนนอยด์ตัวจริง ในการสาธิตซึ่งเผยแพร่ควบคู่ไปกับการเปิดตัวโมเดล หุ่นยนต์ Apollo ที่สร้างโดย Apptronik ได้ดูภาพของคนที่กำลังเล่น cornhole จากนั้นจึงยิงได้ 7 นัดติดต่อกันในการทดลองในโลกแห่งความเป็นจริง ตามรายงานของ Robotics & Automation News

จากวิดีโอ Raw สู่หุ่นยนต์จริง For more context on this story, see our ongoing more AI stories.

การสาธิตมีศูนย์กลางอยู่ที่การทดสอบภายในเพียงครั้งเดียว อาร์กอนแสดงวิดีโอดิบของมนุษย์กำลังเล่นรูข้าวโพด ซึ่งเป็นเกมโยนที่สนามหลังบ้าน จากนั้น แบบจำลองจะวิเคราะห์สภาพแวดล้อม สร้างแผนที่พิกัดเชิงพื้นที่ และคำนวณการเคลื่อนไหวของข้อต่อทั้งร่างกายที่จำเป็นต่อการจำลองงานบนแพลตฟอร์มฮิวแมนนอยด์

ขั้นตอนที่น่าสังเกตคือสิ่งที่เกิดขึ้นต่อไป: แทนที่จะอาศัยวิศวกรสร้างการจำลองทางฟิสิกส์ด้วยมือ Argon จะสร้างโค้ดการจำลองขึ้นมาเองโดยอัตโนมัติ จากนั้นพฤติกรรมที่เรียนรู้ก็ถูกถ่ายโอนจากการจำลองที่สร้างขึ้นเองไปยังหุ่นยนต์ Apollo ของ Apptronik ซึ่งดำเนินการในโลกทางกายภาพ

จากข้อมูลของ Google DeepMind ในเวลาต่อมา Apollo ยิงได้ 7 นัดติดต่อกันระหว่างการทดลองในโลกแห่งความเป็นจริง ซึ่งเป็นการวิ่งที่สะอาดหมดจดสำหรับงานที่ต้องใช้หุ่นยนต์ในการประสานการทรงตัว วิถีแขน และจังหวะการปล่อย

สัปดาห์แห่งงานจำลองที่บีบอัดเป็นชั่วโมง

Google DeepMind อธิบายแนวทางนี้ว่าเป็นไปป์ไลน์ "Video-to-Sim-to-Real" และการเสนอขายจะเกี่ยวข้องกับเวลาทางวิศวกรรมพอ ๆ กับความสามารถ

“ไปป์ไลน์ 'Video-to-Sim-to-Real' นี้บีบอัดการสร้างแบบจำลองด้วยตนเองหลายสัปดาห์ให้เหลือเพียงไม่กี่ชั่วโมง เปลี่ยนวิดีโอธรรมดาให้กลายเป็นพื้นที่ฝึกอบรมที่ปรับขนาดได้และไม่มีที่สิ้นสุดสำหรับหุ่นยนต์" บริษัท กล่าว ตาม Robotics & Automation News

ตามเนื้อผ้า การสอนทักษะทางกายภาพใหม่ๆ ให้หุ่นยนต์ผ่านการจำลองนั้นจำเป็นต้องอาศัยผู้เชี่ยวชาญในการสร้างแบบจำลองสภาพแวดล้อม ฟิสิกส์ของวัตถุ และร่างกายของหุ่นยนต์ด้วยมือ ซึ่งเป็นกระบวนการที่วัดเป็นสัปดาห์สำหรับงานใหม่แต่ละงาน หากวิดีโอสามารถทดแทนการสร้างแบบจำลองด้วยตนเองได้ ปัญหาคอขวดในการสอนทักษะใหม่ๆ ให้กับหุ่นยนต์จะเปลี่ยนจากแรงงานวิศวกรรมไปสู่ความพร้อมของฟุตเทจสาธิต ซึ่งทำได้ไม่จำกัดบนอินเทอร์เน็ต

อะไรทำให้ Video-to-Sim-to-Real แตกต่าง

ไปป์ไลน์การเรียนรู้หุ่นยนต์ส่วนใหญ่ในอุตสาหกรรมใช้หนึ่งในสองเส้นทาง ได้แก่ การปฏิบัติการทางไกล ซึ่งมนุษย์สาธิตงานที่หุ่นยนต์เลียนแบบด้วยตนเอง หรือการฝึกจำลอง โดยที่วิศวกรสร้างสภาพแวดล้อมเสมือนจริงด้วยมือ โดยที่นโยบายการควบคุมจะฝึกฝนการทำซ้ำหลายล้านครั้งก่อนที่จะนำไปใช้งาน ทั้งงานและทั้งสองขนาดได้ไม่ดี - การดำเนินการทางไกลต้องใช้แรงงานมากต่องาน และการสร้างแบบจำลองการจำลองนั้นใช้แรงงานเข้มข้นต่อสภาพแวดล้อม

การสาธิต cornhole มุ่งเป้าไปที่ปัญหาคอขวดที่สอง ในรายงานการทดสอบของ DeepMind ไม่มีวิศวกรคนใดสร้างสภาพแวดล้อมแบบ cornhole: Argon ใช้วิดีโอดิบ ตีความเค้าโครงเชิงพื้นที่ของฉาก สร้างวิถีข้อต่อทั้งร่างกายที่จำเป็นในการขว้าง และเขียนโค้ดการจำลองด้วยตัวมันเอง บทบาทของมนุษย์ในวงนั้นลดลงเหลือเพียงการถ่ายคนที่เล่นเกมเท่านั้น

Cornhole เป็นกรณีทดสอบที่ได้รับการคัดสรรมาอย่างดี มันดูไม่สำคัญ แต่การลงบีนแบ็กบนเป้าหมายที่ยกขึ้นนั้นต้องการหุ่นยนต์ฮิวแมนนอยด์แบบผสมผสานที่หาได้ยาก: ความสมดุลของร่างกายทั้งหมดที่มั่นคงในระหว่างการไขลาน ไดนามิกของแขนที่ดี การปล่อยตามกำหนดเวลา และความทนทานต่อขีปนาวุธของกระสุนปืนที่หลวม ความสำเร็จติดต่อกันเจ็ดครั้งในโลกแห่งความเป็นจริงบ่งชี้ว่านโยบายที่ถ่ายโอนนั้นแข็งแกร่งมากกว่าโชคดี แม้ว่าการทดสอบภายในเพียงครั้งเดียวจะเป็นฐานหลักฐานที่แคบก็ตาม

ผลลัพธ์เกณฑ์มาตรฐานการใช้เหตุผลเป็นตัวเป็นตน

นอกเหนือจากการสาธิต cornhole แล้ว DeepMind ยังทดสอบ Argon บนเกณฑ์มาตรฐาน Embodied Reasoning (ERQA) ซึ่งวัดความสามารถของแบบจำลองในการให้เหตุผลเกี่ยวกับปัญหาทางกายภาพและเชิงพื้นที่ในสภาพแวดล้อม 3 มิติ บริษัทกล่าวว่า Argon ได้คะแนน 87% จากเกณฑ์มาตรฐาน

การใช้เหตุผลทางกายภาพและเชิงพื้นที่ถูกมองว่าเป็นหนึ่งในช่องว่างที่แยกแบบจำลองภาษาชายแดนออกจากระบบที่สามารถดำเนินการได้อย่างมีประโยชน์ในโลกทางกายภาพ ซึ่งเป็นสาเหตุที่เกณฑ์มาตรฐานด้านวิทยาการหุ่นยนต์อย่าง ERQA ได้รับความสนใจเพิ่มมากขึ้นจากห้องปฏิบัติการหลักๆ

ส่วนหนึ่งของการเปิดตัว Gemini 4 Argon ที่กว้างขึ้น

งานด้านวิทยาการหุ่นยนต์เป็นแอปพลิเคชั่นหนึ่งที่เปิดตัวในวงกว้าง Google วางตำแหน่ง Gemini 4 Argon ให้เป็นโมเดลชายแดนที่ผสมผสานการใช้เหตุผลเชิงภาพ-ความหมาย ความเข้าใจทางกายภาพ และการสร้างโค้ดอัตโนมัติ โดยมุ่งเป้าไปที่งานด้านวิศวกรรมที่ซับซ้อน วิทยาศาสตร์ การเขียนโค้ด และธุรกิจ บริษัทกล่าวว่าได้ใช้แบบจำลองนี้ภายในโครงการแล้ว ตั้งแต่การเพิ่มประสิทธิภาพโค้ดเบสซอฟต์แวร์ขนาดใหญ่ ไปจนถึงการคำนวณควอนตัม นิวเคลียร์ฟิวชัน และการวิจัยด้านวิทยาศาสตร์ชีวภาพ

แบบจำลองนี้จัดทำขึ้นผ่านผลิตภัณฑ์ AI ของ Google และ Gemini API โดยมีการนำเสนอหุ่นยนต์สาธิตเพื่อเป็นหลักฐานยืนยันความเข้าใจทางกายภาพของแบบจำลอง ไม่ใช่เป็นผลิตภัณฑ์ในการขนส่งสำหรับผู้ปฏิบัติงานหุ่นยนต์

เหตุใดจึงสำคัญสำหรับอุตสาหกรรมฮิวแมนนอยด์

สำหรับภาคส่วนหุ่นยนต์ฮิวแมนนอยด์ที่กำลังเติบโต โดยที่ Apptronik เป็นหนึ่งในผู้เล่นที่โดดเด่นที่สุด ผลลัพธ์ที่ได้ชี้ไปที่คุณค่าที่นำเสนอในระยะสั้น: โมเดล AI เอนกประสงค์ที่สามารถแปลงวิดีโอแบบพาสซีฟเป็นการจำลองที่ฝึกได้สามารถลดต้นทุนในการสอนหุ่นยนต์งานใหม่ได้อย่างมาก ซึ่งเป็นอุปสรรคหลักระหว่างการสาธิตที่น่าประทับใจในปัจจุบันและการปรับใช้ที่มีประโยชน์เชิงเศรษฐกิจในวงกว้าง

กรอบของ DeepMind เองเน้นจุดเดียวกัน บริษัทกล่าวว่าการสาธิตนี้แสดงให้เห็นว่าโมเดลเอนกประสงค์สามารถลดปริมาณงานวิศวกรรมแบบแมนนวลที่จำเป็นในการสอนทักษะทางกายภาพใหม่ๆ ให้กับหุ่นยนต์ได้อย่างไร

การเจาะ cornhole เจ็ดนัดจะไม่เคลื่อนย้ายพัสดุในคลังสินค้า แต่ขั้นตอนการผลิตหุ่นยนต์เหล่านี้ เช่น ดูวิดีโอ ทำความเข้าใจฟิสิกส์ เขียนแบบจำลอง ถ่ายโอนไปยังฮาร์ดแวร์ ถือเป็นส่วนที่บริษัทด้านหุ่นยนต์และนักลงทุนจะรับชม

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →