บอกหุ่นยนต์ว่า "อย่าทำกาแฟหกบนแล็ปท็อปของฉัน" แล้วเครื่องจักรในปัจจุบันก็จะทำเช่นนั้น ไม่มีอะไรมากไปกว่านั้น โทรศัพท์วางอยู่ข้างแล็ปท็อป? แท็บเล็ตชาร์จอยู่อีกด้านหนึ่งของโต๊ะ? ปิดเรดาร์ของหุ่นยนต์จนกว่าคุณจะสะกดแต่ละอัน แก้ไขโดยการแก้ไขที่น่าเบื่อ
แพลตฟอร์มใหม่จากนักวิจัยของ MIT และมหาวิทยาลัยนิวยอร์กมีเป้าหมายที่จะปิดช่องว่างดังกล่าว ระบบที่เรียกว่า FLEX ช่วยให้หุ่นยนต์วางแผนการเคลื่อนไหวสามารถทำตามคำแนะนำที่ชัดเจนของมนุษย์ ในขณะเดียวกันก็ดึงภาพรวมที่กว้างขึ้นจากหุ่นยนต์เหล่านั้นเพื่อปรับปรุงประสิทธิภาพ ตามรายงานของ MIT News ทีมงานจะนำเสนอผลงานในการประชุมประจำปีเรื่อง Robot Learning (CoRL) ในเดือนนี้ For more context on this story, see our ongoing AI trends.
“LLM ได้เห็นข้อความมากมายจากอินเทอร์เน็ต” นาธาน เดนน์เลอร์ นัก postdoc ในห้องปฏิบัติการวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ (CSAIL) ของ MIT และผู้เขียนการศึกษากล่าว "ผู้คนอาจเขียนเกี่ยวกับ 'โอ้ โทรศัพท์ของฉันตกน้ำและตอนนี้มันใช้งานไม่ได้' หรือ 'ฉันทำกาแฟหกใส่คอมพิวเตอร์แต่ตอนนี้มันใช้งานไม่ได้' LLM จึงเข้าใจแนวคิดที่ว่าของเหลวบวกกับอุปกรณ์นำไปสู่สิ่งที่ไม่ทำงาน"
จากคำเตือนเดียวสู่กฎเกณฑ์ทั้งเล่ม
ในสถานการณ์สาธิตหนึ่งที่ MIT News อธิบายไว้ คนๆ หนึ่งเฝ้าดูแขนหุ่นยนต์ถือถ้วยกาแฟบนโต๊ะรกๆ แล้วพิมพ์คำสั่งเดียว: "อย่าทำแล็ปท็อปหก!" หุ่นยนต์ทั่วไปจะเพิ่มแล็ปท็อปเข้าไปในรายการหลีกเลี่ยงและวางแผนเส้นทางใหม่ FLEX ก้าวไปไกลกว่านั้น หุ่นยนต์ให้เหตุผลว่าเหตุใดแล็ปท็อปจึงมีความสำคัญและปรับวิถีเพื่อหลีกเลี่ยงอุปกรณ์อิเล็กทรอนิกส์ในบริเวณใกล้เคียง รวมถึงโทรศัพท์ที่ผู้ใช้ไม่เคยพูดถึง
“แนวคิดก็คือ มีเจตนาระดับสูงกว่าอยู่เบื้องหลังคำพูดที่คุณพูด” เดนน์เลอร์กล่าว "คนทั่วไปเข้าใจสิ่งนี้ แต่คุณต้องอธิบายเรื่องนี้ให้หุ่นยนต์ฟังอย่างรอบคอบ ซึ่งต้องใช้เวลาและความพยายาม FLEX ให้อินเทอร์เฟซในการสื่อสารกับหุ่นยนต์เพื่อพูดว่า 'เมื่อมีคนพูดแบบนี้ พวกเขาหมายความอย่างนั้น'"
การศึกษานี้นำโดย Andreea Bobu ผู้ช่วยศาสตราจารย์ด้านการบินและอวกาศที่ MIT ซึ่งเป็นหัวหน้าห้องปฏิบัติการวิจัยการเรียนรู้ร่วมกันและอิสระ (CLEAR) ผู้เขียนร่วม ได้แก่ Audrey Lee ซึ่งสำเร็จการศึกษา SM ของเธอที่ MIT ในปี 2026 และ Ilia Sucholutsky จาก New York University
วิธีการทำงานของ FLEX: เพิ่ม, วางนัย, มาสก์
FLEX ทำงานเป็นไปป์ไลน์สามขั้นตอนซึ่งดำเนินการภายในเวลาประมาณห้าวินาที
ขั้นตอนที่ 1: เพิ่ม
เมื่อผู้ใช้ทำการแก้ไขด้วยภาษาธรรมชาติ หุ่นยนต์จะเพิ่มคุณสมบัติที่เกี่ยวข้องไปยังรายการการทำงานที่สำคัญสำหรับงาน หากมีคนพูดว่า "อย่าวางมันลงบนแก้วของฉัน!" ขณะที่หุ่นยนต์ถือลูกโบว์ลิ่ง แก้วน้ำจะเข้าร่วมรายการหลีกเลี่ยง และหุ่นยนต์จะอัปเดตวิถีของมัน ขั้นตอนนี้สะท้อนให้เห็นว่าวิธีการก่อนหน้านี้ได้ผลอย่างไร และนี่คือจุดเริ่มต้นของปัญหา
“ปัญหาเกิดขึ้นเมื่อรายการฟีเจอร์ของคุณยาวมาก และฟีเจอร์บางอย่างไม่เกี่ยวข้องอีกต่อไป เนื่องจากสภาพแวดล้อมของคุณอาจเปลี่ยนไป” Dennler บอกกับ MIT News หุ่นยนต์ที่ได้รับคำสั่งให้หลีกเลี่ยงแต่ละวัตถุจะช้าลงในการแก้ไขและวางแผนช้าลง และภาระในการแจงนับก็ตกอยู่กับมนุษย์
ขั้นตอนที่ 2: วางนัยทั่วไป
นี่คือการสนับสนุนหลักของ FLEX แบบจำลองภาษาขนาดใหญ่ - GPT-4o ในการนำไปใช้งานของทีม - ตรวจสอบรายการคุณสมบัติที่สะสมและค้นหารูปแบบระหว่างรายการต่างๆ เมื่อต้องเผชิญกับแก้วน้ำและวัตถุเปราะบางอื่นๆ ที่บุคคลนั้นทำเครื่องหมายไว้ LLM อนุมานถึงชนชั้นทั่วไป: หลีกเลี่ยงสิ่งที่เปราะบาง แม้แต่ของที่ไม่เคยกล่าวถึงก็ตาม เนื่องจากโมเดลนี้ได้รับการฝึกฝนเกี่ยวกับไลบรารีข้อความของมนุษย์จำนวนมาก สามัญสำนึกในชีวิตประจำวันส่วนใหญ่จึงได้รับการติดตั้งไว้ล่วงหน้าแล้ว
“LLM ได้เห็นข้อความมากมายจากอินเทอร์เน็ต จากผู้คนและสถานที่ต่างๆ” เดนน์เลอร์กล่าว “เพราะพวกเขาได้รับการฝึกฝนมามากเกี่ยวกับสิ่งเหล่านั้น สามัญสำนึกบางอย่างจึงถูกซึมซับเข้าสู่ LLM”
ขั้นตอนที่ 3: มาส์ก
สภาพแวดล้อมจริงเปลี่ยนแปลง และกฎเก่าทำให้เกิดพฤติกรรมที่ไม่อยู่กับร่องกับรอย ขั้นตอนที่สามของ FLEX ใช้ระบบคอมพิวเตอร์วิทัศน์มาตรฐานของหุ่นยนต์เพื่อพิจารณาว่าวัตถุใดที่ถูกติดธงไว้ไม่มีอยู่อีกต่อไป จากนั้นจะลบรายการเหล่านั้นออกจากรายการคุณสมบัติ ทำให้ข้อจำกัดของหุ่นยนต์เป็นปัจจุบันโดยไม่มีการแทรกแซงของมนุษย์
ทดสอบในการจำลองกาแฟ เทียน และลูกโบว์ลิ่ง
ทีมงานประเมิน FLEX ในการจำลองแขนหุ่นยนต์โดยทำหน้าที่สามอย่าง ได้แก่ เสิร์ฟกาแฟหนึ่งแก้ว ขยับเทียน และถือลูกโบว์ลิ่ง อาสาสมัครโต้ตอบกับหุ่นยนต์เสมือนจริงด้วยการพิมพ์คำสั่งภาษาธรรมชาติ เช่น "อย่าทำแล็ปท็อปของฉันหก" "อยู่ห่างจากปึกกระดาษ" และ "อย่าทำหล่นบนแก้วน้ำ"
ในทั้งสามสถานการณ์ หุ่นยนต์ปฏิบัติตามแต่ละคำสั่งอย่างแท้จริงในขณะเดียวกันก็ให้เหตุผลในระดับที่สูงกว่า — หลีกเลี่ยงอุปกรณ์อิเล็กทรอนิกส์เมื่อได้รับคำเตือนเกี่ยวกับแล็ปท็อป หลีกเลี่ยงวัตถุไวไฟเมื่อได้รับคำสั่งให้ระวังเทียน และปฏิบัติต่อสิ่งของที่เปราะบางทั้งหมดเป็นโซนที่ห้ามดรอปหลังจากได้รับคำเตือนจากแก้วน้ำเพียงครั้งเดียว
เหตุใดสามัญสำนึกจึงเป็นคอขวดสำหรับหุ่นยนต์ในบ้าน
การวิจัยมุ่งเป้าไปที่อุปสรรคที่เกิดขึ้นอย่างต่อเนื่องในอุตสาหกรรมหุ่นยนต์สำหรับผู้บริโภค: ไม่มีใครจัดส่งหุ่นยนต์ที่รู้อยู่แล้วว่าอะไรสำคัญในบ้านของคุณ การวางแผนวิถีทางฟิสิกส์นั้นแม่นยำแต่ไม่ชัดเจน และการคาดหวังว่าผู้ใช้จะจัดการฟังก์ชันต้นทุนทางคณิตศาสตร์นั้นไม่ใช่จุดเริ่มต้น
“หุ่นยนต์ใช้คณิตศาสตร์ในการวางแผนวิถี แต่เราไม่สามารถคาดหวังให้ผู้บริโภคเรียนรู้คณิตศาสตร์นี้เพื่อบอกหุ่นยนต์ว่าต้องทำอะไร” เดนน์เลอร์กล่าว "แทนที่จะต้องให้ผู้คนเรียนรู้วิธีใช้หุ่นยนต์ในลักษณะเฉพาะ เป้าหมายคือการโต้ตอบกับหุ่นยนต์ผ่านภาษาธรรมชาติ"
การวิจัยด้านวิทยาการหุ่นยนต์จำนวนมากได้ผสมผสานภาษาเข้ากับการเรียนรู้ของหุ่นยนต์อยู่แล้ว โดยทำให้เป้าหมายของงานชัดเจนขึ้น การเปลี่ยนเส้นทางวิถี การกำหนดเส้นทางที่ปลอดภัย แต่ MIT News ตั้งข้อสังเกตว่าวิธีการที่มีอยู่เหล่านั้นใช้ภาษาเป็นหลักในการบอกหุ่นยนต์ถึงวิธีปฏิบัติงานทางกายภาพ กลุ่มของ Bobu กำลังผลักดันไปสู่ขอบเขตที่แตกต่างออกไป: แยกความชอบที่ซ่อนอยู่ของบุคคลออกจากคำสั่งทั่วไปจำนวนหนึ่ง
“บ้านของทุกคนแตกต่างกัน และทุกคนใส่ใจในสิ่งต่าง ๆ ที่แตกต่างกัน ดังนั้นจึงไม่มีหุ่นยนต์ตัวใดออกมาจากกล่องโดยรู้ว่าอะไรสำคัญสำหรับคุณ” Bobu บอกกับ MIT News "สิ่งที่ทำให้ฉันตื่นเต้นเกี่ยวกับ FLEX ก็คือมันสามารถหยิบมันขึ้นมาจากประโยคหนึ่งหรือสองประโยค แทนที่จะขอให้คุณสะกดกฎทุกข้อ และนั่นคือความแตกต่างระหว่างหุ่นยนต์ที่ผู้คนต้องทนกับหุ่นยนต์ที่พวกเขาต้องการในบ้านจริงๆ"
อะไรจะเกิดขึ้นต่อไป
งานซึ่งมีรายละเอียดอยู่ในรายงาน "การแก้ไขการนำเสนอด้วยภาษาที่ยืดหยุ่นสำหรับพฤติกรรมหุ่นยนต์ปรับตัว" ได้รับการสนับสนุนบางส่วนโดย MIT Generative AI Impact Consortium และโปรแกรมความรับผิดชอบทางสังคมและจริยธรรมของคอมพิวเตอร์ของ MIT Schwarzman College of Computing
ผลลัพธ์ที่แสดงจนถึงตอนนี้เป็นเพียงการจำลอง และการแปลประสิทธิภาพนั้นไปเป็นฮาร์ดแวร์ทางกายภาพ ด้วยการรับรู้ที่ยุ่งเหยิงกว่า ภาษาที่ดังกว่า และผลลัพธ์ที่แท้จริง ยังคงเป็นอุปสรรคต่อไปของวงการ แต่ทิศทางนั้นชัดเจน เมื่อหุ่นยนต์ย้ายจากกรงโรงงานไปยังห้องครัวและสำนักงาน เครื่องจักรที่ประสบความสำเร็จอาจเป็นเครื่องจักรที่เข้าใจไม่ใช่แค่สิ่งที่เราพูด แต่หมายถึงสิ่งที่เราหมายถึงด้วย
บทความนี้อ้างอิงจากการรายงานของ Jennifer Chu ซึ่งเผยแพร่โดย MIT News เมื่อวันที่ 9 พฤศจิกายน 2026---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →