กลุ่ม AI Frontiers ของ Microsoft Research ซึ่งเป็นหน่วยประมาณ 50 คนที่อยู่เบื้องหลังกรอบการทำงานของตัวแทน AutoGen และตัวแทนการใช้คอมพิวเตอร์ Fara ได้มาถึงจุดสิ้นสุดแล้ว ตามรายงานของบุคคลที่หนึ่งที่ตรงไปตรงมาซึ่งเผยแพร่ในสัปดาห์นี้โดยนักวิจัยการเรียนรู้ด้วยเครื่อง John Langford ซึ่งจัดกลุ่มภายใน MSR ในปี 2566 Langford เขียนว่าทีมถูกดูดซึมเข้าสู่ Microsoft AI ในช่วงต้นเดือนกันยายน และในทางปฏิบัติ การปรับโครงสร้างองค์กรไม่เหลือที่อยู่สำหรับวาระการวิจัย โพสต์นี้สร้างความตื่นตระหนก โดยติดอันดับ Hacker News โดยมีคะแนนมากกว่า 300 คะแนนภายในไม่กี่ชั่วโมง และนำเสนอบัญชีวงในที่มีรายละเอียดมากที่สุดรายการหนึ่งว่าการเปลี่ยนแปลงของอุตสาหกรรมจากการวิจัยไปสู่การปรับขนาดกำลังเกิดขึ้นภายในห้องปฏิบัติการขนาดใหญ่อย่างไร เรากำลังติดตามผลที่ตามมาใน การรายงานข่าวธุรกิจ AI

สิ่งที่ AI Frontiers สร้างขึ้น

Langford ติดตามต้นกำเนิดของกลุ่มในช่วงหลายเดือนหลังจากการเปิดตัว ChatGPT เมื่อเขาสรุปว่าการวิจัย AI ที่มีความหมายภายใน Microsoft ต้องการโครงสร้างมากกว่าแบบจำลองดั้งเดิมของ MSR “ปริมาณการสนับสนุนและการมุ่งเน้นที่กลุ่มวิจัยอื่นๆ นำไปใช้นั้นดีพอที่จะถึงแม้จะมีความคิดอันชาญฉลาดที่คนๆ เดียวติดตาม แต่ก็มีแนวโน้มที่จะมาถึงช้าและไม่น่าเชื่อถือ” เขาเขียน โดยอธิบายว่านักวิจัยเดี่ยวไม่สามารถรวบรวมพื้นฐานที่แข็งแกร่งพอที่จะพิสูจน์ว่าแนวคิดนั้นคุ้มค่าที่จะติดตาม

ดังนั้น Langford และเพื่อนร่วมงานที่มีความคิดเหมือนกันจึงได้จัด AI Frontiers ขึ้นเป็นองค์กรย่อยที่มีคนประมาณ 50 คน โดยจงใจจัดโครงสร้างทั้งจากบนลงล่างหรือจากล่างขึ้นบน แต่ "อยู่ที่ไหนสักแห่งที่อยู่ตรงกลางที่ยุ่งเหยิง" ผลลัพธ์ที่มองเห็นได้มากที่สุดของกลุ่มถูกนำไปใช้: AutoGen ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายของ Microsoft สำหรับการเตรียมการเอเจนต์ AI หลายตัว และ Fara ซึ่งเป็นเอเจนต์การใช้งานคอมพิวเตอร์ ในการบอกเล่าของแลงฟอร์ด "งานส่วนใหญ่ของ AIF คือการหาวิธีทำให้เจ้าหน้าที่ทำงานได้อย่างไร"

การวิจัยพื้นฐานของกลุ่มมองเห็นได้น้อยลง กองกำลังในนิวยอร์กดำเนินการตามสิ่งที่แลงฟอร์ดอธิบายว่าเป็นความสามารถหลักใหม่: วัตถุประสงค์ "Next Latent" ที่ช่วยให้โมเดลสามารถคาดการณ์ได้ เครื่องมือเพิ่มประสิทธิภาพที่เรียกว่า Dion3 ที่ปรับปรุงบน Muon และ "Full Bandwidth Transformer" ที่ออกแบบมาเพื่อทำให้โมเดลมีประสิทธิภาพมากขึ้นอย่างมากผ่านการเรียกซ้ำ

กลุ่มนี้ยังพยายามแบ่งปันโครงสร้างพื้นฐานกับส่วนที่เหลือของ Microsoft Research โดยรักษา monorepo ที่เปิดให้นักวิจัย MSR ทุกคน พื้นที่เก็บข้อมูลนั้นรวมถึง codebase pretraining ระดับ Edge ที่ Langford นำเสนอในการประชุม COLM เมื่อเดือนที่แล้ว ซึ่งเป็นรายละเอียดที่เขาเรียกว่ารอง แต่เป็นสิ่งหนึ่งที่เขาใช้เพื่อเน้นย้ำถึงความพยายามที่ไปป์ไลน์การฝึกอบรมโมเดลที่ใช้งานได้ต้องใช้ในการสร้าง โดยสังเกตว่าทีมภายในอีกสามทีมกำลังพยายามในสิ่งเดียวกันโดยไม่มีรากฐานที่ใช้ร่วมกัน

องค์กรเดือนกันยายน

ในช่วงต้นเดือนกันยายน Microsoft ได้รวม AI Frontiers เข้ากับ Microsoft AI ซึ่งเป็นแผนกผลิตภัณฑ์ที่ใหญ่กว่ามากซึ่งเป็นที่ตั้งของความพยายามด้าน AI สำหรับผู้บริโภคและองค์กรของบริษัท ในกระดาษ Langford ยอมรับว่าการเคลื่อนไหวนี้สมเหตุสมผล: การรวมองค์กร AI สององค์กรเข้าด้วยกันทำให้มีสมาธิในการทำงาน และแต่ละองค์กรมีจุดแข็งที่อีกองค์กรยังขาดอยู่

ในทางปฏิบัติ เขาเขียนว่าการควบรวมกิจการมีรากฐานมาจากปรัชญา "ปรัชญาหลักคือการปรับขนาด และไม่ใช่การวิจัยเชิงรุก" แลงฟอร์ดกล่าวถึงความเป็นผู้นำในอดีตของ Microsoft AI ซึ่งอ้างอิงถึงทีมที่เข้าร่วม Microsoft จากสตาร์ทอัพ Inflection AI ซึ่งขณะนี้กำหนดทิศทางของแผนกภายใต้ความเป็นผู้นำ กรอบเศรษฐศาสตร์ผลลัพธ์ของเขานั้นตรงไปตรงมา: โมเดลที่ใหญ่กว่าให้การคาดการณ์ได้ดีกว่า และ "การกลับมาสู่ขนาดสามารถคาดเดาได้ดีกว่าการกลับมาสู่การวิจัย" ดังนั้นองค์กรที่ให้ความสำคัญกับการขยายขนาดจึงมุ่งเน้นไปที่การรับและปรับปรุงข้อมูลมากกว่าวิธีการใหม่

เขาแย้งว่าการมุ่งเน้นนั้น "ค่อนข้างไกล" จากงานพื้นฐานที่ AI Frontiers กำลังทำอยู่ และนอกเหนือจากความไม่ตรงกันทางปรัชญาแล้ว เขากล่าวว่าการต้อนรับนั้นค่อนข้างอบอุ่น “มีหลักฐานมากมายว่าพวกเขาไม่ต้องการเราจริงๆ” แลงฟอร์ดเขียน โดยเรียกสถานการณ์นี้ว่า “เป็นสถานการณ์ที่ยากจะค้นพบตัวเอง” เขาไม่ละทิ้งมุมมองของตนเองเกี่ยวกับการแลกเปลี่ยน โดยอธิบายว่าแนวทางการปรับขนาดเท่านั้นนั้นมีทิศทางที่ผิด แม้ว่าข้อโต้แย้งทั้งหมดจะขยายออกไปนอกประเด็นที่เขาระบุไว้อย่างชัดเจนในโพสต์ก็ตาม

การวิจัยเทียบกับการปรับขนาด เหนือกว่า Microsoft

บทความนี้เกิดขึ้นท่ามกลางการถกเถียงในอุตสาหกรรมในวงกว้างว่าห้องปฏิบัติการชายแดนสามารถสนับสนุนองค์กรวิจัยที่แท้จริงควบคู่ไปกับไทม์ไลน์ของผลิตภัณฑ์ได้หรือไม่ Microsoft ไม่ได้เป็นคนเดียวในการรวมการวิจัย AI ภายใต้ความเป็นผู้นำที่มุ่งเน้นผลิตภัณฑ์ แต่เรื่องราวของ Langford มีความเฉพาะเจาะจงอย่างผิดปกติเกี่ยวกับกลไก: กลุ่มเล็กๆ ที่มีประสิทธิผลไม่ได้รับคำสั่งหรือการต้อนรับหลังจากการปรับโครงสร้างองค์กรใหม่ โดยการมีส่วนร่วมด้านโครงสร้างพื้นฐานถูกดูดซับอย่างเงียบๆ

การอภิปรายเกี่ยวกับ Hacker News ซึ่งโพสต์ดังกล่าวดึงความคิดเห็นหลายร้อยรายการ โดยส่วนใหญ่เน้นไปที่ความตึงเครียดนั้น ไม่ว่าการชันสูตรพลิกศพในลักษณะนี้อธิบายถึงการพัฒนาการวิจัย AI ขององค์กรอย่างหลีกเลี่ยงไม่ได้ หรือข้อผิดพลาดเชิงกลยุทธ์ที่ห้องปฏิบัติการแลกเปลี่ยนข้อได้เปรียบด้านระเบียบวิธีที่คงทนเพื่อขยายขนาดที่คาดการณ์ได้ ผู้แสดงความคิดเห็นยังตั้งข้อสังเกตถึงการประชดว่า AutoGen ซึ่งเป็นหนึ่งในโครงการอันเป็นเอกลักษณ์ของ AI Frontiers ได้ช่วยกำหนดหมวดหมู่การประสานตัวแทนซึ่งปัจจุบันครอบงำแผนงาน AI ขององค์กร

สำหรับ Microsoft ตอนนี้ถือเป็นเชิงอรรถที่มีชื่อเสียงและมีความหมายเชิงปฏิบัติ บริษัทได้เดิมพันกลยุทธ์ AI กับจังหวะการจัดส่งของ Microsoft AI และ Langford ไม่ได้อ้างว่าองค์กรที่ควบรวมกิจการจะสร้างผลิตภัณฑ์ที่แย่กว่านั้น ความกังวลของเขาแคบลงและชัดเจนมากขึ้น: ท่อส่งสำหรับแนวคิดใหม่ ๆ เช่น ผู้คน โครงสร้างพื้นฐาน ความอดทนต่อแนวทางที่ไม่ได้รับการพิสูจน์ เป็นสิ่งที่แผนกที่เน้นการขยายขนาดเป็นอันดับแรกใช้ประโยชน์น้อยที่สุด จนกว่าจะถึงวันที่ต้องการ

ทั้งโพสต์ของ Langford และการปรับโครงสร้างองค์กรที่เขาอธิบายไม่ได้เปลี่ยนแปลงสิ่งที่ผู้ใช้เห็นในปัจจุบัน แต่พวกเขาชี้แจงว่า Microsoft เรียงลำดับการเดิมพัน AI อย่างไร งานวิจัยที่สามารถขยายขนาดได้อยู่ใน; การวิจัยที่อาจเปลี่ยนความหมายของมาตราส่วนได้ดีที่สุดก็คือในช่วงภาคทัณฑ์ ตามที่ Langford ระบุไว้ในชื่อเรื่องของโพสต์ นี่คือจุดสิ้นสุดของ AI Frontiers และเป็นจุดข้อมูลในการโต้แย้งว่าการวิจัย AI ขององค์กรมีไว้เพื่ออะไร

ก้าวนำหน้า AI

ธุรกิจของ AI กำลังถูกเขียนใหม่แบบเรียลไทม์ และการตัดสินใจภายในห้องปฏิบัติการอย่าง Microsoft ก็ได้กำหนดเครื่องมือที่ทุกคนสืบทอดมา ติดตามทุกความเคลื่อนไหวใน การรายงานข่าว AI ของเรา

อ่านข่าว AI เพิ่มเติม →