Người sáng lập viết rằng Nhóm Biên giới AI của Microsoft Research đã kết thúc khi AI của Microsoft ủng hộ việc mở rộng quy mô nghiên cứu

Nhóm AI Frontiers của Microsoft Research — đơn vị khoảng 50 người đứng đằng sau khung điều phối tác nhân AutoGen và tác nhân sử dụng máy tính Fara — đã đi đến hồi kết, theo một tài khoản góc nhìn thứ nhất thẳng thắn được công bố trong tuần này bởi nhà nghiên cứu máy học John Langford, người đã tổ chức nhóm bên trong MSR vào năm 2023. Langford viết rằng nhóm đã được tiếp thu vào Microsoft AI vào đầu tháng 9 và trên thực tế, việc tổ chức lại không còn chỗ trống cho chương trình nghiên cứu của mình. Bài đăng gây ấn tượng mạnh: nó đứng đầu Tin tức về hacker với hơn 300 điểm trong vòng vài giờ và nó cung cấp một trong những tài khoản nội bộ chi tiết nhất về sự chuyển đổi của ngành từ nghiên cứu sang mở rộng quy mô đang diễn ra bên trong một phòng thí nghiệm lớn. Chúng tôi đang theo dõi tác động trong tin tức kinh doanh AI.

Biên giới AI đã xây dựng những gì

Langford truy tìm nguồn gốc của nhóm từ những tháng sau khi ChatGPT ra mắt, khi ông kết luận rằng nghiên cứu AI có ý nghĩa bên trong Microsoft cần nhiều cấu trúc hơn mô hình truyền thống của MSR. Ông viết: “Mức độ hỗ trợ và tập trung mà các nhóm nghiên cứu khác đang áp dụng đủ lớn đến mức ngay cả với một ý tưởng thông minh do một người theo đuổi thì nó cũng có khả năng đến muộn và không thuyết phục,” ông viết và giải thích rằng một nhà nghiên cứu đơn độc không thể tập hợp các đường cơ sở đủ mạnh để chứng minh một ý tưởng đáng theo đuổi.

Vì vậy, Langford và những đồng nghiệp cùng chí hướng đã tổ chức AI Frontiers như một tổ chức con gồm khoảng 50 người, được cấu trúc một cách có chủ ý không từ trên xuống hay từ dưới lên mà "đâu đó ở giữa lộn xộn". Kết quả rõ ràng nhất của nhóm đã được áp dụng: AutoGen, khung nguồn mở được sử dụng rộng rãi của Microsoft để điều phối nhiều tác nhân AI và Fara, một tác nhân sử dụng máy tính. Theo lời kể của Langford, "phần lớn công việc của AIF là tìm ra cách khiến các đặc vụ hoạt động."

Ít được nhìn thấy hơn là nghiên cứu cơ bản của nhóm. Một nhóm ở New York đã theo đuổi những gì Langford mô tả là những khả năng cốt lõi mới: mục tiêu "Tiềm ẩn tiếp theo" cho phép các mô hình ngoại suy, một trình tối ưu hóa có tên là Dion3 giúp cải thiện Muon và "Bộ biến đổi băng thông đầy đủ" được thiết kế để làm cho các mô hình trở nên mạnh mẽ hơn đáng kể thông qua đệ quy.

Nhóm cũng cố gắng chia sẻ cơ sở hạ tầng với phần còn lại của Microsoft Research, duy trì cơ chế monorepo mở cho tất cả các nhà nghiên cứu của MSR. Kho lưu trữ đó bao gồm một cơ sở mã đào tạo trước ở quy mô biên mà Langford đã trình bày tại hội nghị COLM tháng trước — một chi tiết mà anh ấy gọi là nhỏ, nhưng anh ấy sử dụng chi tiết này để nhấn mạnh cần bao nhiêu nỗ lực để xây dựng một quy trình đào tạo mô hình đang hoạt động, lưu ý rằng ba nhóm nội bộ khác đang cố gắng làm điều tương tự mà không có nền tảng chung.

Cuộc tái tổ chức tháng 9

Vào đầu tháng 9, Microsoft đã hợp nhất AI Frontiers thành Microsoft AI, bộ phận sản phẩm lớn hơn nhiều, nơi tập trung nỗ lực AI cho người tiêu dùng và doanh nghiệp của công ty. Trên giấy tờ, Langford thừa nhận, động thái này có ý nghĩa: việc kết hợp hai tổ chức AI tập trung nỗ lực và mỗi tổ chức đều có những điểm mạnh mà tổ chức kia thiếu.

Ông viết, trên thực tế, sự sáp nhập được hình thành dựa trên triết học. "Triết lý cốt lõi là mở rộng quy mô chứ không tích cực nghiên cứu", Langford nói về ban lãnh đạo cũ của Microsoft AI - ám chỉ nhóm đã gia nhập Microsoft từ công ty khởi nghiệp Inflection AI, hiện đang định hình phương hướng của bộ phận dưới sự lãnh đạo của họ. Việc định hình kết quả kinh tế học của ông rất thẳng thừng: các mô hình lớn hơn tạo ra những dự đoán tốt hơn và "lợi nhuận theo quy mô dễ dự đoán hơn nhiều so với lợi nhuận từ nghiên cứu", do đó, một tổ chức mở rộng quy mô tập trung vào việc thu thập và tinh chỉnh dữ liệu thay vì các phương pháp mới.

Ông lập luận rằng trọng tâm đó là "một bước khá xa" so với công việc cơ bản mà AI Frontiers đang thực hiện - và ngoài sự không phù hợp về mặt triết học, ông nói rằng sự chào đón tốt nhất là khá nồng nhiệt. Langford viết: “Có rất nhiều bằng chứng cho thấy họ không thực sự muốn chúng tôi”, đồng thời gọi tình huống này là “một tình huống khó khăn mà bạn phải đối mặt”. Anh ấy không bỏ qua quan điểm của riêng mình về sự đánh đổi, mô tả cách tiếp cận chỉ mở rộng quy mô là sai hướng, mặc dù lập luận đầy đủ vượt xa quan điểm mà anh ấy đưa ra rõ ràng trong bài đăng.

Nghiên cứu so với mở rộng quy mô, ngoài Microsoft

Bài luận diễn ra trong bối cảnh đang có một cuộc tranh luận rộng rãi hơn trong ngành về việc liệu các phòng thí nghiệm biên giới có thể duy trì các tổ chức nghiên cứu chân chính theo các mốc thời gian của sản phẩm hay không. Microsoft hầu như không đơn độc trong việc hợp nhất hoạt động nghiên cứu AI dưới sự lãnh đạo tập trung vào sản phẩm, nhưng báo cáo của Langford rất cụ thể về cơ chế: một nhóm nhỏ, năng suất không được giao nhiệm vụ cũng như không được chào đón sau khi tái tổ chức công ty, với những đóng góp về cơ sở hạ tầng của họ được âm thầm tiếp thu.

Cuộc thảo luận trên Hacker News, nơi bài đăng thu hút hàng trăm bình luận, chủ yếu tập trung vào sự căng thẳng đó – liệu các cuộc khám nghiệm tử thi như thế này mô tả sự trưởng thành không thể tránh khỏi của nghiên cứu AI của công ty hay một lỗi chiến lược trong đó các phòng thí nghiệm đánh đổi lợi thế phương pháp lâu dài để đạt được lợi ích mở rộng có thể dự đoán được. Các nhà bình luận cũng chỉ ra điều trớ trêu là AutoGen, một trong những dự án đặc trưng của AI Frontiers, đã giúp xác định danh mục điều phối tác nhân hiện đang thống trị lộ trình AI của doanh nghiệp.

Đối với Microsoft, sự việc này là một chú thích nổi tiếng có ý nghĩa thực tiễn. Công ty đã đặt chiến lược AI của mình vào nhịp độ vận chuyển của Microsoft AI và Langford không tuyên bố tổ chức được sáp nhập sẽ tạo ra những sản phẩm tệ hơn. Mối quan tâm của anh ấy hẹp hơn và rõ ràng hơn: rằng đường dẫn cho những ý tưởng mới - con người, cơ sở hạ tầng, khả năng chấp nhận những cách tiếp cận chưa được chứng minh - chính xác là thứ mà bộ phận mở rộng quy mô đầu tiên ít sử dụng nhất cho đến ngày nó cần đến nó.

Cả bài đăng của Langford lẫn việc tái tổ chức mà ông mô tả đều không thay đổi những gì người dùng nhìn thấy ngày nay, nhưng chúng làm rõ cách Microsoft sắp xếp các cược AI của mình. Nghiên cứu có thể được chuyển thành quy mô; nghiên cứu có thể thay đổi ý nghĩa của quy mô, tốt nhất là đang trong giai đoạn thử nghiệm. Như Langford đã nêu trong tiêu đề bài đăng, đây là sự kết thúc của Biên giới AI - và là một điểm dữ liệu trong cuộc tranh luận về mục đích nghiên cứu AI của công ty.

Đi trước AI

Hoạt động kinh doanh của AI đang được viết lại theo thời gian thực và các quyết định được đưa ra trong các phòng thí nghiệm như của Microsoft sẽ định hình các công cụ mà mọi người khác đều thừa hưởng. Theo dõi mọi diễn biến trong tin tức AI của chúng tôi.

Đọc thêm tin tức về AI →