Grup AI Frontiers dari Microsoft Research Telah Berakhir, Tulis Pendirinya, karena Microsoft AI Lebih Memilih Peningkatan Dibandingkan Penelitian

Grup AI Frontiers dari Microsoft Research – unit yang beranggotakan sekitar 50 orang di belakang kerangka orkestrasi agen AutoGen dan agen penggunaan komputer Fara – telah mencapai akhir, menurut akun orang pertama yang dipublikasikan minggu ini oleh peneliti pembelajaran mesin John Langford, yang mengorganisir grup tersebut di dalam MSR pada tahun 2023. Langford menulis bahwa tim tersebut diserap ke dalam Microsoft AI pada awal September dan, dalam praktiknya, reorganisasi tidak memberikan ruang bagi agenda penelitiannya. Postingan ini mengejutkan: postingan ini menduduki puncak Hacker News dengan lebih dari 300 poin dalam beberapa jam, dan menawarkan salah satu laporan orang dalam yang paling mendetail tentang bagaimana peralihan industri dari penelitian ke penskalaan terjadi di dalam laboratorium besar. Kami memantau dampaknya dalam liputan berita bisnis AI.

Apa yang Dibangun AI Frontiers

Langford menelusuri asal muasal grup ini hingga beberapa bulan setelah ChatGPT dirilis, ketika dia menyimpulkan bahwa penelitian AI yang bermakna di dalam Microsoft memerlukan lebih banyak struktur daripada model tradisional MSR. “Jumlah dukungan dan fokus yang diterapkan oleh kelompok penelitian lain cukup besar sehingga meskipun ide cerdas yang diajukan oleh satu orang, kemungkinan besar ide tersebut akan datang terlambat dan tidak meyakinkan,” tulisnya, menjelaskan bahwa seorang peneliti tunggal tidak dapat menyusun dasar yang cukup kuat untuk membuktikan bahwa sebuah ide layak untuk dikembangkan.

Jadi Langford dan rekan-rekannya yang berpikiran sama mengorganisir AI Frontiers sebagai sub-organisasi yang beranggotakan sekitar 50 orang, dengan sengaja tidak terstruktur dari atas ke bawah atau dari bawah ke atas, tetapi "di tengah-tengah yang berantakan". Hasil yang paling terlihat dari kelompok ini adalah penerapan: AutoGen, kerangka kerja sumber terbuka Microsoft yang banyak digunakan untuk mengatur beberapa agen AI, dan Fara, agen penggunaan komputer. Dalam penuturan Langford, "sebagian besar pekerjaan AIF adalah mencari cara untuk membuat agen bekerja."

Yang kurang terlihat adalah penelitian fundamental kelompok tersebut. Kontingen New York mengejar apa yang digambarkan Langford sebagai kemampuan inti baru: tujuan "Laten Berikutnya" yang memungkinkan model melakukan ekstrapolasi, pengoptimal yang disebut Dion3 yang meningkatkan Muon, dan "Transformator Bandwidth Penuh" yang dirancang untuk membuat model jauh lebih kuat melalui rekursi.

Kelompok ini juga mencoba berbagi infrastruktur dengan Microsoft Research lainnya, mempertahankan monorepo yang terbuka untuk semua peneliti MSR. Repositori tersebut mencakup basis kode pra-pelatihan skala tepi yang dipresentasikan Langford pada konferensi COLM bulan lalu - sebuah detail yang ia sebut kecil, namun ia gunakan untuk menggarisbawahi seberapa besar upaya yang diperlukan untuk membangun pipeline pelatihan model yang berfungsi, dan mencatat bahwa tiga tim internal lainnya mencoba hal yang sama tanpa landasan bersama.

Reorganisasi September

Pada awal September, Microsoft menggabungkan AI Frontiers menjadi Microsoft AI, divisi produk yang jauh lebih besar yang menampung upaya AI konsumen dan perusahaan. Di atas kertas, Langford mengakui, langkah ini masuk akal: menggabungkan dua organisasi AI akan memusatkan upaya, dan masing-masing memiliki kekuatan yang tidak dimiliki oleh organisasi lainnya.

Dalam praktiknya, tulisnya, penggabungan tersebut kandas karena filsafat. “Filosofi intinya adalah penskalaan, dan bukan penelitian secara agresif,” kata Langford tentang mantan kepemimpinan Microsoft AI di Inflection – merujuk pada tim yang bergabung dengan Microsoft dari startup Inflection AI, yang kini membentuk arah divisi di bawah kepemimpinannya. Kerangka kerjanya mengenai dampak ekonomi yang dihasilkan sangat blak-blakan: model yang lebih besar menghasilkan prediksi yang lebih baik, dan “pengembalian berdasarkan skala jauh lebih dapat diprediksi dibandingkan pengembalian melalui penelitian,” sehingga organisasi yang mengutamakan penskalaan berkonsentrasi pada perolehan dan penyempurnaan data dibandingkan metode baru.

Fokus tersebut, menurutnya, “sedikit menjauh” dari pekerjaan mendasar yang dilakukan AI Frontiers – dan di balik ketidakcocokan filosofis tersebut, ia mengatakan bahwa sambutan yang diterimanya hanya suam-suam kuku. “Ada banyak bukti bahwa mereka tidak benar-benar menginginkan kita,” tulis Langford, menyebut situasi ini “sulit untuk dihadapi.” Dia tidak mengesampingkan pandangannya sendiri mengenai trade-off, dan menggambarkan pendekatan yang hanya melakukan penskalaan sebagai pendekatan yang salah arah, meskipun argumen lengkapnya melampaui poin yang dia sampaikan secara eksplisit dalam postingan tersebut.

Riset vs. Penskalaan, Melampaui Microsoft

Esai ini muncul di tengah perdebatan industri yang lebih luas tentang apakah laboratorium terdepan dapat mendukung organisasi penelitian asli seiring dengan lini waktu produk. Microsoft bukanlah satu-satunya pihak yang melakukan konsolidasi penelitian AI di bawah kepemimpinan yang berfokus pada produk, namun penjelasan Langford sangat spesifik mengenai mekanismenya: sebuah kelompok kecil dan produktif yang tidak diberi mandat atau sambutan setelah reorganisasi perusahaan, dan kontribusi infrastrukturnya diserap secara diam-diam.

Diskusi di Hacker News, di mana postingan tersebut menarik ratusan komentar, sebagian besar berpusat pada ketegangan tersebut – apakah otopsi seperti ini menggambarkan kematangan penelitian AI perusahaan yang tak terelakkan, atau kesalahan strategis di mana laboratorium memperdagangkan keunggulan metodologis yang tahan lama demi peningkatan skala yang dapat diprediksi. Para komentator juga menandai ironi bahwa AutoGen, salah satu proyek andalan AI Frontiers, membantu mendefinisikan kategori orkestrasi agen yang kini mendominasi peta jalan AI perusahaan.

Bagi Microsoft, episode ini merupakan catatan kaki reputasi dengan implikasi praktis. Perusahaan ini telah mempertaruhkan strategi AI-nya pada irama pengiriman Microsoft AI, dan Langford tidak mengklaim bahwa organisasi gabungan tersebut akan membuat produk yang lebih buruk. Kekhawatirannya lebih sempit dan lebih tajam: bahwa saluran untuk ide-ide baru – sumber daya manusia, infrastruktur, toleransi terhadap pendekatan yang belum terbukti – adalah hal-hal yang paling tidak berguna bagi divisi yang mengutamakan penskalaan, hingga suatu saat divisi tersebut membutuhkannya.

Baik postingan Langford maupun reorganisasi yang dijelaskannya tidak mengubah apa yang dilihat pengguna saat ini, namun hal tersebut memperjelas bagaimana Microsoft sekarang mengatur taruhan AI-nya. Penelitian yang bisa dijadikan skala adalah; penelitian yang mungkin mengubah arti skala, paling banter, dalam masa percobaan. Seperti yang dikatakan Langford dalam judul postingannya, ini adalah akhir dari AI Frontiers — dan sebuah poin data dalam argumen mengenai tujuan penelitian AI perusahaan.

Tetap Terdepan dalam AI

Bisnis AI sedang ditulis ulang secara real-time, dan keputusan yang dibuat di dalam laboratorium seperti Microsoft membentuk alat yang diwarisi semua orang. Ikuti setiap perkembangan di [liputan berita AI] kami(https://aibuzzwire.news).

Baca berita AI selengkapnya →