Kumpulan AI Frontiers Microsoft Research Telah Berakhir, Pengasas Menulis, kerana Microsoft AI Mengutamakan Penskalaan Daripada Penyelidikan

Kumpulan AI Frontiers Microsoft Research — unit kira-kira 50 orang di belakang rangka kerja orkestra ejen AutoGen dan ejen penggunaan komputer Fara — telah sampai ke penghujungnya, menurut akaun orang pertama yang jujur ​​yang diterbitkan minggu ini oleh penyelidik pembelajaran mesin John Langford, yang menganjurkan kumpulan itu di dalam MSR pada tahun 2023. Langford menulis bahawa pasukan itu telah diserap ke dalam agenda penyelidikan semula, Microsoft AI pada awal bulan September, dan tiada lagi penyusunan semula AI. Siaran itu mengejutkan: ia mendahului Berita Penggodam dengan lebih daripada 300 mata dalam masa beberapa jam, dan ia menawarkan salah satu akaun orang dalam yang paling terperinci tentang bagaimana peralihan industri daripada penyelidikan kepada penskalaan dimainkan di dalam makmal utama. Kami sedang menjejaki kesan dalam [liputan berita perniagaan AI] kami(https://aibuzzwire.news).

Apa yang AI Frontiers Bina

Langford mengesan asal usul kumpulan itu hingga beberapa bulan selepas keluaran ChatGPT, apabila dia membuat kesimpulan bahawa penyelidikan AI yang bermakna di dalam Microsoft memerlukan lebih banyak struktur daripada model tradisional MSR. "Jumlah sokongan dan tumpuan yang digunakan oleh kumpulan penyelidikan lain adalah cukup besar sehinggakan walaupun dengan idea bijak yang diusahakan oleh seseorang, ia berkemungkinan tiba lewat dan tidak meyakinkan, " tulisnya sambil menjelaskan bahawa penyelidik solo tidak dapat mengumpulkan garis dasar yang cukup kuat untuk membuktikan idea itu berbaloi untuk diteruskan.

Jadi Langford dan rakan sekerja yang berfikiran sama menganjurkan AI Frontiers sebagai sub-organisasi yang terdiri daripada kira-kira 50 orang, dengan sengaja tidak menstrukturkan dari atas ke bawah mahupun dari bawah ke atas tetapi "di suatu tempat di tengah yang tidak kemas." Output paling ketara kumpulan telah digunakan: AutoGen, rangka kerja sumber terbuka yang digunakan secara meluas oleh Microsoft untuk mengatur berbilang ejen AI, dan Fara, ejen penggunaan komputer. Dalam cerita Langford, "kebanyakan kerja AIF adalah memikirkan cara untuk membuat ejen berfungsi."

Kurang kelihatan ialah penyelidikan asas kumpulan itu. Kontinjen New York mengejar apa yang disifatkan Langford sebagai keupayaan teras baharu: objektif "Laten Seterusnya" yang membolehkan model diekstrapolasi, pengoptimum yang dipanggil Dion3 yang menambah baik pada Muon, dan "Pengubah Lebar Jalur Penuh" yang direka untuk menjadikan model lebih berkuasa melalui pengulangan.

Kumpulan itu juga cuba berkongsi infrastruktur dengan seluruh Microsoft Research, mengekalkan monorepo terbuka kepada semua penyelidik MSR. Repositori itu termasuk pangkalan kod pralatihan berskala tepi Langford yang dibentangkan pada persidangan COLM bulan lepas — perincian yang dia panggil kecil, tetapi satu yang dia gunakan untuk menggariskan betapa banyak usaha yang diperlukan oleh saluran paip latihan model yang berfungsi untuk membina, dengan menyatakan tiga pasukan dalaman lain mencuba perkara yang sama tanpa asas yang dikongsi.

Reorg September

Pada awal September, Microsoft melipat AI Frontiers menjadi Microsoft AI, bahagian produk yang lebih besar yang menempatkan usaha AI pengguna dan perusahaan syarikat. Di atas kertas, Langford mengakui, langkah itu masuk akal: menggabungkan dua organisasi AI menumpukan usaha, dan masing-masing mempunyai kekuatan yang tidak dimiliki oleh yang lain.

Dalam amalan, dia menulis, penggabungan itu diasaskan pada falsafah. "Falsafah teras di sana ialah penskalaan, dan secara agresif bukan penyelidikan," kata Langford mengenai kepimpinan bekas Infleksi Microsoft AI - merujuk kepada pasukan yang menyertai Microsoft dari permulaan Inflection AI, yang kini membentuk hala tuju bahagian di bawah kepimpinannya. Pembingkaiannya tentang ekonomi yang terhasil adalah tumpul: model yang lebih besar menghasilkan ramalan yang lebih baik, dan "skala pengembalian jauh lebih boleh diramalkan daripada pulangan kepada penyelidikan," jadi organisasi yang mengutamakan skala menumpukan pada memperoleh dan memperhalusi data dan bukannya kaedah baharu.

Tumpuan itu, dia berpendapat, adalah "agak selangkah lagi" daripada kerja asas AI Frontiers lakukan — dan di sebalik ketidakpadanan falsafah, dia berkata sambutan itu adalah paling suam-suam kuku. "Terdapat banyak bukti bahawa mereka tidak benar-benar mahukan kami, " tulis Langford, memanggil situasi itu "sesuatu yang sukar untuk anda hadapi." Dia tidak melepaskan pandangannya sendiri tentang pertukaran itu, menyifatkan pendekatan penskalaan sahaja sebagai salah arah, walaupun hujah penuh melangkaui perkara yang dia nyatakan secara eksplisit dalam siaran itu.

Penyelidikan lwn. Penskalaan, Melangkaui Microsoft

Esei itu tiba di tengah-tengah perdebatan industri yang lebih luas tentang sama ada makmal sempadan boleh mengekalkan organisasi penyelidikan tulen bersama garis masa produk. Microsoft tidak bersendirian dalam menyatukan penyelidikan AI di bawah kepimpinan tertumpu produk, tetapi akaun Langford adalah luar biasa khusus tentang mekanik: kumpulan kecil yang produktif tidak diberi mandat mahupun sambutan selepas penyusunan semula korporat, dengan sumbangan infrastrukturnya diserap secara senyap.

Perbincangan mengenai Berita Hacker, di mana siaran itu menarik beratus-ratus komen, sebahagian besarnya tertumpu pada ketegangan itu - sama ada autopsi seperti ini menggambarkan kematangan penyelidikan AI korporat yang tidak dapat dielakkan, atau ralat strategik di mana makmal memperdagangkan kelebihan metodologi yang tahan lama untuk keuntungan skala yang boleh diramalkan. Pengulas juga menyatakan ironi bahawa AutoGen, salah satu projek tandatangan AI Frontiers, membantu mentakrifkan kategori orkestra ejen yang kini mendominasi peta jalan AI perusahaan.

Untuk Microsoft, episod itu adalah nota kaki reputasi dengan implikasi praktikal. Syarikat itu telah mempertaruhkan strategi AInya pada irama perkapalan Microsoft AI, dan Langford tidak mendakwa organisasi yang digabungkan akan membina produk yang lebih teruk. Kebimbangannya lebih sempit dan lebih jelas: bahawa saluran paip untuk idea baharu — rakyat, infrastruktur, toleransi terhadap pendekatan yang tidak terbukti — adalah perkara yang paling kurang digunakan oleh bahagian skala pertama, sehingga hari ia memerlukannya.

Baik siaran Langford mahupun penyusunan semula yang diterangkannya tidak mengubah perkara yang dilihat pengguna hari ini, tetapi mereka menjelaskan cara Microsoft kini menyusun pertaruhan AInya. Penyelidikan yang boleh dijadikan skala adalah dalam; penyelidikan yang mungkin mengubah maksud skala adalah, paling baik, dalam percubaan. Seperti yang dinyatakan Langford dalam tajuk siaran, ini adalah penghujung AI Frontiers — dan titik data dalam hujah tentang tujuan penyelidikan AI korporat.

Kekal Mendahului AI

Perniagaan AI sedang ditulis semula dalam masa nyata, dan keputusan yang dibuat di dalam makmal seperti Microsoft membentuk alatan yang diwarisi oleh orang lain. Ikuti setiap perkembangan dalam [liputan berita AI] kami(https://aibuzzwire.news).

Baca lebih banyak berita AI →