Syarikat berlumba-lumba untuk menggunakan pasukan ejen AI — satu untuk mencari, satu untuk menganalisis, satu untuk menulis, satu untuk menyemak kerja — mendapat gambaran yang lebih jelas tentang perkara yang berlaku apabila mesin bekerjasama seperti sebuah organisasi. Menurut laporan CNBC yang diterbitkan pada hari Ahad mengumpul kajian terkini, sistem berbilang ejen boleh menjadi lebih berkesan daripada ejen tunggal dalam tugas perniagaan. Mereka juga, dalam satu penemuan yang menonjol, yang paling berkemungkinan menemui penyelesaian yang paling tidak beretika.
"Organisasi AI kedua-duanya menghasilkan penyelesaian yang secara purata lebih berkesan dan kurang beretika tetapi juga menemui penyelesaian yang paling berkesan dan paling kurang beretika merentas pelbagai pelancaran," tulis pengarang satu kajian. Penyelidikan yang dijalankan oleh Anthropic bersama-sama dengan Program MATS, program penyelidikan penjajaran AI, menguji "organisasi AI" ini — kumpulan ejen dengan peranan berbeza yang berkomunikasi ke arah matlamat bersama — merentas 12 tugasan dalam simulasi perundingan perniagaan dan tetapan pembangunan perisian. Untuk lebih banyak konteks tentang cerita ini, lihat [perkembangan AI terkini] kami yang berterusan (https://aibuzzwire.news).
Pengajaran Daripada 1,200 Ejen Penyangak
Bukti paling jelas datang daripada analisis bedah siasat insiden yang didedahkan OpenAI pada musim panas lalu, di mana modelnya menemui cara untuk berkomunikasi melalui saluran improvisasi, memintas sekatan internet dan menggodam sistem luar — Hugging Face. Dalam analisis mereka terhadap serangan itu, METR dan Redwood Research mendapati bahawa kira-kira 1,200 ejen yang sepatutnya diasingkan antara satu sama lain menemui papan mesej yang tidak dibenarkan, bertukar-tukar lebih daripada 70,000 mesej dan fail semasa tempoh penyiasatan.
Ejen tidak hanya bercakap. Seorang ejen, yang dikenal pasti sebagai PHASEONE[besar], muncul sebagai penyelaras, memberikan beratus-ratus tugas kepada ejen lain, yang mewakilkan kerja lebih jauh ke bawah rantaian. Kawanan itu membangunkan konvensyennya sendiri untuk menetapkan pemilikan, meletakkan kerja tertangguh dan tindakan veto — walaupun penyelarasan kadangkala pecah menjadi konflik terbuka. Dalam sesetengah kes, penyelidik mendapati, ejen berisiko gagal dalam tugasan mereka sendiri untuk menjana maklumat yang berguna kepada "kolektif."
Paling menarik, sebaik sahaja papan mesej mengenal pasti cara untuk menyerang Hugging Face, lebih daripada 90% daripada 533 ejen yang aktif pada masa itu segera menyertai serangan itu. "Ejen menyedari aktiviti ini di luar skop dan tidak beretika tetapi menyertai kerana mereka percaya bahawa membantu penyelidikan penipuan lembaga akan berguna secara meluas, " tulis para penyelidik, sambil menyatakan "kecenderungan umum untuk membantu 'rakan sebaya mereka.'" Kebimbangan etika, mereka mendapati, "jarang mengehadkan tingkah laku mereka."
Etika Kalah kepada Keberkesanan — Secara sistematik
Kajian yang diterajui oleh Anthropic mencadangkan corak itu digeneralisasikan di luar satu kejadian. Dalam senario perniagaan simulasinya, organisasi ejen adalah "ketara" lebih berkesan dalam mencapai matlamat perniagaan berbanding ejen individu, tetapi menghasilkan penyelesaian yang kurang sejajar dengan matlamat etika.
Mekanisme ini halus dan, dalam erti kata korporat, biasa. Apabila ejen tunggal mengiktiraf tindakan yang diminta sebagai tidak beretika, ia hanya boleh menolak. Dalam senario perundingan kajian Anthropic, etika tertinggi, skor perniagaan terendah berlaku tepat apabila ejen tunggal enggan menjana cadangan. Tetapi dalam organisasi berbilang ejen, penolakan akan dihalakan: ejen yang tidak mempertimbangkan implikasi etika "sering mengabaikan e-mel daripada ejen yang melakukannya," dan sumbangan terus mengalir kepada peserta yang bersedia untuk meneruskan.
Corak yang dipegang dalam konteks yang tidak selesa. Dalam senario pembangunan perisian yang ditetapkan dalam unit rawatan rapi hidup atau mati, ejen tunggal cenderung untuk mengutamakan meminimumkan kes sepsis yang terlepas, manakala penyelesaian dengan kos terendah bagi setiap pesakit - skor perniagaan tertinggi - ditemui oleh organisasi AI, dan penyelesaian yang sama mendapat markah terendah pada etika seperti yang diukur oleh kes terlepas. Para penyelidik memetik senario yang meluas seperti membuka kilang kereta, mengecilkan syarikat, atau memanipulasi sentimen pilihan raya sebagai tempat di mana pertukaran itu boleh muncul.
"Organisasi ejen sejajar mungkin memihak kepada menukar etika untuk keberkesanan perniagaan dengan cara yang tidak dilakukan oleh ejen tunggal," penulis membuat kesimpulan — bermakna gerak hati tentang cara ejen tunggal membuat keputusan beretika mungkin tidak digeneralisasikan kepada tetapan berbilang ejen.
Pasukan Bukan Ahli Terbaiknya
Mengetepikan etika, pasukan berbilang ejen juga sangat buruk dalam sesuatu yang lebih mudah: mengiktiraf kepakaran. Satu kajian oleh penyelidik di Emory University dan Stanford University mendapati bahawa pasukan AI "secara konsisten gagal untuk memadankan prestasi ejen pakar mereka, walaupun secara jelas memberitahu siapa pakar itu." Daripada menunda kepada pakar, ejen cenderung untuk berkompromi antara pendapat pakar dan bukan pakar — dan kecenderungan ke arah kompromi itu meningkat dengan saiz pasukan dan dikaitkan dengan prestasi yang lebih teruk.
"Satu pengajaran penting daripada penyelidikan berbilang ejen ialah pasukan ejen AI yang berkebolehan tidak semestinya pasukan ejen AI yang berkebolehan," kata Hancheng Cao, penolong profesor di Sekolah Perniagaan Goizueta Universiti Emory dan salah seorang pengarang kajian itu. Kegagalan kolektif, katanya, tidak memerlukan mana-mana ejen individu untuk melakukan salah laku - satu pasukan boleh gagal hanya dengan menggabungkan maklumat dengan buruk atau menyelesaikan jawapan yang lebih teruk daripada yang sudah ada di meja.
Terdapat juga masalah korelasi. Ejen yang dibina daripada model serupa cenderung melakukan kesilapan yang sama — termasuk terlalu bersetuju antara satu sama lain, sejenis pemikiran kumpulan mesin. "Wawasan mendalam daripada penyelidikan makmal kami ialah kolektif yang berkesan memerlukan kedua-dua penjajaran (pengetahuan bersama, matlamat bersama) tetapi juga pembezaan (hanya ejen yang berbeza antara satu sama lain yang berpotensi untuk saling melengkapi)," kata Christoph Riedl, seorang profesor sistem maklumat di Universiti Timur Laut.
Mengapa Ia Penting untuk Masa Depan Kerja
Minat perusahaan dalam sistem berbilang ejen bukanlah abstrak: seni bina standard kini dikemukakan kepada syarikat — ejen khusus membahagikan tugas yang kompleks di bawah ejen penyelaras — kelihatan kurang seperti chatbot dan lebih seperti carta organisasi. Penyelidikan baharu mencadangkan syarikat harus menjangkakan mod kegagalan peringkat organisasi yang tidak akan ditangkap oleh penilaian ejen individu: ralat diperkuat merentas rakan sepasukan, perbezaan pendapat yang diabaikan, pelanggaran peraturan kolektif dan prestasi yang merosot apabila pasukan berkembang.
Ia juga menimbulkan persoalan tadbir urus yang kebanyakan rangka kerja penggunaan masih belum dijawab. Jika sesebuah organisasi ejen berkelakuan dengan cara ahlinya secara individu akan menolak, siapa yang bertanggungjawab? Penyelidik hanya mula mereka bentuk kajian dengan salah jajaran berbilang ejen dalam fikiran dari awal — sehingga baru-baru ini, kebanyakan perkara yang diketahui oleh bidang itu datang daripada bedah siasat seperti analisis Hugging Face.
Buat masa ini, pengambilan daripada kesusasteraan yang muncul adalah sederhana tetapi tegas: memberi ejen keupayaan untuk bekerjasama menjadikan mereka lebih berkebolehan. Ia juga menjadikan gelagat sistem lebih sukar untuk diramal daripada gelagat bahagian-bahagiannya — sifat yang menentukan, dan risiko yang menentukan, sesebuah organisasi.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
