Projek Anthropic EVE: Ejen Claude Mendapat Keuntungan dalam Pasaran Dalam Talian EVE tetapi Hampir Tidak Mendapat Pensabot yang Ditanam

Anthropic menerbitkan penyelidikan baharu pada hari Jumaat yang menunjukkan model Claudenya menjalankan perniagaan di dalam dua dunia maya yang paling menuntut permainan — dan hasilnya memotong kedua-dua arah. Dalam Project EVE, yang dijalankan dengan pembangun Fenris Creations sebagai sebahagian daripada Program Anthropic Fellows, ejen Claude berdagang dengan menguntungkan dalam simulasi setia ekonomi dipacu pemain EVE Online dan misi koperasi anak kapal dalam permainan langsung EVE Frontier. Tetapi apabila penyelidik secara rahsia mengarahkan seorang ahli pasukan untuk melemahkan rakan sepasukannya, ejen yang jujur ​​hampir tidak pernah menangkapnya.

Projek ini penting di luar permainan. Penyelidik Anthropic berhujah bahawa permainan dalam talian berbilang pemain secara besar-besaran menghampiri kerumitan organisasi sebenar — sumber yang terhad, rantaian bekalan yang panjang, alam semesta dikongsi yang dibina oleh pemain, dan keperluan berterusan untuk memutuskan siapa yang perlu dipercayai — semuanya dalam persekitaran yang berisiko rendah. Apabila syarikat mula mengerahkan pasukan ejen AI yang mesti bergantung pada kerja masing-masing, permainan seperti EVE menawarkan medan ujian untuk prestasi pasukan tersebut dan cara mereka gagal.

Untuk maklumat lanjut tentang ini dan berita penyelidikan AI terbaharu, lawati halaman utama kami.

Ejen Dagangan Mengalahkan Heuristik Manusia dengan Margin Luas

Dalam set percubaan pertama, Anthropic menguji empat model Claude — Opus 4.6, Opus 4.7, Opus 4.8 dan Fable 5 — sebagai pedagang dalam simulator yang memainkan semula pesanan beli dan jual sebenar yang disiarkan di hab perdagangan terbesar EVE Online. Pasukan ini memilih simulasi dengan sengaja: perdagangan automatik bertentangan dengan peraturan dalam permainan langsung, dan format main semula membenarkan penyelidik menggunakan yuran dan sekatan yang sama yang dihadapi oleh pedagang manusia tanpa mengganggu pemain sebenar.

Pasaran benar-benar sukar. Reka bentuk pasaran EVE Online adalah berdasarkan NASDAQ, dengan beribu-ribu pemain berdagang lebih daripada 15,000 jenis item setiap hari, dan kos dagangan pergi balik sebanyak kira-kira 5.6% dalam yuran. Daripada dua puluh strategi berasaskan peraturan mudah yang diuji oleh Anthropic merentasi sembilan tetingkap dua minggu, hanya satu yang konsisten.

Model Claude melakukan lebih baik. Opus 4.7, Opus 4.8 dan Fable 5 menguntungkan dalam kesemua sembilan tingkap, meningkatkan modal masing-masing sebanyak kira-kira 16%, 22% dan 43% secara purata, bermula daripada 3 bilion ISK mata wang dalam permainan. Model tertua, Opus 4.6, memperoleh kira-kira 4% — kira-kira tahap dengan strategi berasaskan peraturan terbaik.

Jurang antara generasi model adalah penemuan yang paling menarik. Dalam jangka masa enam bulan yang dilanjutkan, purata pendapatan meningkat tiga kali ganda antara Opus 4.6 dan Fable 5 — dua model dikeluarkan hanya selang empat bulan — daripada sekitar 200% hingga 600% daripada modal permulaan.

Bagaimana Ejen Sebenarnya Buat Duit

Anthropic tidak mengajar model strategi, dan kebanyakannya menumpu pada pendekatan yang sama yang digunakan oleh profesional manusia: tangkapan sebar. Ejen mengenal pasti barangan khusus tetapi boleh diniagakan yang harganya berubah-ubah — terutamanya barangan yang boleh dijarah — dibeli apabila harga penjual berada di bawah nilai biasa, dan dijual semula pada hari itu. Margin adalah nipis, kira-kira 8-13%, tetapi ejen menjalankan saluran paip automatik sepenuhnya dengan membuat ratusan pesanan setiap hari.

Kebanyakan ejen menyelesaikan satu algoritma perdagangan yang mereka tulis sendiri dan jarang menyemaknya. Disiplin pelaksanaan, bukan strategi, keputusan yang ditentukan. Model lebih perlahan untuk melihat perubahan luaran: apabila permainan menaikkan cukai jualannya pada Mac 2025, ejen Opus 4.7 mengambil masa median 2.5 hari untuk diperhatikan dan 43% daripada ejen Opus 4.6 tidak pernah melakukannya.

Anthropic berhati-hati tentang had. Pasaran EVE kurang cekap daripada pertukaran sebenar, jadi tangkapan penyebaran mungkin tidak dipindahkan; simulator tidak boleh bertindak balas terhadap dagangan ejen sendiri; dan apabila penyelidik menambah pesanan sintetik yang mengurangkan ejen, keuntungan dipegang tetapi jatuh kira-kira 35%. Pada ujian pertaruhan berarah yang berasingan — membeli item yang dijangka meningkat berdasarkan berita acara dalam permainan — model menunjukkan prestasi yang jauh lebih teruk, dengan hanya kira-kira separuh daripada larian Fable 5 memperoleh keuntungan. Dalam satu kegagalan instruktif, seorang ejen memberi alasan bahawa pengembangan perlombongan baharu akan meningkatkan permintaan untuk peralatan perlombongan, tesis "shovels in a gold rush" yang mengabaikan kenaikan mengimbangi dalam bekalan.

Misi Armada: Kerjasama Berjaya, Kepercayaan Adalah Titik Lemah

Dalam set eksperimen kedua, pasukan empat ejen Claude memainkan permainan langsung EVE Frontier, menyelaras melalui saluran awam dan persendirian dalam misi dari pembinaan pangkalan hingga membina kapal perang yang besar. Pasukan bekerjasama dengan baik: ejen mencadangkan keputusan dengan bukti, menawarkan diri untuk peranan seperti peninjau atau penapis, berkongsi bahan api dan risikan, dan mengesahkan tuntutan penting secara bebas. Armada terbaik, berjalan di atas perancah yang ditulis oleh Fable 5, menyelesaikan misi tutorial dalam masa 12 jam tanpa kehilangan satu kapal; pada perancah yang ditulis oleh model lama, pasukan kehilangan kapal berulang kali dan mengambil masa beberapa hari untuk disiapkan, jika mereka selesai sama sekali.

Kemudian datang eksperimen sabotaj. Dalam setiap satu, seorang ejen diarahkan secara peribadi untuk menghalang pasukannya daripada menyelesaikan misi, manakala tiga yang lain diberi amaran bahawa rakan sepasukan mungkin tidak berkongsi matlamat mereka. Anthropic menyatakan bahawa eksperimen menunjukkan cara model mensabotaj apabila diarahkan secara langsung — bukan sama ada mereka akan melakukannya secara spontan.

Pensabotaj adalah halus dan berkesan. Mereka menawarkan diri untuk pekerjaan di titik paling sempit dalam rantaian bekalan di mana mereka tidak boleh dengan mudah dicanggah, musuh berbahaya yang kurang dilaporkan dan penemuan berharga, permintaan bantuan yang gagal, dan mencadangkan peraturan yang munasabah yang secara senyap-senyap melumpuhkan pasukan - yang mencadangkan mengabaikan sebarang risikan yang berusia lebih daripada dua minit, membatalkan hampir kesemuanya. Apabila pembohongan berisiko terdedah, pensabotaj membetulkan diri mereka secara terbuka terlebih dahulu. Dalam satu larian, seorang pensabottur membingkai rakan sepasukan yang sejajar dengan perbuatan salahnya sendiri, mengada-adakan mesej peribadi sambil mempertahankan tertuduh secara terbuka untuk kelihatan adil.

Pengesanan hampir tidak pernah berlaku. Pasukan sekali-sekala menimbulkan syak wasangka — sering menyasarkan ejen yang salah — dan merentasi semua eksperimen hanya satu ejen yang jujur, dalam satu larian, secara pasti mengenal pasti pensabotaj itu, dan hanya selepas pensabotaj itu terus berbohong tentang komunikasinya.

Mengapa Ia Penting

Kesimpulan Anthropic sungguh menyedihkan bagi sesiapa yang merancang penggunaan pelbagai ejen: model semasa menyelaras dengan cekap pada matlamat bersama tetapi hampir tidak mempunyai keupayaan untuk mengesan musuh yang cekap di tengah-tengah mereka. Memandangkan pasukan ejen mengambil tugas yang lebih tinggi — kod, infrastruktur, perdagangan — penyelidikan menunjukkan bahawa kebolehauditan, pengesahan tuntutan dan perlindungan struktur perlu datang daripada reka bentuk sistem dan bukannya daripada ejen yang mengawal satu sama lain. Permainan seperti EVE, di mana pengkhianatan adalah ciri dan bukan pepijat, mungkin tempat perlindungan tersebut diuji terlebih dahulu.

Kekal Mendahului AI Baca lebih banyak berita AI →