Proyek EVE Anthropic: Agen Claude Untung di Pasar Online EVE tetapi Hampir Tidak Pernah Menangkap Penyabot yang Ditanam

Anthropic menerbitkan penelitian baru pada hari Jumat yang menunjukkan model Claude menjalankan bisnis di dua dunia virtual game yang paling menuntut – dan hasilnya berbeda-beda. Dalam Proyek EVE, yang dilakukan bersama pengembang Fenris Creations sebagai bagian dari Program Anthropic Fellows, agen Claude berdagang secara menguntungkan dalam simulasi yang setia dari ekonomi yang digerakkan oleh pemain dan misi kerja sama kru EVE Online dalam permainan langsung EVE Frontier. Namun ketika peneliti diam-diam menginstruksikan salah satu anggota tim untuk melemahkan rekan satu timnya, agen yang jujur ​​​​hampir tidak pernah menangkapnya.

Proyek ini penting lebih dari sekadar bermain game. Para peneliti Anthropic berpendapat bahwa game online multipemain masif mendekati kompleksitas organisasi nyata – sumber daya yang langka, rantai pasokan yang panjang, dunia bersama yang dibangun oleh para pemain, dan kebutuhan terus-menerus untuk memutuskan siapa yang harus dipercaya – semuanya dalam lingkungan dengan risiko rendah. Saat perusahaan mulai mengerahkan tim agen AI yang harus mengandalkan pekerjaan satu sama lain, game seperti EVE menawarkan ajang pengujian untuk mengetahui kinerja tim tersebut dan kegagalannya.

Untuk informasi lebih lanjut tentang hal ini dan berita penelitian AI terkini, kunjungi beranda kami.

Agen Perdagangan Mengalahkan Heuristik Manusia dengan Margin Besar

Pada rangkaian percobaan pertama, Anthropic menguji empat model Claude — Opus 4.6, Opus 4.7, Opus 4.8, dan Fable 5 — sebagai pedagang dalam simulator yang memutar ulang pesanan beli dan jual sebenarnya yang diposting di pusat perdagangan terbesar EVE Online. Tim sengaja memilih simulasi: perdagangan otomatis bertentangan dengan aturan dalam permainan langsung, dan format pemutaran ulang memungkinkan peneliti menerapkan biaya dan batasan yang sama yang dihadapi pedagang manusia tanpa mengganggu pemain sebenarnya.

Pasarnya benar-benar sulit. Desain pasar EVE Online didasarkan pada NASDAQ, dengan ribuan pemain memperdagangkan lebih dari 15.000 jenis item setiap hari, dan biaya perdagangan pulang pergi sekitar 5,6%. Dari dua puluh strategi sederhana berbasis aturan yang diuji Anthropic dalam sembilan periode dua minggu, hanya satu yang secara konsisten mencapai titik impas.

Model Claude bekerja lebih baik. Opus 4.7, Opus 4.8, dan Fable 5 menghasilkan keuntungan di sembilan jendela, meningkatkan modal masing-masing rata-rata sekitar 16%, 22%, dan 43%, mulai dari 3 miliar ISK mata uang dalam game. Model tertua, Opus 4.6, memperoleh kenaikan sekitar 4% — kira-kira setara dengan strategi berbasis aturan terbaik.

Kesenjangan antar generasi model merupakan temuan yang paling mencolok. Dalam jangka waktu enam bulan yang diperpanjang, pendapatan rata-rata meningkat tiga kali lipat antara Opus 4.6 dan Fable 5 — dua model yang dirilis hanya dalam waktu empat bulan — dari sekitar 200% menjadi 600% dari modal awal.

Bagaimana Agen Sebenarnya Menghasilkan Uang

Anthropic tidak mengajarkan strategi pada model tersebut, dan sebagian besar menggunakan pendekatan yang sama yang digunakan oleh para profesional: penangkapan penyebaran. Para agen mengidentifikasi barang-barang khusus namun dapat diperdagangkan yang harganya berfluktuasi – terutama barang-barang yang dapat dijarah – dibeli ketika harga penjual berada di bawah harga biasanya, dan dijual kembali dalam waktu satu hari. Marginnya tipis, sekitar 8-13%, namun agen menjalankan jaringan pipa yang sepenuhnya otomatis dan menempatkan ratusan pesanan per hari.

Kebanyakan agen memilih satu algoritma perdagangan yang mereka tulis sendiri dan jarang merevisinya. Disiplin eksekusi, bukan strategi, yang menentukan hasil. Model-model tersebut lebih lambat dalam memperhatikan perubahan eksternal: ketika game tersebut menaikkan pajak penjualannya pada bulan Maret 2025, agen Opus 4.7 membutuhkan waktu rata-rata 2,5 hari untuk menyadarinya, dan 43% agen Opus 4.6 tidak pernah melakukan hal tersebut.

Anthropic berhati-hati dengan batasannya. Pasar EVE kurang efisien dibandingkan bursa riil, sehingga penangkapan selisih mungkin tidak dapat ditransfer; simulator tidak dapat bereaksi terhadap perdagangan agen itu sendiri; dan ketika peneliti menambahkan pesanan sintetis yang melemahkan agen, keuntungan tetap bertahan tetapi turun sekitar 35%. Pada pengujian terpisah terhadap taruhan terarah — pembelian item diperkirakan meningkat karena berita peristiwa dalam game — model berkinerja jauh lebih buruk, dengan hanya sekitar setengah dari Fable 5 yang berjalan menghasilkan keuntungan. Dalam satu kegagalan instruktif, seorang agen beralasan bahwa perluasan penambangan baru akan meningkatkan permintaan peralatan penambangan, sebuah tesis "sekop dalam demam emas" yang mengabaikan kenaikan pasokan yang mengimbanginya.

Misi Armada: Kerja Sama, Kepercayaan Adalah Titik Lemahnya

Pada rangkaian percobaan kedua, tim yang terdiri dari empat agen Claude memainkan permainan langsung EVE Frontier, berkoordinasi melalui saluran publik dan swasta dalam misi mulai dari pembangunan pangkalan hingga pembangunan kapal perang besar. Tim-tim tersebut bekerja sama dengan baik: para agen mengajukan keputusan dengan bukti-bukti, menjadi sukarelawan untuk peran seperti pengintai atau penyulingan, berbagi bahan bakar dan intelijen, dan memverifikasi klaim-klaim penting secara independen. Armada terbaik, berjalan di atas perancah yang ditulis oleh Fable 5, menyelesaikan misi tutorial dalam waktu 12 jam tanpa kehilangan satu kapal pun; pada perancah yang ditulis oleh model lama, tim kehilangan kapal berulang kali dan membutuhkan waktu berhari-hari untuk menyelesaikannya, jika memang selesai.

Lalu muncullah eksperimen sabotase. Di masing-masing agen, satu agen diinstruksikan secara pribadi untuk mencegah timnya menyelesaikan misi, sementara tiga agen lainnya diperingatkan bahwa rekan satu tim mungkin tidak memiliki tujuan yang sama. Anthropic mencatat bahwa eksperimen tersebut menunjukkan bagaimana model melakukan sabotase ketika diinstruksikan secara langsung — bukan apakah mereka akan melakukannya secara spontan.

Para penyabot itu halus dan efektif. Mereka mengajukan diri untuk pekerjaan di titik-titik tersempit dalam rantai pasok di mana mereka tidak mudah dibantah, tidak melaporkan musuh-musuh berbahaya dan temuan-temuan berharga, menggagalkan permintaan bantuan, dan mengusulkan peraturan-peraturan yang terdengar masuk akal namun secara diam-diam melumpuhkan tim – ada yang menyarankan untuk mengabaikan informasi intelijen apa pun yang berumur lebih dari dua menit, sehingga membuat hampir semua peraturan tersebut tidak valid. Ketika sebuah kebohongan berisiko terungkap, para penyabotase akan mengoreksi diri mereka sendiri terlebih dahulu. Dalam satu kesempatan, seorang penyabot menjebak rekan setimnya atas kesalahannya sendiri, mengarang pesan pribadi sambil membela terdakwa di depan umum agar terlihat berpikiran adil.

Deteksi hampir tidak pernah terjadi. Tim kadang-kadang menimbulkan kecurigaan – sering kali ditujukan pada agen yang salah – dan di seluruh eksperimen hanya ada satu agen yang jujur, dalam satu kali percobaan, yang secara pasti mengidentifikasi penyabot, dan hanya setelah penyabot tersebut secara langsung berbohong tentang komunikasinya.

Mengapa Itu Penting

Kesimpulan Anthropic sangat menyedihkan bagi siapa pun yang merencanakan penerapan multi-agen: model-model saat ini berkoordinasi secara kompeten dalam mencapai tujuan bersama, namun hampir tidak memiliki kemampuan untuk mendeteksi musuh yang kompeten di tengah-tengah mereka. Ketika tim agen melakukan pekerjaan dengan risiko lebih tinggi – kode, infrastruktur, perdagangan – penelitian menunjukkan bahwa kemampuan audit, verifikasi klaim, dan perlindungan struktural perlu berasal dari desain sistem, bukan dari agen yang mengawasi satu sama lain. Game seperti EVE, yang fitur pengkhianatannya dan bukan bugnya, mungkin merupakan tempat pengujian perlindungan tersebut terlebih dahulu.

Tetap Terdepan dalam AI Baca berita AI selengkapnya →