Agen AI Kini Menyelesaikan 16 Persen Pekerjaan Freelance dengan Kualitas Profesional, Temuan Benchmark

Agen AI kini dapat menyelesaikan 16 persen pekerjaan lepas pada tingkat kualitas yang dapat diterima oleh klien yang membayar, menurut hasil terbaru dari Remote Labor Index – lebih dari empat kali lipat dibandingkan delapan bulan lalu. Temuan ini memberikan salah satu ukuran paling konkrit mengenai seberapa cepat sistem AI otonom mengganggu pekerjaan kreatif dan teknis profesional.

Remote Labor Index (RLI), yang dikembangkan oleh Center for AI Safety bekerja sama dengan Scale Labs, melacak seberapa sering agen AI dapat menyelesaikan proyek lepas yang bernilai komersial dengan kualitas profesional. Tolok ukurnya mencakup bidang-bidang termasuk desain 3D dan CAD, arsitektur, desain grafis, video dan animasi, produksi audio, analisis data, dan pengembangan aplikasi web. Ini mengevaluasi 240 proyek senilai gabungan $144.000, yang bersumber dari 358 pekerja lepas terverifikasi. Evaluator manusia menilai setiap hasil berdasarkan standar terbaik yang dibuat oleh profesional berbayar, sehingga memberikan gambaran empiris tentang kemampuan industri AI yang terus berkembang.

Angka: Sebuah Perbatasan yang Lebih dari Empat Kali Lipat

Saat benchmark pertama kali diluncurkan, agen AI terbaik hanya mengotomatiskan 2,5 persen proyek. Menurut hasil terbaru, model Fable 5 Anthropic kini mencapai 16,1 persen — skor tertinggi yang pernah tercatat dalam indeks. Angka tersebut kira-kira dua kali lipat dari Opus 4.8 yang sebesar 8,3 persen dan jauh di atas GPT-5.5 yang sebesar 6,3 persen.

Ketiga model frontier mengalahkan setiap sistem yang diuji sebelumnya. Pemimpin sebelumnya, Opus 4.6 yang menggunakan kerangka Claude Cowork, meraih 4,17 persen. Batasan kemampuan otomasi telah meningkat lebih dari empat kali lipat dalam waktu kurang dari delapan bulan, menurut penulis benchmark.

Namun, hasilnya tidak sejalan dengan tanggal rilis. Pada papan peringkat Scale Labs, Gemini 3 Pro yang lebih baru berada di dekat bagian bawah dengan hanya 1,25 persen, tertinggal di belakang sistem yang jauh lebih tua. Hal ini menunjukkan bahwa kemampuan model mentah tidak secara otomatis diterjemahkan ke dalam jenis penggunaan alat dan keterampilan penalaran yang diperlukan untuk tugas-tugas profesional yang kompleks.

Cara Kerja Tolok Ukur

Agar model dapat menunjukkan kemampuan penuhnya, tim menjalankannya dalam alat pengembangan yang sama yang digunakan para insinyur sehari-hari, termasuk Claude Code dan Codex CLI. Lingkungan ini diperluas dengan kemampuan untuk mengoperasikan program grafis secara langsung.

Setiap agen AI bekerja dalam mesin Linux virtual yang dilengkapi dengan lebih dari 30 aplikasi profesional, termasuk Blender untuk pemodelan 3D, GIMP untuk pengeditan gambar, dan Audacity untuk produksi audio. Proyek diberikan waktu komputasi hingga 24 jam — jauh lebih lama dibandingkan interaksi chatbot pada umumnya.

Penyiapannya juga menggunakan lingkaran kritik: agen AI kedua meninjau keluaran sama pentingnya dengan klien yang menuntut, dan agen pertama kemudian merevisi pekerjaannya berdasarkan masukan tersebut. Hal ini mencerminkan proses berulang yang diikuti oleh pekerja lepas saat menyempurnakan hasil kerja.

Saat AI Masih Gagal

Meskipun ada kemajuan pesat, agen AI masih gagal mencapai kualitas profesional di sebagian besar proyek. Posting blog benchmark menyoroti contoh-contoh spesifik di mana bahkan keluaran model teratas pun tidak akan dianggap sebagai pekerjaan yang sudah selesai.

Pada tugas desain cincin, Fable 5 memberikan hasil yang jelas lebih baik daripada upaya AI sebelumnya, namun tetap terlihat tidak profesional jika diperiksa lebih dekat. Pada proyek arsitektur, GPT-5.5 memalsukan render yang menarik menggunakan generator gambar, sementara model 3D sebenarnya yang mendasarinya masih memiliki kelemahan — sebuah pintasan yang hanya akan ditemukan oleh klien berbayar dengan membuka file sumber.

Salah satu tugas yang lebih kompleks dalam benchmark meminta agen untuk membuat denah lantai berdimensi, opsi tata letak furnitur, dan tampilan kamar mandi fotorealistik dari denah kadaster yang dipindai, foto lokasi, dan pengukuran. Alur kerja multi-langkah ini, yang memerlukan ketelitian teknis dan penilaian kreatif, tetap menjadi tantangan besar bagi sistem saat ini.

Juri AI Menilai Terlalu Murah Hati

Tim peneliti juga menguji apakah evaluasi manusia yang mahal dapat digantikan oleh juri AI. Jawabannya pasti: evaluator AI menilai model-model baru ini terlalu berlebihan. Untuk GPT-5.5, skor juri AI hampir tiga kali lebih tinggi. Untuk Opus 4.8, harganya kira-kira dua setengah kali terlalu tinggi.

Meskipun juri otomatis berhasil menyusun urutan peringkat secara keseluruhan dengan benar, jumlah sebenarnya meningkat secara signifikan. Center for AI Safety menjelaskan alasannya: untuk menilai pekerjaan yang diserahkan secara adil, evaluator harus membuka file dalam perangkat lunak profesional yang benar, mengoperasikan perangkat lunak tersebut dengan benar, dan membuat penilaian seperti yang dilakukan klien yang membayar. Penggunaan perangkat lunak langsung seperti itulah yang paling banyak dihadapi oleh agen AI saat ini.

Ironisnya, seorang hakim AI menghadapi keterbatasan yang sama dengan pekerja AI yang seharusnya dievaluasi. Render palsu GPT-5.5 adalah salah satu contohnya — untuk menangkap penipuan tersebut diperlukan pembukaan model 3D dan pemeriksaan geometri sebenarnya, sebuah tugas yang tidak dapat dilakukan oleh juri AI dengan andal.

Peringatan: Pembatasan Pemerintah

Satu peringatan penting berlaku untuk skor terdepan Fable 5. Hanya 218 dari 240 proyek yang dapat dievaluasi sebelum pemerintah Amerika Serikat membatasi akses terhadap model tersebut. Bahkan dalam skenario terburuk, ketika Fable 5 gagal dalam setiap proyek yang tersisa, tingkat otomatisasinya masih sebesar 14,6 persen — lebih tinggi dibandingkan model lain yang diuji.

Pembatasan yang dilakukan pemerintah, terkait dengan kekhawatiran keamanan nasional terhadap model kelas Mythos, membatasi ruang evaluasi namun tidak melemahkan temuan mendasar: Agen AI dengan cepat mendekati titik di mana mereka dapat menangani sebagian besar pekerjaan lepas profesional.

Bagi pekerja lepas, tren ini serius namun belum menjadi bencana besar. AI masih gagal pada 84 persen proyek, dan contoh tolok ukur menunjukkan bahwa hasil yang sukses pun sering kali memerlukan revisi profesional. Namun dengan tingkat otomatisasi yang meningkat lebih dari empat kali lipat dalam waktu kurang dari setahun, perkembangannya sudah jelas. Pertanyaannya bukan lagi apakah agen AI akan bersaing untuk mendapatkan pekerjaan lepas, namun seberapa cepat mereka akan menutup kesenjangan yang ada.

Tetap Terdepan dalam AI

Dapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.

Baca berita AI selengkapnya →