Seorang CEO startup yang menyerahkan keuangan pribadinya kepada agen AI mendapat pelajaran yang tidak diinginkan tentang izin agen bulan ini, setelah asisten tersebut memposting saldo bank, jumlah tabungan, dan rincian pengeluaran bulanannya ke saluran internal Slack perusahaannya.
Shane Mac, kepala eksekutif perusahaan perangkat lunak XMTP Labs yang berusia 40 tahun, menggambarkan kejadian tersebut dalam akun orang pertama yang diterbitkan oleh Business Insider pada hari Jumat. Mac telah membangun apa yang disebutnya sebagai agen CFO pribadi di Grok Bot, produk agen xAI, pada akhir Agustus, memberikannya akses hanya baca ke rekening giro dan tabungan pribadinya dan menginstruksikannya untuk mengirimkan laporan keuangan bulanan kepadanya. Sebaliknya, pada tanggal 1 Oktober, agen tersebut mengirimkan laporan tersebut ke saluran tim eksekutif Slack di perusahaannya sendiri. Bagi pembaca yang melacak bagaimana agen AI terus bertabrakan dengan dunia nyata, episode ini adalah entri lain dalam file insiden yang berkembang pesat.
Agen CFO Pribadi Dengan Masalah Perutean
Mac mengatakan dia mendirikan agen tersebut setelah gelombang asisten AI pribadi diluncurkan akhir tahun lalu, ketika dia bereksperimen dengan OpenClaw dan memanfaatkan agen lainnya. Idenya sangat jelas: seorang agen yang dapat menjawab pertanyaan seperti berapa saldonya, seperti apa pengeluaran rutinnya, apakah ada sesuatu yang tampak curang, dan di mana dia dapat memangkas biaya. Dia menamai obrolan grup agen AI-nya dengan "Tim Eksekutif Pribadi Saya".
Penyiapannya bekerja dengan baik selama berminggu-minggu menjalankan mingguan. Kemudian audit bulanan pertama dimulai pada hari Kamis, 1 Oktober.
"Kepala produk kami mengirimi saya DM di Slack," kata Mac kepada Business Insider. "Dia berkata, 'Hei, waspada. Saya pikir Anda bermaksud mengirimkan saldo bank XMTP.'"
Pesan tersebut masuk ke obrolan Slack berjudul "Tim Exec", yang terdiri dari tim eksekutif XMTP — bukan obrolan grup agen pribadi yang dimaksudkan Mac. Laporan tersebut mencakup saldo rekening tabungannya, pengeluaran terbesarnya bulan ini, dan catatan bahwa ia melebihi target pengeluaran bulanannya karena sebuah gudang yang ia bangun di propertinya. Detail gudang, kata Mac, adalah hal yang memberi tahu kepala produknya bahwa dia melihat keuangan pribadi Mac dan bukan angka perusahaan.
Mac menghapus pesan tersebut dan bertanya kepada agen mengapa mereka mengirimkan laporan tersebut ke perusahaan. Agen tersebut meminta maaf dan menawarkan untuk menghapus pesan tersebut – yang sudah hilang.
Akar Penyebab: Koneksi Bersama, Nama Saluran Serupa
Ketika tim xAI menyelidikinya, kesimpulan mereka dalam beberapa hal lebih meresahkan daripada kegagalan fungsi. Agen CFO tidak berhalusinasi atau berperilaku buruk; itu telah melakukan persis seperti yang diminta Mac. Kerusakan terjadi pada pipa di bawahnya.
Menurut akun Mac, agen tersebut bingung dengan tujuannya karena saluran tersebut memiliki nama yang mirip, dan — yang lebih penting — karena semua agennya yang terpisah sebenarnya berbagi koneksi dasar yang sama, meskipun mereka merasa seperti asisten yang berbeda. Dia telah menghubungkan akun Slack-nya ke salah satu akun tersebut, dan agen keuangan tersebut akhirnya dapat menjangkau saluran yang salah melalui akses bersama tersebut.
"Ia melakukan persis seperti yang saya perintahkan," kata Mac. "Tapi itu membingungkan tujuannya."
Respons xAI datang dengan cepat menurut standar perangkat lunak perusahaan. Perusahaan menyimpulkan bahwa pengguna harus secara eksplisit memberikan izin sebelum agen dapat memindahkan informasi ke saluran lain, dan mengirimkan perbaikan pada malam sebelum artikel Business Insider diterbitkan, menurut akun Mac.
Mengapa Insiden Ini Penting Lebih dari Satu Pesan yang Bocor
Kebocoran tersebut sekilas berisi: ringkasan keuangan pribadi seorang eksekutif yang dilihat sekilas oleh segelintir rekannya, satu agen yang meminta maaf, satu perbaikan dikirimkan dalam beberapa hari. Namun pola yang terungkap adalah pola yang sama yang telah menghasilkan serangkaian insiden berisiko tinggi selama beberapa bulan terakhir — seperti yang berulang kali dilaporkan oleh AI Buzz Wire, dari model Anthropic yang mengajukan tip pembunuhan palsu ke polisi Philadelphia hingga perilaku agen nakal yang mendorong Gedung Putih untuk mewajibkan pelaporan insiden AI.
Permasalahan utamanya adalah kehidupan digital pribadi dan profesional berjalan pada infrastruktur yang sama. Mac menggunakan Google di tempat kerja dan Google di rumah, dan agennya mewarisi batasan yang tidak jelas tersebut. Ketika agen memiliki koneksi tetap ke email, kalender, perbankan, dan platform pembayaran seperti Stripe, radius ledakan kesalahan perutean tidak lagi bersifat teoretis.
“Kami harus memastikan ada kontrol yang lebih baik terhadap apa yang dapat diakses oleh agen,” kata Mac. Dia mencatat bahwa masyarakat benar-benar menginginkan asisten ini dan menganggapnya berguna — tantangannya adalah membangun sistem izin yang membuat pengguna tetap mengontrol apa yang telah mereka berikan, dan menarik garis yang lebih jelas antara konteks pribadi dan pekerjaan.
Setelah kejadian itu, Mac memutus segalanya: Google, kalendernya, perbankannya, Stripe. Kehati-hatiannya mungkin akan bergema. Platform agen telah menghabiskan satu tahun terakhir berlomba untuk menambahkan integrasi — lebih banyak koneksi, tindakan yang lebih otonom, lebih sedikit permintaan konfirmasi — karena akses tanpa batas inilah yang membuat asisten terasa ajaib. Episode XMTP Labs adalah demonstrasi kecil dan konkrit tentang mengapa penyerahan eksplisit antar konteks menjadi persyaratan produk dan bukan hal yang menyenangkan untuk dimiliki.
Episode ini juga menggarisbawahi betapa cepatnya norma-norma terbentuk. Setahun yang lalu, seorang agen yang membocorkan saldo bank kepada rekan kerja pasti menimbulkan rasa ingin tahu. Pada bulan Oktober 2026, ketika regulator, jaksa, dan Gedung Putih sudah berfokus pada perilaku buruk agen, hal ini dapat menjadi studi kasus mengapa batasan izin – bukan intelijen – mungkin menjadi masalah tersulit dalam AI konsumen.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
