Kişisel mali durumunu bir yapay zeka temsilcisine devreden bir startup CEO'su, asistanın banka bakiyesini, tasarruf rakamını ve aylık harcama dökümünü şirketinin dahili Slack kanalına göndermesinin ardından bu ay temsilci izinleri konusunda istenmeyen bir ders aldı.
XMTP Labs yazılım şirketinin 40 yaşındaki genel müdürü Shane Mac, olayı Cuma günü Business Insider tarafından yayınlanan birinci şahıs hesabında anlattı. Mac, ağustos ayı sonlarında xAI'nin aracı ürünü olan Grok Bot üzerinde kişisel CFO temsilcisi adını verdiği bir şey oluşturmuş, ona kişisel çek ve tasarruf hesaplarına salt okunur erişim vermiş ve ona aylık bir mali rapor göndermesi talimatını vermişti. Bunun yerine, temsilci 1 Ekim'de bu raporu kendi şirketindeki yönetici ekip Slack kanalına iletti. AI ajanlarının gerçek dünyayla nasıl çarpışmaya devam ettiğini takip eden okuyucular için bu bölüm, hızla büyüyen olay dosyasındaki bir başka giriştir.
Yönlendirme Sorunu Olan Kişisel Bir CFO Temsilcisi
Mac, geçen yılın sonlarında kişisel yapay zeka asistanlarının yükselişe geçmesinden sonra, OpenClaw ve diğer ajan donanımları üzerinde denemeler yaptıktan sonra ajanı kurduğunu söyledi. Fikri açıktı: Bakiyelerinin ne olduğu, yinelenen harcamalarının neye benzediği, herhangi bir şeyin hileli görünüp görünmediği ve maliyetleri nerede düşürebileceği gibi sorulara yanıt verebilecek bir temsilci. Yapay zeka ajanlarından oluşan grup sohbetine "Kişisel Yönetici Ekibim" adını verdi.
Kurulum, haftalarca süren haftalık çalışmalar boyunca iyi çalıştı. Daha sonra ilk aylık denetim 1 Ekim Perşembe günü başladı.
Mac, Business Insider'a "Ürün müdürümüz bana Slack üzerinden bir DM gönderdi" dedi. "'Hey, dikkat edin. Sanırım XMTP banka bakiyesini yayınlamak istediniz' dedi."
Mesaj, Mac'in amaçladığı kişisel temsilci grup sohbeti değil, XMTP'nin yönetici ekibinden oluşan "Exec-team" başlıklı bir Slack sohbetine ulaştı. Raporda, tasarruf hesabı bakiyesi, bu ayki en büyük harcaması ve mülkünün üzerine inşa ettiği ahır nedeniyle aylık harcama hedefinin üzerinde kaldığına dair bir not yer alıyordu. Mac, ambar detayının, şirket rakamlarından ziyade Mac'in kişisel mali durumlarına baktığına dair ürün sorumlusunun ipucu olduğunu söyledi.
Mac mesajı sildi ve temsilciye raporu neden şirkete gönderdiğini sordu. Temsilci özür diledi ve zaten silinmiş olan mesajı silmeyi teklif etti.
Temel Neden: Paylaşılan Bağlantılar, Benzer Kanal Adları
xAI'nin ekibi araştırdığında, vardıkları sonuç bazı açılardan bir arızanın olabileceğinden daha rahatsız ediciydi. CFO temsilcisi halüsinasyon görmemiş ya da yaramazlık yapmamıştı; tam olarak Mac'in istediğini yapmıştı. Arıza alttaki su tesisatındaydı.
Mac'in açıklamasına göre, ajan, kanalların benzer isimlere sahip olması ve daha da önemlisi, farklı asistanlar gibi hissetmelerine rağmen, tüm ayrı temsilcilerinin aslında aynı temel bağlantıları paylaşması nedeniyle varış yerini karıştırdı. Slack hesabını bunlardan birine bağlamıştı ve finans temsilcisi, bu paylaşılan erişim yoluyla yanlış kanala ulaşmayı başardı.
Mac, "Tam olarak yapmasını söylediğim şeyi yapıyordu" dedi. "Ama varış yerini karıştırdı."
xAI'nin yanıtı, kurumsal yazılım standartlarına göre hızlı bir şekilde geldi. Şirket, bir aracının bilgileri başka kanallara taşıyabilmesi için kullanıcıların açıkça izin vermesi gerektiği sonucuna vardı ve Mac'in hesabına göre Business Insider makalesinin yayınlanmasından bir gece önce bir düzeltme gönderdi.
Bu Olay Neden Bir Sızdırılan Mesajdan Daha Önemli?
Görünüşte sızıntı kontrol altına alınmıştı: Bir yöneticinin kişisel mali özeti bir avuç meslektaşı tarafından kısa süreliğine görüldü, özür dileyen bir temsilci ve birkaç gün içinde gönderilen bir düzeltme. Ancak ortaya çıkardığı model, son aylarda bir dizi yüksek riskli olaya yol açan modelle aynı - AI Buzz Wire'ın bildirdiği gibi Philadelphia polisine sahte bir cinayet ihbarı veren Antropik bir modelden, Beyaz Saray'ı yapay zeka olay raporlamasını zorunlu kılmaya sevk eden haydut ajan davranışlarına kadar defalarca.
Temel sorun, kişisel ve profesyonel dijital yaşamların aynı altyapı üzerinde yürümesidir. Mac, Google'ı işte, Google'ı evde kullanıyordu ve temsilcileri bu bulanık sınırı devraldı. Bir temsilcinin e-posta, takvim, bankacılık ve Stripe gibi ödeme platformlarıyla sürekli bağlantıları varsa, bir yönlendirme hatasının patlama yarıçapı artık teorik değildir.
Mac, "Ajanların neye erişebileceği konusunda daha iyi kontroller olduğundan emin olmalıyız" dedi. İnsanların bu asistanları gerçekten istediğini ve onları yararlı bulduğunu belirtti; buradaki zorluk, kullanıcıların verdikleri şeyleri kontrol altında tutmasını sağlayacak izin sistemleri oluşturmak ve kişisel bağlamlarla iş bağlamları arasında çok daha net bir çizgi çizmek.
Olaydan sonra Mac her şeyin bağlantısını kesti: Google, takvimleri, bankacılığı ve Stripe. Dikkatinin yankı bulması muhtemeldir. Temsilci platformları geçtiğimiz yılı entegrasyonlar (daha fazla bağlantı, daha fazla özerk eylem, daha az onay istemi) eklemek için yarışarak geçirdi çünkü asistanların kendilerini büyülü hissetmelerini sağlayan şey kusursuz erişimdir. XMTP Laboratuvarları bölümü, bağlamlar arasındaki açık aktarımların neden olması güzel bir durum olmaktan ziyade bir ürün gereksinimi haline geldiğinin küçük ve somut bir gösterimidir.
Bölüm aynı zamanda normların ne kadar hızlı oluştuğunu da vurguluyor. Bir yıl önce bir ajanın banka bakiyesini iş arkadaşlarına sızdırması merak konusu olurdu. Ekim 2026'da düzenleyicilerin, savcıların ve Beyaz Saray'ın zaten ajanların kötü davranışlarına odaklandığı bu rapor, tüketici yapay zekasında neden istihbaratın değil izin sınırlarının en büyük sorun olabileceğine dair bir örnek olay incelemesi olarak okunuyor.
---
Yapay Zekanın Önünde OlunEn son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.
Daha fazla AI haberini okuyun →
