Model bahasa kecerdasan buatan sangat rentan terhadap perubahan halus dalam cara menyajikan pilihan, dan merespons dorongan yang menyesatkan jauh lebih kuat daripada manusia, menurut sebuah studi baru yang diterbitkan dalam Proceedings of the National Academy of Sciences.

Temuan ini menimbulkan kekhawatiran serius mengenai penggunaan agen AI untuk pengambilan keputusan otonom dalam skenario dunia nyata, mulai dari transaksi keuangan hingga pilihan layanan kesehatan. Seperti yang dilaporkan oleh AI Buzz Wire, semakin banyak perusahaan yang memposisikan agen yang didukung LLM untuk bertindak atas nama pengguna di lingkungan yang kompleks.

Penelitian yang dipimpin oleh Manuel Cherep, seorang mahasiswa doktoral di Media Lab Institut Teknologi Massachusetts, menguji 14 model bahasa canggih dari perusahaan teknologi besar. Model yang diuji mencakup versi keluarga GPT-3.5, GPT-4, dan GPT-5 OpenAI, model Claude 3 dan 4.5 dari Anthropic, serta model Gemini 1.5 dan 2.5 dari Google.

Cara Kerja Penelitian

Para peneliti mengadaptasi permainan pengambilan keputusan multi-atribut yang awalnya dirancang untuk partisipan manusia. Permainan ini menghadirkan kotak digital yang mewakili sekeranjang hadiah tersembunyi, dengan tujuan memaksimalkan hadiah akhir dengan memilih keranjang dengan nilai poin tertinggi. Setiap sel mengungkapkan poin biaya, memaksa peserta untuk menyeimbangkan biaya pengumpulan informasi dengan manfaat menemukan keranjang yang lebih baik.

Para peneliti mengubah permainan visual ini menjadi format berbasis teks yang dapat diproses oleh model bahasa. Model AI dijalankan melalui ratusan uji coba dalam kondisi dorongan yang berbeda. Beberapa menerima instruksi dasar, beberapa menerima petunjuk yang mendorong logika langkah demi langkah, dan yang lainnya diperlihatkan contoh permainan manusia di masa lalu. Untuk setiap jenis dorongan, para peneliti menjalankan sekitar 300 hingga 340 uji coba per model, yang menghabiskan sekitar dua miliar token teks secara total.

Empat Jenis Dorongan Diuji

Studi ini menguji empat jenis dorongan tertentu yang dirancang untuk meniru lingkungan pengambilan keputusan di dunia nyata:

  • Nudge default: Satu keranjang telah dipilih sebelumnya, dan agen harus secara aktif menerima atau menolaknya.
  • Saran saran: Keranjang acak direkomendasikan di awal atau akhir permainan.
  • Sorotan informasi: Pengungkapan nilai hadiah tertentu menjadi lebih murah, sehingga berpotensi mengarahkan agen ke pilihan yang kurang optimal.
  • dorongan optimal: Sel spesifik telah terungkap sebelumnya yang secara matematis akan memaksimalkan performa pemain manusia.

Tingkat Kepatuhan yang Mengkhawatirkan

Hasilnya menunjukkan perbedaan dramatis antara perilaku pengambilan keputusan manusia dan AI.

Ketika dihadapkan dengan pilihan default, manusia memilih default sekitar 88 persen. Model bahasa secara signifikan lebih patuh, dengan beberapa model menerima keranjang default 99 hingga 100 persen.

Pola ini bertahan dengan dorongan sugesti. Manusia menerima keranjang yang disarankan secara acak di awal permainan sebanyak 35 persen. Banyak model AI menerima saran acak ini dengan tingkat yang jauh lebih tinggi, mengikuti saran meskipun tidak memberikan manfaat logis.

Pemilihan waktu pemberian saran juga memanipulasi model dengan cara yang tidak wajar. Meskipun manusia terlambat mengikuti saran sebanyak 25 persen, beberapa model bahasa menurunkan tingkat penerimaannya menjadi antara 7 dan 13 persen. Hal ini menyiratkan bahwa model hanya bereaksi terhadap waktu pemberian isyarat daripada mengevaluasi kegunaan sebenarnya.

Mungkin yang paling memprihatinkan, ketika para peneliti menyoroti pilihan-pilihan suboptimal melalui penyorotan informasi, 57 persen manusia menggunakan informasi yang menyesatkan tersebut. Sebagian besar model AI yang diuji melampaui garis dasar ini secara signifikan, mengikuti sorotan buruk sebanyak 83 hingga 100 persen.

Masalah Tersembunyi Dibalik Nilai Bagus

Para peneliti juga melacak bagaimana model mengumpulkan informasi sebelum membuat pilihan akhir. Manusia cenderung mengungkapkan sel secukupnya untuk membuat tebakan. Model bahasa memperoleh informasi dengan cara yang sangat tidak biasa dan tidak efisien.

Beberapa model memilih keranjang tanpa memperlihatkan sel tersembunyi apa pun, sama sekali mengabaikan peluang untuk mengumpulkan data. Model lain menghabiskan poin berlebihan untuk menampilkan seluruh baris atau kolom, sehingga menyia-nyiakan potensi imbalannya. Beberapa model menampilkan bias spasial yang aneh, hanya memperlihatkan sel-sel di sisi paling kiri grid atau tepat di sepanjang garis diagonal.

Memberikan model dengan petunjuk penalaran langkah demi langkah atau contoh gameplay manusia tidak banyak membantu memperbaiki kebiasaan pencarian yang aneh ini.

Para penulis mencatat bahwa hanya melihat skor akhir dapat menyembunyikan masalah mendasar ini. Dalam beberapa uji coba, model AI memperoleh jumlah poin bersih yang sama dengan pemain manusia. Pengamat biasa yang hanya memeriksa skor akhir mungkin berasumsi bahwa model tersebut membuat pilihan yang cerdas dan mirip manusia. Pada kenyataannya, model-model tersebut sering kali mencapai skor ini melalui kepatuhan buta dan bukan melalui pemikiran strategis.

Jika dorongan mengarah ke keranjang yang bagus, AI yang terlalu patuh akan mendapat skor yang baik. Saat dorongan mengarah ke keranjang yang buruk, AI secara membabi buta mengikutinya ke skor yang lebih rendah, sehingga kehilangan tujuan permainan.

Implikasi terhadap Penerapan Agen AI

“Banyak penerapan agen AI yang secara diam-diam berasumsi bahwa, dalam ketidakpastian, mereka akan bereaksi dengan cara yang kurang lebih mirip manusia, atau bahkan lebih rasional,” kata Cherep. “Daripada menerima asumsi ini, kami memutuskan untuk mengeksplorasi bagaimana agen berperilaku ketika pilihan diberikan kepada mereka dengan cara yang berbeda.”

Temuan penelitian ini mempunyai implikasi signifikan terhadap pasar agen AI yang berkembang pesat yang dirancang untuk menjelajahi web, mengoperasikan alat, dan membuat keputusan keuangan atau belanja bagi pengguna. Jika agen-agen ini secara membabi buta mengikuti opsi default, saran, atau informasi yang disorot tanpa evaluasi kritis, mereka dapat dengan mudah dimanipulasi oleh aktor jahat atau antarmuka yang dirancang dengan buruk.

Penelitian ini menunjukkan bahwa model bahasa saat ini tidak memiliki rasionalitas terbatas yang memandu pengambilan keputusan manusia. Meskipun manusia menggunakan jalan pintas mental untuk menyeimbangkan biaya pengumpulan informasi dan imbalan karena membuat pilihan yang baik, model AI tidak memiliki kendala biologis yang sama, namun model tersebut menunjukkan bentuk irasionalitasnya sendiri yang bisa dibilang lebih ekstrem dan kurang dapat diprediksi.

Tetap Terdepan dalam AI

Untuk berita dan analisis AI terkini lainnya, kunjungi AI Buzz Wire.

Baca berita AI selengkapnya →