Model bahasa kecerdasan buatan sangat terdedah kepada perubahan halus dalam cara pilihan dibentangkan, bertindak balas kepada dorongan yang mengelirukan jauh lebih kuat daripada manusia, menurut satu kajian baru yang diterbitkan dalam Prosiding Akademi Sains Kebangsaan.

Penemuan ini menimbulkan kebimbangan serius tentang menggunakan ejen AI untuk membuat keputusan autonomi dalam senario dunia sebenar, daripada urus niaga kewangan kepada pilihan penjagaan kesihatan. Seperti yang dilaporkan oleh AI Buzz Wire, syarikat semakin meletakkan ejen berkuasa LLM untuk bertindak bagi pihak pengguna dalam persekitaran yang kompleks.

Kajian yang diketuai oleh Manuel Cherep, pelajar kedoktoran di Makmal Media Institut Teknologi Massachusetts, menguji 14 model bahasa terkini daripada syarikat teknologi utama. Model yang diuji termasuk versi keluarga OpenAI GPT-3.5, GPT-4 dan GPT-5, model Claude 3 dan 4.5 Anthropic dan model Gemini 1.5 dan 2.5 Google.

Bagaimana Kajian Berfungsi

Para penyelidik menyesuaikan permainan membuat keputusan berbilang atribut yang asalnya direka untuk peserta manusia. Permainan ini mempersembahkan grid digital yang mewakili bakul hadiah tersembunyi, dengan matlamat untuk memaksimumkan ganjaran akhir dengan memilih bakul dengan nilai mata tertinggi. Setiap sel mendedahkan mata kos, memaksa peserta untuk mengimbangi kos pengumpulan maklumat berbanding faedah mencari bakul yang lebih baik.

Para penyelidik menukar permainan visual ini ke dalam format berasaskan teks yang boleh diproses oleh model bahasa. Model AI dimainkan melalui beratus-ratus percubaan di bawah keadaan mendorong yang berbeza. Ada yang menerima arahan asas, ada yang menerima gesaan yang menggalakkan logik langkah demi langkah, dan yang lain ditunjukkan contoh lalu permainan manusia. Untuk setiap jenis dorongan, penyelidik menjalankan kira-kira 300 hingga 340 percubaan setiap model, menggunakan kira-kira dua bilion token teks secara keseluruhan.

Empat Jenis Nudges Diuji

Kajian itu mengkaji empat jenis dorongan khusus yang direka untuk meniru persekitaran keputusan dunia sebenar:

  • Syok lalai: Satu bakul telah dipilih terlebih dahulu dan ejen terpaksa menerima atau menolaknya secara aktif.
  • Cadangan menyenggol: Bakul rawak disyorkan sama ada awal atau lewat dalam permainan.
  • Penyertaan maklumat: Ia dibuat lebih murah untuk mendedahkan nilai hadiah tertentu, yang berpotensi mengarahkan ejen ke arah pilihan yang tidak optimum.
  • Tekanan optimum: Sel khusus telah didedahkan yang akan memaksimumkan prestasi pemain manusia secara matematik.

Kadar Pematuhan yang Membimbangkan

Hasilnya mendedahkan perbezaan dramatik antara tingkah laku membuat keputusan manusia dan AI.

Apabila dibentangkan dengan pilihan lalai, manusia memilih lalai kira-kira 88 peratus daripada masa itu. Model bahasa adalah jauh lebih patuh, dengan beberapa model menerima bakul lalai 99 hingga 100 peratus sepanjang masa.

Corak ini berterusan dengan dorongan cadangan. Manusia menerima bakul yang dicadangkan secara rawak pada awal permainan 35 peratus pada masa itu. Banyak model AI menerima cadangan rawak ini pada kadar yang lebih tinggi, mengikut nasihat walaupun ia tidak menawarkan faedah logik.

Masa cadangan juga memanipulasi model dengan cara yang tidak wajar. Walaupun manusia mengikut cadangan lewat 25 peratus pada masa itu, sesetengah model bahasa menurunkan kadar penerimaan mereka kepada antara 7 dan 13 peratus. Ini menunjukkan model bertindak balas dengan tegas terhadap masa isyarat dan bukannya menilai kegunaan sebenarnya.

Mungkin yang paling membimbangkan, apabila penyelidik menyerlahkan pilihan suboptimum melalui penonjolan maklumat, manusia menggunakan maklumat yang mengelirukan itu 57 peratus pada masa itu. Kebanyakan model AI yang diuji melampaui garis dasar ini dengan ketara, berikutan sorotan buruk 83 hingga 100 peratus pada setiap masa.

Masalah Tersembunyi Di Sebalik Markah Yang Baik

Para penyelidik juga menjejaki bagaimana model mengumpul maklumat sebelum membuat pilihan terakhir. Manusia cenderung untuk mendedahkan sel yang cukup untuk membuat tekaan yang berpendidikan. Model bahasa memperoleh maklumat dengan cara yang sangat luar biasa dan tidak cekap.

Sesetengah model memilih bakul tanpa mendedahkan sebarang sel tersembunyi, mengabaikan sepenuhnya peluang untuk mengumpul data. Model lain membelanjakan mata yang berlebihan untuk mendedahkan keseluruhan baris atau lajur, mensia-siakan potensi ganjaran mereka. Sesetengah model mempamerkan bias ruang ganjil, hanya mendedahkan sel di sebelah kiri paling kiri grid atau sepanjang garis pepenjuru.

Menyediakan model dengan gesaan penaakulan langkah demi langkah atau contoh permainan manusia tidak banyak membantu untuk membetulkan tabiat carian ganjil ini.

Penulis menyatakan bahawa melihat hanya pada skor akhir boleh menyembunyikan masalah asas ini. Dalam beberapa percubaan, model AI memperoleh jumlah mata bersih yang sama seperti pemain manusia. Pemerhati biasa yang hanya menyemak skor akhir mungkin menganggap model tersebut membuat pilihan yang bijak seperti manusia. Pada hakikatnya, model sering mencapai markah ini melalui pematuhan buta dan bukannya pemikiran strategik.

Jika dorongan berlaku menghala ke arah bakul yang bagus, AI yang terlalu patuh mendapat markah yang baik. Apabila dorongan menghala ke arah bakul yang buruk, AI secara membabi buta mengikutinya ke dalam skor yang lebih rendah, sama sekali hilang tujuan permainan.

Implikasi untuk Penerapan Ejen AI

"Banyak aplikasi ejen AI secara diam-diam menganggap bahawa, di bawah ketidakpastian, mereka akan bertindak balas dengan cara yang hampir seperti manusia, jika tidak lebih rasional, " kata Cherep. "Daripada menerima andaian ini, kami memutuskan untuk meneroka bagaimana ejen berkelakuan apabila pilihan dikemukakan kepada mereka dengan cara yang berbeza."

Penemuan kajian mempunyai implikasi yang ketara untuk pasaran ejen AI yang berkembang pesat yang direka untuk menyemak imbas web, mengendalikan alatan dan membuat keputusan kewangan atau membeli-belah untuk pengguna. Jika ejen ini secara membabi buta mengikut pilihan lalai, cadangan atau maklumat yang diserlahkan tanpa penilaian kritikal, mereka boleh dimanipulasi dengan mudah oleh pelakon yang buruk atau antara muka yang direka bentuk dengan buruk.

Penyelidikan menunjukkan bahawa model bahasa semasa tidak mempunyai rasionaliti terhad yang membimbing manusia membuat keputusan. Walaupun manusia menggunakan pintasan mental untuk mengimbangi kos mengumpul maklumat berbanding ganjaran membuat pilihan yang baik, model AI tidak berkongsi kekangan biologi ini, namun mereka mempamerkan bentuk ketidakrasionalan mereka sendiri yang boleh dikatakan lebih melampau dan kurang boleh diramal.

Kekal Mendahului AI

Untuk berita terkini dan analisis AI, lawati AI Buzz Wire.

Baca lebih banyak berita AI →