Menghabiskan hanya sepuluh minit bergantung pada alat AI dengan ketara menjejaskan keupayaan seseorang untuk memberi tumpuan dan meneruskan tugas yang sukar, menurut kajian semakan rakan yang dibentangkan minggu ini di Persidangan Pemodelan Bahasa (COLM).
Makalah itu, bertajuk "Bantuan AI Mengurangkan Kegigihan dan Menyakitkan Prestasi Bebas," dikarang bersama oleh penulis dan penyelidik Brian Christian, seorang felo penyelidik di Pusat UC Berkeley untuk AI Serasi Manusia, bersama-sama dengan sarjana dari Universiti Carnegie Mellon, Institut Teknologi Massachusetts, Universiti Oxford dan UCLA. Draf awal kerja itu diedarkan pada musim bunga, tetapi versi yang dikemas kini dan disemak oleh rakan sebaya telah dibentangkan pada persidangan minggu ini, dan pejabat penyelidikan UC Berkeley menerbitkan ringkasan terperinci pada 9 Oktober. For more context on this story, see our ongoing breaking AI news.
Apa yang Ditemui Penyelidik
Untuk mengukur seberapa cepat tumpuan dan ketekunan orang ramai merosot, pasukan itu menjalankan satu siri ujian terkawal rawak dengan 1,222 peserta diambil dalam talian.
Dalam eksperimen pertama, 354 peserta diminta menyelesaikan 15 masalah pecahan asas. Satu kumpulan bekerja tanpa bantuan, manakala kumpulan kedua membuka ChatGPT di sebelah dan bebas menggunakannya untuk mendapatkan bantuan — atau malah meminta jawapan secara langsung. Kumpulan dengan akses AI bermula dengan lebih tepat. Kemudian, selepas 12 masalah, para penyelidik mengambil alat itu. Hampir serta-merta, ketepatan dalam kumpulan itu runtuh.
Corak itu berulang dengan kumpulan kedua yang lebih besar iaitu 667 peserta. Apabila bantuan AI ditarik balik, pengguna AI mendapat jawapan yang salah atau menyerah sepenuhnya, manakala kumpulan yang telah bekerja tanpa bantuan terperangkap dengan tugas itu dan selesai dengan lebih berjaya.
Percubaan ketiga dengan 201 peserta menukar masalah matematik dengan gesaan pemahaman bacaan SAT. Hasilnya menggemakan percubaan terdahulu: apabila alat itu hilang, begitu juga dengan ketekunan dan ketepatan.
"Anda hampir tidak dapat meminta cerita yang lebih jelas," kata Christian dalam komen yang diterbitkan oleh UC Berkeley.
'Kos Manusia' Jawapan Segera
Para penyelidik berpendapat bahawa masalahnya bukanlah AI itu sendiri tetapi jenis bantuan yang lalai. Apabila sistem menghasilkan jawapan dalam beberapa saat, pengguna menjadi terbiasa dengan kelajuan itu, dan apa-apa yang lebih perlahan mula berasa tidak cekap. Bergantung pada alat itu juga mengalih keluar apa yang dipanggil oleh pasukan sebagai "perjuangan yang produktif" — penglibatan penuh usaha yang membantu orang ramai menemui kekuatan dan minat mereka sendiri.
"Kami telah membina sistem ini untuk membantu, tetapi adakah ia membantu kami dengan cara yang sebenarnya membantu kami?" Christian berkata. "Kami menunjukkan, ironisnya, bahawa mereka sering membantu kami dengan cara yang agak tidak membantu."
Christian, yang mempunyai buku 2020 "The Alignment Problem" secara meluas dianggap sebagai salah satu karya terkemuka yang boleh diakses mengenai keselamatan AI, berkata penemuan itu membekalkan bukti untuk intuisi yang dipegang oleh ramai orang. "Ia adalah penemuan yang menarik, tetapi dengan cara ia membekalkan peluru untuk cerita yang kebanyakan kita rasakan dalam usus kita," katanya. "Saya juga mengalaminya."
Mengapa Ia Penting Melangkaui Pecahan
Kajian itu berlaku di tengah-tengah kebimbangan yang semakin meningkat tentang pemunggahan kognitif dalam pendidikan. Syarikat Frontier AI sendiri telah mengakui bahawa memunggah tugas ke chatbots boleh mengurangkan pemahaman asas pengguna tentang subjek, menurut laporan Berkeley. Christian mencadangkan penyelesaian yang mungkin: Respons AI boleh menjadi lalai untuk menjadi lebih instruktif - berkelakuan seperti tutor yang membimbing dan bukannya mesin jawapan yang menggantikan.
"Kita perlu berusaha ke arah masa depan di mana kebolehan manusia, seboleh-bolehnya, ditambah dan bukannya digantikan," katanya.
Kebimbangannya meluas kepada penyelidikan profesional. Kristian bimbang bahawa terlalu bergantung pada alat AI dalam sains boleh menghakis tabiat yang menjadikan saintis yang baik: kekal dekat dengan data, melibatkan diri dalam bahan dan bekerja rapat dengan pasukan. Sepuluh kumpulan penyelidikan yang menjana idea di sebalik kejayaan, katanya, mungkin menyusut kepada dua atau tiga penyelidik dan chatbot.
"Ini bukan cerita tentang pecahan dan masalah SAT," kata Christian. "Ini adalah sesuatu yang berlaku kepada pengetahuan manusia dan kepakaran manusia dari atas ke bawah dan daripada pelajar sekolah rendah sehinggalah ke pakar terkemuka di dunia."
Kajian Yang Memasuki Arus Perdana
Penemuan awal mendapat liputan daripada WIRED dan Psychology Today apabila draf awal muncul pada musim bunga, dan The New York Times menerbitkan cerita tentang kertas dan penyelidikan serupa minggu lepas, menurut UC Berkeley. Pembentangan yang disemak rakan sebaya di COLM — salah satu tempat utama bidang untuk penyelidikan pemodelan bahasa — kini memberikan hasil setem rasmi.
Bagi pendidik dan majikan, mesej itu tidak selesa tetapi konkrit: walaupun pendedahan singkat kepada jawapan AI segera dapat mengubah cara orang berkelakuan apabila jawapan tidak lagi tersedia. Dan untuk syarikat AI, kajian itu menambah tekanan untuk mereka bentuk sistem yang mengajar sekerap yang mereka selesaikan.
Christian, bagi pihaknya, menyimpan buku nota di atas mejanya dan menulis di dalamnya setiap hari. Amalan itu, katanya kepada Berkeley, membuatkan dia berasas — dan mengekalkan kelebihan ilmiahnya sendiri daripada membosankan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
