Salah satu ujian dunia sebenar tunjuk ajar AI yang paling bercita-cita tinggi telah memberikan keputusan yang menyedihkan. Percubaan rawak kelompok dua tahun tutor Khanmigo Khan Academy di 18 sekolah menengah Tennessee mendapati bahawa akses kepada tutor AI menghasilkan keuntungan matematik yang boleh diukur tetapi sederhana, dan keputusan itu ditahan oleh masalah yang jarang diiklankan oleh pakar teknologi: kebanyakan pelajar hampir tidak menggunakannya. Kajian itu, bertajuk "One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment," telah dijalankan oleh Philip Oreopoulos dan Nina Low dan diterbitkan melalui Institut Annenberg di siri EdWorkingPapers Brown University.

Penemuan ini penting di luar satu produk, kerana Khanmigo ialah salah satu tutor AI yang paling banyak digunakan di sekolah Amerika dan kajian itu merupakan antara penilaian percubaan berskala besar pertama bagi tunjuk ajar AI generatif dalam keadaan bilik darjah biasa. Bagi sesiapa yang menjejaki berita penyelidikan AI dan perlanggarannya dengan institusi dunia sebenar, kertas itu merupakan bukti kukuh yang jarang berlaku dalam perdebatan yang didominasi oleh tuntutan pemasaran, dan ia mendarat di muka depan Berita Hacker minggu ini apabila pendidik dan ahli teknologi mengupas implikasinya.

Perkara yang Ditemui Kajian

Percubaan secara rawak menugaskan pelajar di 18 sekolah menengah Tennessee untuk menggunakan Khan Academy dengan tutor AInya Khanmigo semasa sesi matematik pemulihan harian sedia ada. Yang penting, tutor telah dikonfigurasikan untuk melatih dan bukannya memberi jawapan, mencerminkan pedagogi Khan Academy yang dinyatakan. Percubaan ini dijalankan selama dua tahun persekolahan, menjadikannya salah satu eksperimen lapangan terpanjang mengenai tunjuk ajar AI setakat ini.

Keputusan tajuk utama: tugasan kepada syarat tunjuk ajar AI meningkatkan pencapaian matematik sebanyak 1.3 kedudukan persentil kebangsaan setiap penggal, yang dikira oleh pengarang sebagai kira-kira 0.06 hingga 0.08 sisihan piawai sepanjang tahun persekolahan. Kesan tersirat bagi setahun penuh penyertaan aktif mencapai 0.14 sisihan piawai. Itu adalah keuntungan yang nyata, dapat dikesan secara statistik, dan untuk campur tangan perisian kos rendah ia adalah dihormati.

Tetapi perbandingan yang mengecilkan gembar-gembur adalah ini: keuntungannya menyerupai latihan Akademi Khan tanpa bantuan AI. Pelajar yang menggunakan alat latihan sedia ada platform, tanpa tutor AI yang dilampirkan, nampaknya telah melakukan dan juga pelajar yang mempunyai akses kepada Khanmigo.

Masalah Penglibatan dalam Data

Bahagian yang paling mendedahkan kertas itu ialah akaun forensik penggunaannya. Dari segi luaran, pengambilan anak angkat kelihatan kukuh: 96 peratus pelajar mencuba Khanmigo sekurang-kurangnya sekali. Di bawahnya, pertunangan runtuh. Pelajar median menghantar mesej kepada tutor pada hanya kira-kira satu pertiga daripada hari mereka berlatih matematik, dan hanya dalam 17 peratus daripada sesi latihan di mana mereka melakukan kesilapan. Apabila pelajar menghantar mesej kepada tutor, pengarang mendapati mesej tersebut kebanyakannya adalah jawapan kosong atau klik pada gesaan yang dicadangkan, dan bukannya dialog matematik substantif.

Dalam erti kata lain, tutor telah dikonfigurasikan untuk Socratically melatih pelajar melalui kesilapan, tetapi pelajar kebanyakannya mengelakkan perbualan bimbingan sepenuhnya. Penulis menyimpulkan bahawa kekangan yang mengikat nampaknya adalah penglibatan: merealisasikan janji tunjuk ajar AI memerlukan pelajar menggunakannya, bukan hanya memberi mereka akses.

Mengapa Penting untuk Sekolah Membeli AI

Daerah di seluruh Amerika Syarikat mengalami tekanan untuk menggunakan alatan AI, dan tunjuk ajar ialah kes penggunaan utama dalam hampir setiap padang. AI Generatif telah dipromosikan sebagai teknologi yang akhirnya dapat menyampaikan apa yang dipanggil oleh penyelidik pendidikan sebagai impian dua-sigma: tutor peribadi untuk setiap pelajar. Pembingkaian dua-sigma Bloom datang daripada penyelidikan lama tentang tunjuk ajar manusia, dan ini adalah janji yang dijanjikan oleh tutor AI.

Kajian ini mencadangkan kesesakan bukan kualiti model atau akses. Setiap pelajar dalam kumpulan rawatan mempunyai tutor LLM yang canggih dengan sekali klik, tanpa sebarang kos, di dalam blok matematik harian mereka. Kekangannya ialah sama ada remaja akan secara sukarela mengekalkan dialog bimbingan, hari demi hari, dalam kelas pemulihan. Bimbingan manusia berfungsi sebahagiannya kerana seseorang menyedari apabila anda melepaskan diri. Perisian, setakat ini, tidak boleh mereplikasi tarikan itu dengan pasti.

Kaveat Perlu Diingati

Kertas itu ialah EdWorkingPaper, yang diedarkan melalui Institut Annenberg Universiti Brown, dan pembaca harus menganggapnya sebagai penyelidikan yang berfungsi dan bukannya penemuan yang disemak oleh rakan sebaya. Kajian ini meliputi matematik pemulihan sekolah menengah di satu negeri, jadi generalisasi kepada subjek lain, tahap gred atau model pelaksanaan adalah spekulatif. Pembingkaian pengarang sendiri diukur: mereka melaporkan apa yang berlaku apabila tutor AI yang tersedia secara meluas dilapisi pada sesi latihan sedia ada, bukan perkara yang mungkin berlaku di bawah kurikulum yang berbeza atau insentif yang lebih kuat untuk terlibat.

Ia juga perlu diperhatikan apa yang tidak dinyatakan oleh kajian itu. Ia tidak mendapati bahawa tunjuk ajar AI tidak berguna; kesan sisihan piawai 0.14 daripada satu tahun penuh penyertaan aktif akan bermakna jika penglibatan dapat dikekalkan. Penemuan ini lebih dekat dengan ini: teknologi berfungsi serta alat amalan bukan AI yang telah dipasang, kerana pelajar tidak menggunakan AI secara berbeza daripada butang yang telah mereka abaikan.

The Takeaway

Sektor teknologi pendidikan telah menghabiskan masa dua tahun menjanjikan bahawa tutor AI generatif akan mengubah bilik darjah. Percubaan ini, salah satu yang pertama mengikuti pelajar sebenar selama dua tahun penuh, mencadangkan transformasi itu dikawal oleh masalah purba: membuat kanak-kanak mahu melakukan kerja. Bagi pemimpin sekolah, pengajarannya ialah menuntut data penglibatan, bukan hanya kiraan lesen, daripada vendor AI. Untuk industri AI, ini adalah peringatan bahawa masalah paling sukar dalam penggunaan AI jarang mengenai model.

Ikuti Penyelidikan AI

Eksperimen lapangan seperti ini memotong kitaran gembar-gembur lebih cepat daripada mana-mana penanda aras. Untuk liputan berterusan penyelidikan AI dengan akibat dunia sebenar, ikuti berita AI di aibuzzwire.news.

Baca lebih banyak berita AI →