Salah satu tes bimbingan AI yang paling ambisius di dunia nyata telah memberikan hasil yang menyedihkan. Uji coba cluster acak selama dua tahun terhadap tutor Khanmigo Khan Academy di 18 sekolah menengah di Tennessee menemukan bahwa akses ke tutor AI menghasilkan peningkatan matematika yang terukur namun tidak terlalu besar, dan bahwa hasil tersebut terhambat oleh masalah yang jarang diiklankan oleh para ahli teknologi: sebagian besar siswa jarang menggunakannya. Penelitian bertajuk “One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment,” dilakukan oleh Philip Oreopoulos dan Nina Low dan diterbitkan melalui seri EdWorkingPapers Annenberg Institute di Brown University.
Temuan ini tidak hanya penting bagi satu produk saja, karena Khanmigo adalah salah satu tutor AI yang paling banyak digunakan di sekolah-sekolah Amerika dan penelitian ini merupakan salah satu evaluasi eksperimental berskala besar pertama terhadap bimbingan belajar AI generatif dalam kondisi kelas normal. Bagi siapa pun yang melacak berita penelitian AI dan benturannya dengan institusi di dunia nyata, makalah ini adalah bukti kuat yang langka dalam perdebatan yang didominasi oleh klaim pemasaran, dan muncul di halaman depan Hacker News minggu ini saat para pendidik dan ahli teknologi menguraikan implikasinya.
Apa yang Ditemukan Studi
Uji coba tersebut secara acak menugaskan siswa di 18 sekolah menengah Tennessee untuk menggunakan Khan Academy dengan tutor AI-nya Khanmigo selama sesi perbaikan matematika harian yang ada. Yang terpenting, tutor tersebut dikonfigurasikan untuk melatih daripada memberikan jawaban, yang mencerminkan pedagogi Khan Academy. Eksperimen ini berlangsung selama dua tahun ajaran, menjadikannya salah satu eksperimen lapangan terlama dalam bimbingan belajar AI hingga saat ini.
Hasil utama: penugasan pada kondisi bimbingan AI meningkatkan prestasi matematika sebesar 1,3 peringkat persentil nasional per semester, yang penulis hitung sebagai deviasi standar sekitar 0,06 hingga 0,08 selama satu tahun ajaran. Dampak tersirat dari partisipasi aktif setahun penuh mencapai standar deviasi 0,14. Hal ini merupakan keuntungan yang nyata dan dapat dideteksi secara statistik, dan untuk intervensi perangkat lunak berbiaya rendah, hal tersebut cukup baik.
Namun perbandingan yang mengecilkan hype tersebut adalah: keuntungan yang diperoleh mirip dengan hasil latihan Khan Academy tanpa bantuan AI. Siswa yang menggunakan alat latihan yang sudah ada di platform, tanpa tutor AI, tampaknya berhasil melakukan hal yang sama seperti siswa yang memiliki akses ke Khanmigo.
Masalah Keterlibatan dalam Data
Bagian yang paling terbuka dalam makalah ini adalah laporan forensik penggunaannya. Di permukaan, penerapannya terlihat kuat: 96 persen siswa mencoba Khanmigo setidaknya sekali. Di bawahnya, pertunangan runtuh. Siswa rata-rata hanya mengirim pesan kepada tutor sekitar sepertiga hari mereka berlatih matematika, dan hanya 17 persen dari sesi latihan di mana mereka melakukan kesalahan. Ketika siswa mengirim pesan kepada tutornya, penulis menemukan bahwa pesan-pesan tersebut sebagian besar berupa jawaban kosong atau klik pada petunjuk yang disarankan, bukan dialog matematis substantif.
Dengan kata lain, tutor dikonfigurasikan untuk melatih siswa secara Socrates melalui kesalahan, namun sebagian besar siswa menghindari percakapan pembinaan sepenuhnya. Para penulis menyimpulkan bahwa kendala yang mengikat tampaknya adalah keterlibatan: untuk mewujudkan potensi bimbingan belajar AI, siswa harus diminta untuk menggunakannya, bukan hanya memberi mereka akses.
Mengapa Penting bagi Sekolah untuk Membeli AI
Distrik-distrik di seluruh Amerika Serikat berada di bawah tekanan untuk mengadopsi alat-alat AI, dan bimbingan belajar adalah kasus penggunaan utama di hampir setiap bidang. AI Generatif telah dipromosikan sebagai teknologi yang pada akhirnya dapat mewujudkan apa yang oleh para peneliti pendidikan disebut sebagai mimpi dua sigma: guru pribadi untuk setiap siswa. Pembingkaian dua sigma Bloom berasal dari penelitian lama mengenai bimbingan belajar manusia, dan hal inilah yang sebenarnya menjadi target pasar tutor AI.
Studi ini menunjukkan bahwa hambatannya bukan pada kualitas atau akses model. Setiap siswa dalam kelompok perlakuan memiliki tutor LLM canggih yang hanya berjarak satu klik, tanpa biaya, di dalam blok matematika harian mereka. Kendalanya adalah apakah remaja mau secara sukarela mempertahankan dialog bimbingan belajar, hari demi hari, di kelas remedial. Bimbingan belajar manusia berhasil sebagian karena seseorang memperhatikan saat Anda melepaskan diri. Perangkat lunak, sejauh ini, tidak dapat mereplikasi tarikan tersebut dengan andal.
Peringatan yang Perlu Diingat
Makalah ini adalah EdWorkingPaper, yang didistribusikan melalui Annenberg Institute di Brown University, dan pembaca harus memperlakukannya sebagai penelitian aktif dan bukan temuan yang ditinjau oleh rekan sejawat. Studi ini mencakup remedial matematika sekolah menengah di satu negara bagian, jadi generalisasi ke mata pelajaran lain, tingkat kelas, atau model implementasi bersifat spekulatif. Pembingkaian penulis sendiri diukur: mereka melaporkan apa yang terjadi ketika tutor AI yang tersedia secara luas dimasukkan ke dalam sesi latihan yang ada, bukan apa yang mungkin terjadi berdasarkan kurikulum yang berbeda atau insentif yang lebih kuat untuk terlibat.
Perlu juga dicatat apa yang tidak diungkapkan dalam penelitian ini. Mereka tidak menganggap bahwa bimbingan AI tidak ada gunanya; Efek deviasi standar sebesar 0,14 dari partisipasi aktif selama setahun penuh akan bermakna jika keterlibatan dapat dipertahankan. Temuannya lebih mendekati hal ini: teknologi ini berfungsi sama baiknya dengan alat praktik non-AI yang digunakan, karena siswa tidak menggunakan AI secara berbeda dari tombol-tombol yang telah mereka abaikan.
Yang Dapat Dibawa Pulang
Sektor teknologi pendidikan telah menghabiskan dua tahun menjanjikan bahwa tutor AI generatif akan mengubah ruang kelas. Uji coba ini, yang merupakan salah satu uji coba pertama yang mengikuti siswa sebenarnya selama dua tahun penuh, menunjukkan bahwa transformasi ini disebabkan oleh masalah kuno: membuat anak-anak mau melakukan pekerjaan tersebut. Bagi pimpinan sekolah, pembelajarannya adalah meminta data keterlibatan, bukan hanya jumlah lisensi, dari vendor AI. Bagi industri AI, hal ini merupakan pengingat bahwa masalah tersulit dalam penerapan AI jarang sekali terletak pada modelnya.
Ikuti terus Riset AI
Eksperimen lapangan seperti ini memotong siklus hype lebih cepat dibandingkan tolok ukur apa pun. Untuk liputan berkelanjutan mengenai penelitian AI dengan konsekuensi di dunia nyata, ikuti berita AI di aibuzzwire.news.
Baca berita AI selengkapnya →
