Nghiên cứu Khanmigo kéo dài hai năm cho thấy việc dạy kèm AI có lợi cho sự tham gia của sinh viên

Một trong những thử nghiệm thực tế đầy tham vọng nhất về dạy kèm AI đã đưa ra một phán quyết nghiêm túc. Một thử nghiệm ngẫu nhiên theo cụm kéo dài hai năm đối với gia sư Khanmigo của Khan Academy trên 18 trường trung học cơ sở ở Tennessee cho thấy rằng việc tiếp cận với gia sư AI mang lại những thành tựu toán học có thể đo lường được nhưng khiêm tốn và kết quả bị cản trở bởi một vấn đề mà các nhà công nghệ hiếm khi quảng cáo: hầu hết học sinh hầu như không sử dụng nó. Nghiên cứu có tiêu đề "Một cú nhấp chuột: Dạy kèm AI với Khanmigo trong một thí nghiệm ở trường kéo dài hai năm" được thực hiện bởi Philip Oreopoulos và Nina Low và được xuất bản thông qua Viện Annenberg trong loạt EdWorkingPapers của Đại học Brown.

Những phát hiện này không chỉ dừng lại ở một sản phẩm đơn lẻ, bởi vì Khanmigo là một trong những gia sư AI được triển khai rộng rãi nhất ở các trường học ở Mỹ và nghiên cứu này là một trong những đánh giá thử nghiệm quy mô lớn đầu tiên về dạy kèm AI sáng tạo trong điều kiện lớp học bình thường. Đối với bất kỳ ai theo dõi tin tức nghiên cứu AI và sự va chạm của nó với các tổ chức trong thế giới thực, bài báo này là một bằng chứng xác thực hiếm hoi trong một cuộc tranh luận bị chi phối bởi các tuyên bố tiếp thị và nó đã xuất hiện trên trang nhất của Hacker News tuần này khi các nhà giáo dục và nhà công nghệ phân tích ý nghĩa của nó.

Nghiên cứu tìm thấy gì

Cuộc thử nghiệm đã chỉ định ngẫu nhiên các học sinh tại 18 trường trung học cơ sở ở Tennessee sử dụng Khan Academy với gia sư AI Khanmigo trong các buổi học toán khắc phục hàng ngày hiện có. Điều quan trọng là gia sư được cấu hình để huấn luyện hơn là đưa ra câu trả lời, phản ánh phương pháp sư phạm đã nêu của Học viện Khan. Thí nghiệm kéo dài hai năm học, khiến nó trở thành một trong những thí nghiệm thực địa dài nhất về dạy kèm AI cho đến nay.

Kết quả tiêu đề: việc phân công vào điều kiện dạy kèm AI đã nâng thành tích toán lên 1,3 bậc phần trăm quốc gia mỗi kỳ, mà các tác giả tính toán là khoảng 0,06 đến 0,08 độ lệch chuẩn trong một năm học. Hiệu quả ngụ ý của việc tham gia tích cực cả năm đạt 0,14 độ lệch chuẩn. Đó là những lợi ích thực tế, có thể phát hiện được bằng thống kê và đối với sự can thiệp vào phần mềm chi phí thấp thì chúng rất đáng nể.

Nhưng sự so sánh làm giảm bớt sự cường điệu là thế này: lợi ích đạt được tương tự như lợi ích từ việc thực hành của Học viện Khan mà không cần sự hỗ trợ của AI. Những sinh viên đã sử dụng các công cụ thực hành hiện có của nền tảng, không có gia sư AI kèm theo, dường như đã làm được điều tương đương với những sinh viên có quyền truy cập vào Khanmigo.

Vấn đề tương tác trong dữ liệu

Phần tiết lộ nhất của bài báo là tài khoản pháp y về cách sử dụng. Nhìn bề ngoài, khả năng áp dụng có vẻ mạnh mẽ: 96% sinh viên đã thử Khanmigo ít nhất một lần. Bên dưới, sự gắn kết sụp đổ. Học sinh trung bình chỉ nhắn tin cho gia sư trong khoảng 1/3 số ngày họ luyện toán và chỉ trong 17% số buổi tập mà họ mắc lỗi. Khi học sinh nhắn tin cho gia sư, các tác giả nhận thấy các tin nhắn hầu hết chỉ là những câu trả lời đơn thuần hoặc những cú nhấp chuột vào những gợi ý gợi ý, thay vì đối thoại toán học thực chất.

Nói cách khác, gia sư được cấu hình để huấn luyện học sinh theo kiểu Socrates khi mắc lỗi, nhưng học sinh hầu như tránh hoàn toàn cuộc trò chuyện về huấn luyện. Các tác giả kết luận rằng ràng buộc ràng buộc dường như là sự tham gia: việc hiện thực hóa hứa hẹn của việc dạy kèm AI sẽ yêu cầu học sinh sử dụng nó chứ không chỉ cấp cho họ quyền truy cập.

Tại sao trường học mua AI lại quan trọng

Các quận trên khắp Hoa Kỳ đang chịu áp lực phải áp dụng các công cụ AI và dạy kèm là trường hợp sử dụng hàng đầu trong hầu hết mọi lĩnh vực. AI sáng tạo đã được quảng bá là công nghệ cuối cùng có thể mang lại điều mà các nhà nghiên cứu giáo dục gọi là giấc mơ hai sigma: một gia sư riêng cho mọi học sinh. Khung hai sigma của Bloom xuất phát từ nghiên cứu cũ hơn về việc dạy kèm của con người và đó chính xác là lời hứa mà các gia sư AI được tiếp thị chống lại.

Nghiên cứu này cho thấy nút thắt không phải là chất lượng mô hình hay khả năng tiếp cận. Mỗi học sinh trong nhóm điều trị đều có một gia sư LLM hiện đại, miễn phí chỉ bằng một cú nhấp chuột trong khối toán hàng ngày của họ. Rào cản ở đây là liệu thanh thiếu niên có tự nguyện duy trì một cuộc đối thoại về dạy thêm ngày này qua ngày khác trong lớp phụ đạo hay không. Việc dạy kèm của con người có hiệu quả một phần vì một người sẽ nhận thấy khi bạn thảnh thơi. Cho đến nay, phần mềm không tái tạo được lực kéo đó một cách đáng tin cậy.

Những điều cần lưu ý

Bài viết này là một EdWorkingPaper, được phân phối thông qua Viện Annenberg của Đại học Brown, và người đọc nên coi nó như một nghiên cứu thực tế hơn là những phát hiện được bình duyệt. Nghiên cứu này đề cập đến môn toán phụ đạo ở trường trung học cơ sở ở một tiểu bang, vì vậy việc khái quát hóa cho các môn học, cấp lớp hoặc mô hình triển khai khác chỉ mang tính suy đoán. Khung của riêng các tác giả được đo lường: họ báo cáo những gì đã xảy ra khi một gia sư AI có sẵn rộng rãi được đưa vào các buổi thực hành hiện có, chứ không phải những gì có thể xảy ra theo các chương trình giảng dạy khác hoặc các khuyến khích tham gia mạnh mẽ hơn.

Cũng cần lưu ý những gì nghiên cứu không nói. Nó không thấy rằng dạy kèm AI là vô ích; hiệu ứng lệch chuẩn 0,14 so với cả năm tham gia tích cực sẽ có ý nghĩa nếu sự tham gia có thể được duy trì. Phát hiện gần hơn với điều này: công nghệ này hoạt động tốt như các công cụ thực hành không phải AI mà nó được gắn vào, bởi vì học sinh không sử dụng AI khác với các nút mà họ đã bỏ qua.

Món ăn mang đi

Lĩnh vực công nghệ giáo dục đã dành hai năm để hứa hẹn rằng các gia sư AI có tính sáng tạo sẽ biến đổi các lớp học. Thử nghiệm này, một trong những thử nghiệm đầu tiên theo dõi các học sinh thực sự trong suốt hai năm, cho thấy sự biến đổi bị cản trở bởi một vấn đề cổ xưa: khiến trẻ em muốn làm bài tập. Đối với các nhà lãnh đạo trường học, bài học là yêu cầu dữ liệu tương tác, không chỉ số lượng giấy phép, từ các nhà cung cấp AI. Đối với ngành AI, đó là một lời nhắc nhở rằng vấn đề khó khăn nhất trong việc triển khai AI hiếm khi nằm ở mô hình.

Theo kịp nghiên cứu AI

Các thử nghiệm thực địa như thử nghiệm này giúp vượt qua chu kỳ cường điệu nhanh hơn bất kỳ tiêu chuẩn nào. Để liên tục đưa tin về nghiên cứu AI với những kết quả trong thế giới thực, hãy theo dõi tin tức AI trên aibuzzwire.news.

Đọc thêm tin tức về AI →