หนึ่งในการทดสอบการสอน AI ในโลกแห่งความเป็นจริงที่ทะเยอทะยานที่สุดได้ให้คำตัดสินที่มีสติ การทดลองแบบสุ่มแบบกลุ่มเป็นเวลา 2 ปีของครูสอนพิเศษ Khanmigo ของ Khan Academy ในโรงเรียนมัธยมศึกษาตอนต้นของรัฐเทนเนสซี 18 แห่ง พบว่าการเข้าถึงครูสอนพิเศษแบบ AI ทำให้เกิดประโยชน์ทางคณิตศาสตร์ที่วัดผลได้แต่ก็เล็กน้อย และผลลัพธ์ก็ถูกขัดขวางโดยนักเทคโนโลยีที่มีปัญหาซึ่งไม่ค่อยโฆษณานัก เพราะนักเรียนส่วนใหญ่แทบจะไม่ได้ใช้เลย การศึกษาเรื่อง "One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment" ดำเนินการโดย Philip Oreopoulos และ Nina Low และเผยแพร่ผ่านชุด EdWorkingPapers ของสถาบัน Annenberg Institute ของมหาวิทยาลัย Brown

การค้นพบนี้มีความสำคัญมากกว่าผลิตภัณฑ์ตัวเดียว เนื่องจาก Khanmigo เป็นหนึ่งในผู้สอน AI ที่ใช้งานกันอย่างแพร่หลายมากที่สุดในโรงเรียนในอเมริกา และการศึกษานี้เป็นหนึ่งในการประเมินการทดลองขนาดใหญ่ครั้งแรกของการสอนพิเศษ generative AI ในสภาพห้องเรียนปกติ สำหรับใครก็ตามที่ติดตาม [ข่าวการวิจัย AI] (https://aibuzzwire.news) และการปะทะกันกับสถาบันในโลกแห่งความเป็นจริง รายงานฉบับนี้ถือเป็นหลักฐานชิ้นสำคัญที่หาได้ยากในการอภิปรายที่มีการกล่าวอ้างทางการตลาด และได้ขึ้นหน้าแรกของ Hacker News ในสัปดาห์นี้ ในขณะที่นักการศึกษาและนักเทคโนโลยีแยกวิเคราะห์ความหมายของรายงานดังกล่าว

สิ่งที่การศึกษาพบ

การทดลองนี้สุ่มมอบหมายให้นักเรียนในโรงเรียนมัธยมต้นในรัฐเทนเนสซี 18 แห่งใช้ Khan Academy ร่วมกับครูสอนพิเศษด้าน AI Khanmigo ในระหว่างเซสชันคณิตศาสตร์เสริมประจำวันที่มีอยู่ สิ่งที่สำคัญที่สุดคือครูสอนพิเศษได้รับการกำหนดค่าให้เป็นโค้ชแทนที่จะให้คำตอบ ซึ่งสะท้อนถึงการสอนของ Khan Academy ที่ระบุไว้ การทดลองนี้ดำเนินไปเป็นเวลาสองปีการศึกษา ทำให้เป็นหนึ่งในการทดลองภาคสนามที่ยาวนานที่สุดเกี่ยวกับการสอน AI

ผลลัพธ์พาดหัว: การมอบหมายเงื่อนไขการสอนแบบ AI ทำให้ผลสัมฤทธิ์ทางการเรียนคณิตศาสตร์เพิ่มขึ้น 1.3 อันดับเปอร์เซ็นไทล์ระดับชาติต่อเทอม ซึ่งผู้เขียนคำนวณค่าเบี่ยงเบนมาตรฐานประมาณ 0.06 ถึง 0.08 ตลอดปีการศึกษา ผลกระทบโดยนัยของการมีส่วนร่วมอย่างแข็งขันตลอดทั้งปีมีค่าถึง 0.14 ส่วนเบี่ยงเบนมาตรฐาน สิ่งเหล่านี้เป็นผลกำไรที่ตรวจพบได้จริงทางสถิติ และสำหรับการแทรกแซงซอฟต์แวร์ที่มีต้นทุนต่ำ สิ่งเหล่านี้ก็น่านับถือ

แต่การเปรียบเทียบที่ทำให้โฆษณาเกินจริงคือ: ผลที่ได้นั้นคล้ายคลึงกับที่ได้จากการฝึกของ Khan Academy โดยไม่ได้รับความช่วยเหลือจาก AI นักเรียนที่ใช้เครื่องมือฝึกซ้อมที่มีอยู่ของแพลตฟอร์ม โดยไม่มีครูสอนพิเศษด้าน AI ดูเหมือนจะทำสำเร็จ เช่นเดียวกับนักเรียนที่สามารถเข้าถึง Khanmigo

ปัญหาการมีส่วนร่วมในข้อมูล

ส่วนที่เปิดเผยมากที่สุดของบทความนี้คือบัญชีการใช้งานทางนิติวิทยาศาสตร์ หากดูเผินๆ การรับเลี้ยงบุตรบุญธรรมดูแข็งแกร่ง: นักเรียน 96 เปอร์เซ็นต์ได้ลองใช้ Khanmigo อย่างน้อยหนึ่งครั้ง ด้านล่างการหมั้นพังทลายลง ค่ามัธยฐานของนักเรียนส่งข้อความหาครูสอนพิเศษเพียงประมาณหนึ่งในสามของวันที่พวกเขาฝึกคณิตศาสตร์ และเพียงร้อยละ 17 ของช่วงแบบฝึกหัดที่พวกเขาทำผิดพลาด เมื่อนักเรียนส่งข้อความหาครูสอนพิเศษ ผู้เขียนพบว่าข้อความส่วนใหญ่เป็นคำตอบเปล่าๆ หรือคลิกบนคำแนะนำที่แนะนำ แทนที่จะเป็นบทสนทนาทางคณิตศาสตร์ที่สำคัญ

กล่าวอีกนัยหนึ่ง ครูสอนพิเศษได้รับการกำหนดค่าให้ฝึกสอนนักเรียนแบบโสคราตีสผ่านข้อผิดพลาด แต่นักเรียนส่วนใหญ่หลีกเลี่ยงการสนทนาการฝึกสอนโดยสิ้นเชิง ผู้เขียนสรุปว่าข้อจำกัดที่มีผลผูกพันดูเหมือนจะเป็นการมีส่วนร่วม การตระหนักถึงคำมั่นสัญญาของการสอนแบบ AI จะต้องให้นักเรียนใช้ ไม่ใช่แค่ให้พวกเขาเข้าถึงเท่านั้น

เหตุใดจึงสำคัญสำหรับโรงเรียนที่ซื้อ AI

เขตต่างๆ ทั่วสหรัฐอเมริกาอยู่ภายใต้แรงกดดันในการนำเครื่องมือ AI มาใช้ และการสอนพิเศษถือเป็นกรณีการใช้งานหลักในเกือบทุกการนำเสนอ Generative AI ได้รับการส่งเสริมให้เป็นเทคโนโลยีที่สามารถส่งมอบสิ่งที่นักวิจัยด้านการศึกษาเรียกว่าความฝันแบบสองซิกมาได้ในที่สุด: ครูสอนพิเศษส่วนตัวสำหรับนักเรียนทุกคน กรอบสองซิกมาของ The Bloom มาจากการวิจัยเก่าๆ เกี่ยวกับการสอนของมนุษย์ และเป็นสิ่งที่สัญญาที่ผู้สอน AI จะทำการตลาดต่อต้าน

การศึกษานี้ชี้ให้เห็นว่าจุดคอขวดไม่ใช่คุณภาพของโมเดลหรือการเข้าถึง นักเรียนทุกคนในกลุ่มบำบัดมีครูสอนพิเศษ LLM ที่ล้ำสมัยภายในบล็อกคณิตศาสตร์รายวันเพียงคลิกเดียวโดยไม่มีค่าใช้จ่าย ข้อจำกัดอยู่ที่ว่าวัยรุ่นจะสมัครใจรักษาบทสนทนาการสอนวันแล้ววันเล่าในชั้นเรียนซ่อมเสริมหรือไม่ การสอนโดยมนุษย์ได้ผลส่วนหนึ่งเพราะว่ามีคนสังเกตเห็นเมื่อคุณเลิกเรียน จนถึงขณะนี้ซอฟต์แวร์ไม่สามารถจำลองการดึงนั้นได้อย่างน่าเชื่อถือ

คำเตือนที่ควรคำนึงถึง

บทความนี้เป็น EdWorkingPaper ซึ่งเผยแพร่ผ่าน Annenberg Institute ของมหาวิทยาลัย Brown และผู้อ่านควรถือว่าบทความนี้เป็นงานวิจัยที่ได้ผลมากกว่าผลการวิจัยที่ได้รับการตรวจสอบโดยผู้ทรงคุณวุฒิ การศึกษานี้ครอบคลุมคณิตศาสตร์เสริมสำหรับโรงเรียนมัธยมศึกษาตอนต้นในรัฐเดียว ดังนั้นการสรุปวิชาอื่นๆ ระดับชั้น หรือแบบจำลองการใช้งานจึงเป็นการเก็งกำไร มีการวัดกรอบของผู้เขียนเอง: พวกเขารายงานสิ่งที่เกิดขึ้นเมื่อมีการแบ่งครูสอนพิเศษ AI ที่แพร่หลายเข้าสู่เซสชันการฝึกซ้อมที่มีอยู่ ไม่ใช่สิ่งที่อาจเกิดขึ้นภายใต้หลักสูตรที่แตกต่างกันหรือแรงจูงใจที่แข็งแกร่งกว่าในการมีส่วนร่วม

นอกจากนี้ยังเป็นที่น่าสังเกตว่าสิ่งที่การศึกษาไม่ได้กล่าวไว้ ไม่พบว่าการสอนแบบ AI นั้นไร้ประโยชน์ ผลเบี่ยงเบนมาตรฐาน 0.14 จากการมีส่วนร่วมอย่างแข็งขันทั้งปีจะมีความหมายหากสามารถรักษาการมีส่วนร่วมไว้ได้ การค้นพบนี้ใกล้เคียงกับสิ่งนี้มากขึ้น: เทคโนโลยีใช้งานได้เช่นเดียวกับเครื่องมือฝึกหัดที่ไม่ใช่ AI เนื่องจากนักเรียนไม่ได้ใช้ AI แตกต่างจากปุ่มที่พวกเขาเพิกเฉยอยู่แล้ว

อาหารกลับบ้าน

ภาคเทคโนโลยีการศึกษาใช้เวลาสองปีโดยให้คำมั่นสัญญาว่าผู้สอน AI รุ่นใหม่จะเปลี่ยนห้องเรียน การทดลองนี้เป็นหนึ่งในการทดลองแรกๆ ที่ติดตามนักเรียนจริงๆ ตลอดระยะเวลา 2 ปีเต็ม ชี้ให้เห็นว่าการเปลี่ยนแปลงนี้เกิดจากปัญหาเก่าๆ ที่ทำให้เด็กๆ อยากทำงาน สำหรับผู้นำโรงเรียน บทเรียนคือการเรียกร้องข้อมูลการมีส่วนร่วม ไม่ใช่แค่จำนวนใบอนุญาต จากผู้จำหน่าย AI สำหรับอุตสาหกรรม AI ถือเป็นเครื่องเตือนใจว่าปัญหาที่ยากที่สุดในการนำ AI ไปใช้นั้นแทบจะไม่เกี่ยวกับโมเดลเลย

ติดตามการวิจัย AI

การทดลองภาคสนามเช่นนี้สามารถผ่านวงจรกระแสเกินจริงได้เร็วกว่าการวัดประสิทธิภาพใดๆ เพื่อความครอบคลุมอย่างต่อเนื่องของการวิจัย AI พร้อมผลลัพธ์ที่ตามมาในโลกแห่งความเป็นจริง ติดตามข่าว AI ได้ที่ aibuzzwire.news

อ่านข่าว AI เพิ่มเติม →