โครงการโอเพ่นซอร์สได้บีบโมเดลภาษา 28.9 ล้านพารามิเตอร์ลงบนไมโครคอนโทรลเลอร์ซึ่งมีราคาประมาณ 8 ดอลลาร์ และสร้างข้อความทั้งหมดบนชิปที่ประมาณเก้าโทเค็นต่อวินาที โดยไม่ต้องเชื่อมต่อเครือข่ายเลย การสาธิตนี้เผยแพร่บน GitHub และไต่ขึ้นหน้าแรกของ Hacker News อย่างรวดเร็ว แสดงให้เห็นว่าขอบเขตของ AI ขนาดเล็กในท้องถิ่นได้เคลื่อนไปไกลแค่ไหนในเวลาอันสั้น

การทำงานมุ่งเน้นไปที่ ESP32-S3 ซึ่งเป็นชิปฝังตัวราคาไม่แพงซึ่งเป็นที่นิยมในหมู่มือสมัครเล่นและผู้ผลิตฮาร์ดแวร์ การใช้แบบจำลองพารามิเตอร์ 28.9 ล้านบนซิลิคอนชิ้นเล็กๆ ดังกล่าวดูเหมือนจะไม่น่าเป็นไปได้เมื่อไม่นานมานี้ และโปรเจ็กต์นี้นำเสนอภาพประกอบที่ชัดเจนของการผลักดันในวงกว้างไปสู่ ​​AI บนอุปกรณ์ที่เราติดตามใน [ความครอบคลุมของอุตสาหกรรม AI] รายวันของเรา (https://aibuzzwire.news) ในกรณีที่คลาวด์เคยรู้สึกว่าจำเป็นสำหรับโมเดลภาษาจริงใดๆ ระบบที่มีความสามารถเพิ่มมากขึ้นกำลังค้นหาบ้านที่ Edge

##เลขหลังจัดสร้าง

โครงการมีการกำหนดข้อกำหนดไว้อย่างชัดเจน แบบจำลองนี้จัดเก็บพารามิเตอร์ได้ 28.9 ล้านพารามิเตอร์ โดยในจำนวนนี้มีประมาณ 25 ล้านพารามิเตอร์อยู่ในตารางค้นหาแบบแฟลช ทำงานบนชิป ESP32-S3 พร้อม SRAM ที่รวดเร็ว 512KB, PSRAM 8MB และพื้นที่เก็บข้อมูลแฟลช 16MB ในทางปฏิบัติจะมีความเร็วถึงประมาณ 9.5 โทเค็นต่อวินาทีตั้งแต่ต้นจนจบ หรือ 9.7 โทเค็นต่อวินาทีสำหรับการประมวลผลเพียงอย่างเดียว และโมเดลทั้งหมดใช้พื้นที่เพียง 14.9 เมกะไบต์เมื่อจัดเก็บที่ความแม่นยำ 4 บิต

สิ่งที่โดดเด่นที่สุดคือการเปรียบเทียบระหว่างผู้เขียนกับงานก่อนๆ โมเดลภาษาสุดท้ายที่รันบนชิปในคลาสนี้มีพารามิเตอร์เพียง 260,000 ตัว โครงสร้างใหม่จุได้มากกว่าประมาณร้อยเท่า ซึ่งเป็นการก้าวกระโดดที่ไม่ได้มาจากชิปที่ใหญ่กว่า แต่มาจากการคิดใหม่ว่าข้อมูลของแบบจำลองนั้นอยู่ที่ใด

เคล็ดลับความจำที่ยืมมาจากเจมม่า

ปัญหาหลักคือไมโครคอนโทรลเลอร์แทบไม่มีหน่วยความจำที่รวดเร็ว ESP32-S3 นำเสนอ SRAM เพียง 512KB และโดยทั่วไปแล้ว โมเดลทั้งหมดจะต้องสามารถเข้าถึงได้จากที่นั่น ซึ่งเป็นเหตุผลว่าทำไมความพยายามครั้งก่อนจึงติดอยู่ที่พารามิเตอร์สองสามแสนตัว

วิธีแก้ปัญหาขึ้นอยู่กับการสังเกตง่ายๆ พารามิเตอร์ของโมเดลภาษาส่วนใหญ่จะอยู่ในตารางแบบฝัง ซึ่งโมเดลจะอ่านแทนที่จะคำนวณ ดังนั้น แทนที่จะบังคับให้ตารางขนาดมหึมาจำนวน 25 ล้านแถวนั้นเข้าสู่หน่วยความจำที่รวดเร็วที่ขาดแคลน โปรเจ็กต์จะปล่อยให้ตารางนั้นอยู่ในที่เก็บข้อมูลแฟลชที่ช้า และดึงแถวเพียงไม่กี่แถวที่แต่ละโทเค็นต้องการจริง ๆ ประมาณ 450 ไบต์ในแต่ละครั้ง ส่วนเล็กๆ ของแบบจำลองที่ทำการคำนวณจริงจะยังคงอยู่ในหน่วยความจำที่รวดเร็ว ในขณะที่ตุ้มน้ำหนักส่วนใหญ่เพียงรอแบบแฟลช และสุ่มตัวอย่างทีละน้อย

เทคนิคดังกล่าวเรียกว่า Per-Layer Embeddings และมีต้นกำเนิดมาจากโมเดล Gemma ของ Google โดยเฉพาะ Gemma 3n และ Gemma 4 ซึ่งออกแบบมาสำหรับโทรศัพท์และ GPU ตามที่ผู้เขียนโครงการกล่าวไว้ ไม่มีใครเคยลองใช้วิธีนี้กับชิปที่มีขนาดเล็กขนาดนี้มาก่อน

อะไรทำได้ และอะไรทำไม่ได้

โมเดลนี้ได้รับการฝึกฝนบน TinyStories ซึ่งเป็นชุดข้อมูลนิทานเด็กง่ายๆ ดังนั้นความสามารถของโมเดลจึงจำกัดให้แคบลง มันเขียนเรื่องสั้นซึ่งส่วนใหญ่สอดคล้องกัน แต่จะไม่ตอบคำถามที่เป็นข้อเท็จจริง ทำตามคำแนะนำที่ซับซ้อน เขียนโค้ด หรือให้เหตุผลเกี่ยวกับโลก ผู้เขียนบอกอย่างตรงไปตรงมาว่าข้อจำกัดนี้เกิดจากส่วนการให้เหตุผลเล็กๆ น้อยๆ ของโมเดล และเคล็ดลับการจำไม่ได้เปลี่ยนแปลง

สิ่งที่ทำให้โครงการน่าสนใจจึงไม่ใช่คุณภาพของผลงาน แต่เป็นสถาปัตยกรรม ความสำเร็จนี้คือการใส่โมเดลขนาดใหญ่ลงบนชิปที่มีขนาดเล็กขนาดนี้ ซึ่งพิสูจน์ได้ว่าเทคนิคเดียวกันที่ขับเคลื่อนโมเดลที่มีประสิทธิภาพบนโทรศัพท์และเซิร์ฟเวอร์สามารถผลักดันไปจนถึงฮาร์ดแวร์ที่มีราคาต่ำกว่าแซนด์วิชได้

เหตุใด AI บนอุปกรณ์จึงมีความสำคัญ

ความหมายมีมากกว่าการสาธิตทางเทคนิคที่เรียบร้อย เนื่องจากโมเดลทำงานบนชิปทั้งหมด จึงไม่มีการถูกส่งไปยังเซิร์ฟเวอร์เลย นั่นหมายถึงความเป็นส่วนตัวโดยสมบูรณ์ด้วยโครงสร้าง ไม่มีข้อมูลออกจากอุปกรณ์ และไม่มีค่าบริการคลาวด์ที่ต้องจ่าย สำหรับแอปพลิเคชันในพื้นที่ห่างไกล อุปกรณ์ที่ใช้พลังงานต่ำ หรือการตั้งค่าที่การเชื่อมต่อไม่น่าเชื่อถือ การรวมกันดังกล่าวมีประโยชน์อย่างแท้จริง

นอกจากนี้ยังชี้ให้เห็นถึงอนาคตที่โมเดลเฉพาะทางขนาดเล็กถูกกระจายไปยังอุปกรณ์ฝังตัวราคาถูกหลายพันล้านเครื่อง แทนที่จะกระจุกตัวอยู่ในศูนย์ข้อมูลขนาดยักษ์เพียงไม่กี่แห่ง แรงกดดันเดียวกันที่กระตุ้นให้เกิดความสนใจใน AI ในพื้นที่บนแล็ปท็อปและโทรศัพท์ กล่าวคือ เวลาแฝงที่ลดลง ต้นทุนที่ลดลง และความเป็นส่วนตัวที่แข็งแกร่งยิ่งขึ้น จะนำไปใช้อย่างแข็งขันยิ่งขึ้นในระดับไมโครคอนโทรลเลอร์

คำเชิญแบบเปิดถึงคนจรจัด

โปรเจ็กต์นี้เผยแพร่ภายใต้ใบอนุญาต MIT ที่ได้รับอนุญาต และผู้เขียนได้แชร์โค้ดแบบเต็มบน GitHub พร้อมด้วยเอกสารประกอบโดยละเอียดและผลลัพธ์การวัดประสิทธิภาพ การเปิดกว้างดังกล่าวหมายความว่านักพัฒนาฮาร์ดแวร์รายอื่นๆ สามารถศึกษาแนวทางดังกล่าว ปรับให้เข้ากับชิปอื่นๆ หรือเพิ่มจำนวนพารามิเตอร์ให้สูงขึ้นได้

งานนี้เปิดตัวภายใต้ชื่อ slvDev ซึ่งโดนใจชุมชนนักพัฒนาอย่างมาก โดยได้รับคะแนนโหวตหลายร้อยรายการจาก Hacker News และกระตุ้นให้เกิดการอภิปรายว่าเทคนิคนี้จะเดินทางไปที่ใดต่อไป หากแนวโน้มยังคงอยู่ เส้นแบ่งระหว่าง "โมเดลภาษา" และซอฟต์แวร์ฝังตัวทั่วไปกำลังจะเบลอมากขึ้น

ก้าวนำหน้า AI

จากชิปมูลค่า 8 ดอลลาร์ไปจนถึงศูนย์ข้อมูลมูลค่าพันล้านดอลลาร์ คำถามที่ว่า AI ทำงานที่ไหน มีความสำคัญพอๆ กับสิ่งที่ AI สามารถทำได้ เลเยอร์ฮาร์ดแวร์กำลังพัฒนาเร็วกว่าที่คนส่วนใหญ่ตระหนัก และโครงการที่ดูเหมือนเป็นเรื่องน่ารู้ในปัจจุบันมักจะกำหนดกระแสหลักในวันพรุ่งนี้ อ่านข่าว AI เพิ่มเติมบน AI Buzz Wire เพื่อติดตามทุกความก้าวหน้าในการประมวลผลแบบเอดจ์ ประสิทธิภาพของโมเดล และความอัจฉริยะบนอุปกรณ์

ติดตามการปฏิวัติฮาร์ดแวร์ AI — เยี่ยมชม AI Buzz Wire