ในขณะที่ห้องปฏิบัติการชายแดนกำลังเร่งสร้างแบบจำลองล้านล้านพารามิเตอร์ที่เติมเต็มศูนย์ข้อมูล นักพัฒนารายหนึ่งได้หันไปทางอื่นโดยสิ้นเชิง นั่นคือ โมเดลภาษาสำหรับการตอบคำถามที่ใช้งานได้ดี ซึ่งพอดีกับฟล็อปปี้ดิสก์แผ่นเดียวในยุค 1980 และทำงานบน CPU ที่เก่าพอที่จะจัดส่งภายใน 486DX
โปรเจ็กต์นี้มีชื่อว่า Tiny 2.1 ถูกค้นพบโดย Hackaday และได้รับเลือกในสัปดาห์นี้โดย Futurism และ Tom's Hardware ตามหน้าโครงการ GitHub โมเดลทั้งหมดมีน้ำหนักประมาณ 380 KB ของน้ำหนัก 8 บิต ซึ่งเล็กพอที่จะใส่บนฟล็อปปี้ดิสก์รูปแบบ MS-DOS ได้อย่างสะดวกสบาย และต้องการหน่วยความจำเพียง 540 KB เพื่อรัน Tom's Hardware รายงานว่าบริษัทยังพูดคำตอบผ่านลำโพง PC แบบเรียบง่ายอีกด้วย หากคุณเพลิดเพลินกับเรื่องราวเกี่ยวกับ AI ที่ทำลายความคาดหวัง การพัฒนา AI ล่าสุด ของเราครอบคลุมทุกอย่างตั้งแต่การอนุมาน Edge ไปจนถึงระบบชายแดนที่มีพารามิเตอร์ล้านล้านพารามิเตอร์
หม้อแปลงตอบคำถามพร้อมพารามิเตอร์ 367,000 รายการ
Tiny 2.1 เป็นสถาปัตยกรรมหม้อแปลงไฟฟ้าขนาดเล็กที่มีพารามิเตอร์ประมาณ 367,000 รายการ ซึ่งถือเป็นเสี้ยวหนึ่งของขนาดรุ่น "น้ำหนักเบา" ซึ่งโดยทั่วไปแล้วจะวัดค่าได้ในระดับต่ำนับพันล้าน เขียนด้วย Turbo C 2.0 และทำงานบน MS-DOS ซึ่งเป็นระบบปฏิบัติการที่ครอบงำคอมพิวเตอร์ส่วนบุคคลในช่วงทศวรรษ 1980 และต้นทศวรรษ 1990 โดยกำหนดเป้าหมายไปที่เครื่องรุ่นเก่าอย่าง Intel 486DX และ Pentium รุ่นแรกๆ
ข้อมูลการฝึกอบรมมีขนาดเล็กมาก: เพียง 3,500 ข้อเท็จจริง ข้อจำกัดดังกล่าวจะกำหนดประสบการณ์ในการใช้งาน ในภาพหน้าจอที่แชร์บนหน้าโครงการ แบบจำลองตอบอย่างถูกต้องว่าปลาวาฬเป็นสัตว์เลี้ยงลูกด้วยนมมากกว่าปลา และให้เครดิต Alexander Graham Bell อย่างถูกต้องในการประดิษฐ์โทรศัพท์ เมื่อถูกขอให้คำนวณ 17 คูณ 23 แต่คำตอบกลับเป็น "96" และเมื่อถามว่ากษัตริย์แห่งฝรั่งเศสคือใคร ก็ตอบอย่างมั่นใจ “คือแอนตาร์ซ นิวตัน” ด้วยระดับความเชื่อมั่น 100 เปอร์เซ็นต์
อย่าคาดหวังประสิทธิภาพเหมือนคลอดด์
ดังที่ลัทธิฟิวเจอร์ริสม์ตั้งข้อสังเกตอย่างตรงไปตรงมา โมเดลนี้ "สร้างคำตอบได้ค่อนข้างมากตลอดเวลา" เพราะมันไม่ได้รู้อะไรเกี่ยวกับโลกมากนัก ไม่มีเลเยอร์การดึงข้อมูล ไม่มีการใช้เครื่องมือ ไม่มีการค้นหาเว็บ มีเพียงโครงข่ายประสาทเทียมขนาดกะทัดรัดและรูปแบบใดก็ตามที่ดูดซับจากชุดการฝึกอบรม 3,500 ข้อเท็จจริง
สิ่งที่ทำให้โครงการโดดเด่นคือสิ่งที่โมเดลสามารถทำได้น้อยกว่าสิ่งที่แสดงให้เห็นการมีอยู่ของมัน การอนุมาน LLM สมัยใหม่เกี่ยวข้องกับหน่วยความจำกิกะไบต์ การเร่งความเร็วของ GPU และพลังงานกิโลวัตต์ Tiny 2.1 เป็นการพิสูจน์แนวคิดที่ว่าหม้อแปลงไฟฟ้าสามารถสร้างการโต้ตอบระหว่างคำถามและคำตอบที่มีโครงสร้างบนฮาร์ดแวร์โดยไม่ต้องมีหน่วยทศนิยม ไม่ต้องพูดถึงข้อกำหนดของฮาร์ดไดรฟ์นอกเหนือจากฟล็อปปี้ดิสก์ และเส้นทางเอาต์พุตเสียงแบบดั้งเดิมเช่นเดียวกับลำโพงของเมนบอร์ด
AI ที่สร้างด้วย AI
นอกจากนี้ยังมีเมตาบิด ตามหน้าโครงการ นักพัฒนาไม่ได้เขียนทุกบรรทัดด้วยมือ พวกเขาใช้ Anthropic's Fable 5.2 เพื่อช่วยเขียนโค้ดของโมเดล และใช้ Opus 5.5 เพื่อสนับสนุนกระบวนการฝึกอบรม กล่าวอีกนัยหนึ่ง แบบจำลองที่มีขนาดเล็กพอที่จะใส่ลงในฟล็อปปี้ดิสก์นั้นถูกเขียนและฝึกฝนโดยได้รับความช่วยเหลือจากระบบ AI ระดับแนวหน้า ซึ่งเป็นลูกหลานตัวน้อยของพ่อแม่ที่มีขนาดใหญ่มาก
ขั้นตอนการทำงานดังกล่าวสะท้อนให้เห็นถึงแนวโน้มที่กว้างขึ้นในด้านวิศวกรรม AI ซึ่งโมเดลขนาดใหญ่สร้าง ตรวจแก้จุดบกพร่อง และเพิ่มประสิทธิภาพระบบที่ทำงานบนฮาร์ดแวร์ที่มีขนาดเล็กกว่ามากเพิ่มมากขึ้น รูปแบบเดียวกันนี้ปรากฏในกลุ่มเครื่องมือ Edge-AI สมัยใหม่ ซึ่งโมเดลระดับคลาวด์ช่วยบีบอัดและกำหนดปริมาณเครือข่ายสำหรับโทรศัพท์ ไมโครคอนโทรลเลอร์ และอุปกรณ์ฝังตัว
ทำไมโมเดลจิ๋วจึงมีความสำคัญ
Tiny 2.1 จะไม่คุกคามแชทบอทเชิงพาณิชย์ใดๆ แต่โปรเจ็กต์ลักษณะนี้ทำหน้าที่เป็นเครื่องเตือนใจที่มีประโยชน์ว่าการบีบอัดโมเดลมาไกลแค่ไหน และตัวเลือกที่ขยายตัวได้มากเพียงใด ไม่ใช่ความจำเป็น ผู้ที่ชื่นชอบการประมวลผลแบบย้อนยุคใช้เวลาหลายปีในการแสดงให้เห็นว่าฮาร์ดแวร์ที่มีอายุหลายสิบปียังคงสามารถทำงานได้อย่างน่าประหลาดใจ ตั้งแต่ Amigas ที่รองรับเบราว์เซอร์ไปจนถึงเครื่อง 8 บิตที่เชื่อมต่อเครือข่าย แบบจำลองภาษาที่เข้าร่วมเชื้อสายนั้นเป็นแบบแรกและเป็นแบบที่สนุกสนาน
ข้อจำกัดทางวิศวกรรมที่หล่อหลอม Tiny 2.1 ก็เป็นอุปสรรคต่อประสิทธิภาพเช่นกัน รูปแบบน้ำหนัก 8 บิต คำศัพท์และสถาปัตยกรรมตามขนาดงาน และเส้นทางเอาต์พุตที่ออกแบบโดยคำนึงถึงข้อจำกัดของฮาร์ดแวร์ จะรวมกันกลายเป็นระบบที่นับทุกกิโลไบต์ ตรงกันข้ามกับการปรับใช้ทั่วไป โดยที่การกำหนดปริมาณ การตัด และการกลั่นเป็นการแก้ไขย้อนหลังที่ใช้กับโมเดลที่สร้างขึ้นในขนาดที่ใหญ่ขึ้นอย่างมาก และที่ที่เซสชันแชทเดียวสามารถใช้หน่วยความจำมากกว่าความต้องการรันไทม์ของ Tiny 2.1 ทั้งหมด รวมน้ำหนักไว้ด้วย
นอกจากนี้ยังเข้าสู่ช่วงเวลาของการตรวจสอบสภาพแวดล้อมอย่างแท้จริงเกี่ยวกับความต้องการใช้พลังงานของ AI โดยนักวิจัยและหน่วยงานกำกับดูแลให้ความสำคัญกับต้นทุนด้านพลังงานของการฝึกอบรมและการอนุมานขนาดใหญ่มากขึ้น และการต่อสู้เพื่อตั้งศูนย์ข้อมูลที่กำลังเกิดขึ้นทั่วสหรัฐอเมริกา โมเดลที่ทำงานบนหน่วยความจำ 540 KB และแหล่งจ่ายไฟในช่วงปี 1980 ไม่ใช่วิธีแก้ปัญหาดังกล่าว แต่เป็นภาพประกอบที่ชัดเจนของอีกด้านหนึ่งของสเปกตรัม นั่นคือ การอนุมานด้วยรอยเท้าที่วัดเป็นวัตต์ ไม่ใช่เมกะวัตต์ ผู้อ่านที่ติดตามว่าสนามนี้ทอดยาวไปไกลแค่ไหน ตั้งแต่ฟล็อปปี้ดิสก์ไปจนถึงวิทยาเขตขนาดกิกะวัตต์ สามารถค้นหาทั้งสองด้านได้ใน ข่าวด่วน AI ของเรา
ในตอนนี้ ผู้สร้าง Tiny 2.1 สามารถอ้างสิทธิ์ในความสำเร็จที่หาได้ยากอย่างแท้จริง นั่นคือโครงข่ายประสาทเทียมที่คุณสามารถติดตั้งจากสื่อเดียวกับที่คุณใช้ในการบันทึกเอกสารโปรแกรมประมวลผลคำ บนเครื่องที่ถือกำเนิดบนเว็บ มันทำให้เกิดภาพหลอนอยู่ตลอดเวลา อ้างอิงตัวตนของราชวงศ์ฝรั่งเศสผิดด้วยความมั่นใจ และไม่สามารถคูณตัวเลขสองหลักได้อย่างน่าเชื่อถือ นอกจากนี้ยังทำงานบนฟล็อปปี้ดิสก์ทั้งหมดอีกด้วย
ก้าวนำหน้า AI
ตั้งแต่ฟล็อปปี้ดิสก์ไปจนถึงห้องปฏิบัติการชายแดน เราติดตามมันทั้งหมด อ่านข่าว AI เพิ่มเติม →
