ห้องปฏิบัติการวิจัยที่มีคนสองคนได้ฝึกอบรมโมเดลข้อความเป็นรูปภาพในราคาประมาณ 21,000 และเผยแพร่ภายใต้ใบอนุญาตที่ได้รับอนุญาตอย่างสมบูรณ์ Linum ก่อตั้งโดยซีอีโอร่วม Sahil Chopra และ Manu Chopra ได้เผยแพร่ผลการวิจัยเมื่อวันที่ 4 พฤศจิกายนในโพสต์บันทึกภาคสนามทางเทคนิค โดยมีรายละเอียด โมเดล Pixel-JiT (P-JiT) พารามิเตอร์ 2 พันล้านพารามิเตอร์ ที่ได้รับการฝึกอบรมกับตัวอย่าง 660 ล้านตัวอย่าง เพื่อเป็นการพิสูจน์แนวคิดในการก้าวไปสู่โมเดลวิดีโอขนาดใหญ่ ทั้งรหัสรุ่นและน้ำหนักมีให้ใช้งานภายใต้ Apache 2.0 ซึ่งเป็นใบอนุญาตที่อนุญาตให้นำไปใช้ในเชิงพาณิชย์ได้โดยไม่มีข้อจำกัด นี่เป็นจุดข้อมูลที่โดดเด่นในการถกเถียงว่าการวิจัย AI คุณภาพระดับแนวหน้ามีค่าใช้จ่ายเท่าใดจริงๆ ซึ่งเป็นหัวข้อที่เราติดตามใน การรายงานข่าวการวิจัย AI ของเรา

ทำไมต้องข้าม VAE?

ไปป์ไลน์การสร้างภาพที่ทันสมัยส่วนใหญ่จะบีบอัดภาพโดยใช้ ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE) แยกต่างหาก: VAE บีบภาพลงในพื้นที่แฝงขนาดกะทัดรัด และแบบจำลองการแพร่กระจายจะเกิดขึ้นภายในพื้นที่ที่ถูกบีบอัดนั้น ทีมงานของ Linum แย้งว่าการแบ่งงานในส่วนนี้ถึงขีดจำกัดแล้ว ในการเขียนบทความ พวกเขาตั้งข้อสังเกตว่า VAE "ดูเหมือนจะมีเพดานเชิงประจักษ์เกี่ยวกับปริมาณการบีบอัดที่สามารถทำได้" การผลักดันการบีบอัดเพิ่มเติมนั้นจำเป็นต้องมีการผ่าตัดที่สำคัญกับสถาปัตยกรรมแบบดั้งเดิม และการปรับปรุงการสร้าง VAE ขึ้นใหม่อาจทำให้รุ่นของแบบจำลองการแพร่กระจายขั้นปลายแย่ลงได้

คำตอบของพวกเขาคือการลบ VAE ออกทั้งหมด P-JiT เป็นโมเดลพื้นที่พิกเซล — โมเดลการแพร่กระจายทำงานบนพิกเซลโดยตรงและเรียนรู้จุดประสงค์แฝงที่สร้างขึ้นสำหรับกรณีการใช้งานของตัวเอง การบีบอัดและสร้างในเวลาเดียวกัน เดิมพันก็คือโมเดลเดียวที่ได้รับการฝึกอบรมแบบ end-to-end สามารถบีบการประมวลผลเดียวกันได้มากกว่าการส่งต่อระหว่างเครือข่ายพิเศษสองเครือข่าย

ผลตอบแทนทางเทคนิค

ชื่อของสถาปัตยกรรมหมายถึงโทเค็นที่มีรูปทรงปิรามิด ในกรณีที่โมเดลปัจจุบันส่วนใหญ่ — Linum อ้างถึง FLUX-2 เป็นตัวอย่างทั่วไป — ใช้การลดโทเค็น 16×16 แต่ P-JiT บรรลุผลสำเร็จ การลดโทเค็น 32×32 ซึ่งแสดงถึงรูปภาพ 512×512 ในงบประมาณโทเค็นที่จำเป็นก่อนหน้านี้สำหรับรูปภาพ 256×256 นั่นแปลว่าหน้าต่างบริบทความสนใจลดลง 4 เท่า และความสนใจเป็นจุดคอขวด O(n²) อย่างแน่นอน ซึ่งทำให้ทั้งการฝึกอบรมและการอนุมานมีราคาแพงสำหรับวิดีโอเชิงสร้างสรรค์

ผลลัพธ์ตามการวัดของทีม: P-JiT มาบรรจบกันในกลุ่มตัวอย่างน้อยกว่า 11× เมื่อเทียบกับ Linum v2 ซึ่งเป็นรุ่นก่อนหน้าของห้องปฏิบัติการที่สร้างขึ้นบน Wan VAE ที่ได้มาตรฐานมากกว่าพร้อมสูตรการแพร่กระจาย DiT การวิ่งมูลค่า 21,000 ดอลลาร์ — ตัวอย่างการฝึกอบรม 660 ล้านตัวอย่าง — ได้สร้างแบบจำลองที่ทีมงานอธิบายว่ามีความสามารถอย่างน่าประหลาดใจเมื่อพิจารณาจากขนาดของมัน

ซื้ออะไรมูลค่า 21,000 ดอลลาร์

การเปิดตัวประกอบด้วย ภาพตัวอย่าง 249 ภาพ พร้อมข้อความแจ้ง ซึ่งครอบคลุมผู้คน (57 คน) สัตว์ (42 คน) อาคาร (20 คน) ผลิตภัณฑ์ (43 คน) ทิวทัศน์ (19 คน) และการเรนเดอร์อย่างมีสไตล์ (68) ทีมงานตรงไปตรงมาเกี่ยวกับการวางตำแหน่ง: นี่คือ "การทดลอง" และ "ก้าวสำคัญ" สู่เป้าหมายที่แท้จริงของพวกเขา ซึ่งเป็นโมเดลวิดีโอ ตัวอย่างแสดงให้เห็นว่าสถาปัตยกรรมฝึกได้อย่างเสถียรและสร้างภาพที่สอดคล้องกันโดยใช้งบประมาณการฝึกอบรมเพียงเล็กน้อย ไม่ใช่ว่าคุณภาพจะตรงกับโมเดลภาพระดับแนวหน้า

บทความนี้ยังโดดเด่นด้วยวิธีที่ทีมบันทึกโหมดความล้มเหลวควบคู่ไปกับผลลัพธ์ พวกเขาระบุข้อจำกัดของโมเดลโดยตรงในโพสต์บันทึกภาคสนาม แทนที่จะฝังไว้ ซึ่งเป็นแนวทางปฏิบัติทั่วไปที่เพิ่มมากขึ้นในห้องปฏิบัติการขนาดเล็กซึ่งชื่อเสียงขึ้นอยู่กับความน่าเชื่อถือมากกว่างบประมาณทางการตลาด โพสต์นี้เป็นรายการที่สี่ในซีรีส์ "Road to Linum v3" ของทีม โดยต่อยอดมาจากการทำซ้ำก่อนหน้านี้ที่มีการอธิบายสถาปัตยกรรม P-JiT เป็นครั้งแรก ซึ่งเป็นบันทึกทางเทคนิคที่ทำงานอยู่ซึ่งช่วยให้นักวิจัยภายนอกติดตามการตัดสินใจในการออกแบบแต่ละครั้ง รวมถึงการตัดสินใจที่ไม่ได้ผลด้วย

สำหรับบริบทเกี่ยวกับตัวเลขต้นทุน: Linum จ่ายเงิน 21,000 ดอลลาร์สหรัฐฯ ครอบคลุมการประมวลผลสำหรับการดำเนินการฝึกอบรมตัวอย่าง 660 ล้านตัวอย่างสำหรับโมเดลพารามิเตอร์ 2B ซึ่งไม่สามารถเทียบเคียงได้โดยตรงกับงบประมาณของห้องปฏิบัติการชายแดน ซึ่งครอบคลุมการรวบรวมข้อมูล การจัดพนักงาน และการทดลองในการใช้งานที่ถูกยกเลิกหลายครั้ง สิ่งที่กำหนดไว้คือต้นทุนส่วนเพิ่มของการดำเนินการฝึกอบรมที่ประสบความสำเร็จและมีเอกสารเปิดเผย ซึ่งขณะนี้นักวิจัยและห้องปฏิบัติการของมหาวิทยาลัยจำนวนหนึ่งสามารถวางแผนตามความเป็นจริงได้

ความทะเยอทะยานที่ระบุไว้ของ Linum คือ เครื่องมือสร้างสรรค์ที่ทำให้การเข้าถึงแอนิเมชั่นเป็นประชาธิปไตย คำติชมของทีมเกี่ยวกับวิดีโอที่สร้างในปัจจุบันคือวิดีโอที่ช้าเกินไปและมีราคาแพง และไม่มีการควบคุมที่ละเอียด การผสมผสานที่พวกเขาโต้แย้งทำให้ "ไร้ประโยชน์อย่างมีประสิทธิภาพสำหรับการเล่าเรื่อง" เนื่องจากงานสร้างสรรค์ต้องมีการทำซ้ำโดยธรรมชาติ: คุณสร้าง คุณปรับแต่ง คุณจะดีขึ้น การฝึกอบรมที่ถูกกว่าและการอนุมานที่รวดเร็วกว่านั้นเป็นเงื่อนไขเบื้องต้นสำหรับการสร้างวิดีโอที่เหมาะกับเวิร์กโฟลว์การตัดต่ออย่างแท้จริง

ห้องแล็บขนาดเล็ก สัญญาณใหญ่

เศรษฐศาสตร์ที่จัดแสดงที่นี่มีความสำคัญมากกว่าการเริ่มต้นธุรกิจเพียงครั้งเดียว การฝึกอบรมซึ่งครั้งหนึ่งเคยกำหนดขอบเขตของสนาม ซึ่งวัดเป็นล้านดอลลาร์ ขณะนี้ได้รับการจับคู่กันในขอบเขตที่แคบ โดยทีมงานที่มีสมาชิกสองคนใช้จ่ายน้อยกว่าเงินเดือนประจำปีของวิศวกรอาวุโสทั่วไป การเผยแพร่ Open-weights ในระดับนี้ทำให้นักวิจัยอิสระสามารถตรวจสอบ ปรับแต่ง และสร้างบนสถาปัตยกรรมระดับการผลิตโดยไม่ต้องมีการสนับสนุนจากสถาบัน

คำเตือนมีความเป็นธรรมในการระบุ: โมเดลการแปลงข้อความเป็นรูปภาพ 2B นั้นยังห่างไกลจากขอบเขตคุณภาพของภาพ และการกล่าวอ้างเกี่ยวกับการบรรจบกันของ Linum นั้นเป็นการรายงานด้วยตนเอง แทนที่จะใช้การวัดประสิทธิภาพโดยอิสระ แต่การเผยแพร่นี้สามารถทำซ้ำได้อย่างสมบูรณ์ — รหัสและน้ำหนักภายใต้ Apache 2.0 — ซึ่งหมายความว่าใครก็ตามที่สงสัยสามารถวัดการกล่าวอ้างได้โดยตรง นั่นยิ่งกว่าเกณฑ์มาตรฐานใดๆ คือสิ่งที่ทำให้รุ่นแล็บขนาดเล็กเช่นนี้ควรค่าแก่การรับชม: สามารถดาวน์โหลดหลักฐานได้

ก้าวนำหน้า AI

งานวิจัยที่ครั้งหนึ่งเคยต้องใช้ห้องปฏิบัติการขององค์กรตอนนี้เหมาะกับบัตรเครดิตแล้ว ติดตามทุกความก้าวหน้าใน ข่าวการวิจัย AI ของเรา

อ่านข่าว AI เพิ่มเติม →