מעבדת מחקר של שני אנשים הכשירה מודל טקסט לתמונה תמורת כ-$21,000 - והוציאה אותו ברישיון מתירני לחלוטין. Linum, founded by co-CEOs Sahil Chopra and Manu Chopra, published the results on November 4 in a technical field-notes post, detailing a 2-billion-parameter Pixel-JiT (P-JiT) model trained on 660 million samples as a proof-of-concept on the road to larger video models. גם קוד הדגם וגם המשקלים זמינים תחת Apache 2.0, רישיון המאפשר שימוש מסחרי ללא הגבלה. זוהי נקודת נתונים בולטת בוויכוח על כמה מחקר בינה מלאכותית באיכות גבולית באמת עולה, נושא שאנו עוקבים אחרנו בסיקור מחקר AI.
למה לדלג על ה-VAE?
רוב הצינורות המודרניים ליצירת תמונות דוחסים תמונות באמצעות מקודד אוטומטי משתנה (VAE) נפרד: ה-VAE סוחט תמונה לתוך חלל סמוי קומפקטי, ומודל דיפוזיה יוצר בתוך החלל הדחוס הזה. הצוות של לינום טוען שחלוקת העבודה הזו הגיעה לתקרה. בכתבה שלהם, הם מציינים כי ל-VAE "נראה שיש תקרה אמפירית על כמות הדחיסה שהם יכולים להשיג", שדחיפה נוספת של דחיסה דורשת ניתוח משמעותי לארכיטקטורה המסורתית, וששיפור שחזור של VAE יכול למעשה להחמיר את דורות המודל של הדיפוזיה במורד הזרם.
התשובה שלהם היא להסיר את ה-VAE לגמרי. P-JiT הוא מודל מרחב פיקסלים - מודל הדיפוזיה פועל ישירות על פיקסלים ולומד מטרה סמויה שנבנתה למקרה שימוש משלו, דוחס ומייצר בו זמנית. ההימור הוא שדגם יחיד מאומן מקצה לקצה יכול לסחוט יותר מאותו מחשב מאשר מסירה בין שתי רשתות מיוחדות.
התמורה הטכנית
שמה של הארכיטקטורה מתייחס לאסימון בצורת פירמידה שלה. כאשר רוב הדגמים הנוכחיים - לינום מציינת את FLUX-2 כדוגמה טיפוסית - משתמשים בהפחתת אסימון של 16×16, P-JiT משיגה הפחתה של 32×32 אסימון, המייצגת תמונה של 512×512 בתקציב האסימון שהיה צורך בעבר לתמונה של 256×256. זה מתורגם ל-4× הפחתה בחלון ההקשר של הקשב, ותשומת לב היא בדיוק צוואר הבקבוק O(n²) שהופך את האימון וגם את ההסקה ליקר עבור וידאו יצירתי.
The results, by the team's own measurements: P-JiT converges in 11× fewer samples than Linum v2, the lab's previous model built on the more standard Wan VAE plus DiT diffusion recipe. הריצה של 21,000 דולר - 660 מיליון דגימות אימונים - יצרה דגם שהצוות מתאר כמוכשר באופן מפתיע בהתחשב בגודלו.
מה 21K$ קונה
המהדורה כוללת 249 תמונות לדוגמה עם ההנחיות שלהן, המתפרשות על אנשים (57), בעלי חיים (42), מבנים (20), מוצרים (43), נופים (19) ורינדורים מסוגננים (68). הצוות כנה לגבי מיצוב: זהו "שחרור ניסיוני" ו"קפיצה" לעבר המטרה האמיתית שלהם, מודל וידאו. הדוגמאות מדגימות שהארכיטקטורה מתאמנת ביציבות ומייצרת תמונות קוהרנטיות בשבריר מתקציבי הכשרה קונבנציונליים, לא שהיא תואמת מודלים של תמונה גבולית באיכות.
הכתיבה בולטת גם באופן שבו הצוות מתעד מצבי כשל לצד תוצאות. הם מונים את מגבלות המודל שלהם ישירות בפוסטים בשטח במקום לקבור אותם, מנהג נפוץ יותר ויותר בקרב מעבדות קטנות יותר שהמוניטין שלהן תלוי באמינות ולא בתקציבי שיווק. הפוסט הוא הרשומה הרביעית בסדרת "Road to Linum v3" של הצוות, תוך בנייה על איטרציה קודמת שבה תוארה לראשונה ארכיטקטורת P-JiT - יומן טכני פועל המאפשר לחוקרים מבחוץ לעקוב אחר כל החלטת עיצוב, כולל אלה שלא עבדו.
להקשר לנתון העלות: 21K $ של Linum כיסו את החישוב עבור ריצת אימון של 660 מיליון מדגם של מודל 2B-פרמטרים. זה לא ניתן להשוואה ישירה לתקציבי מעבדה גבוליים, שמתפרשים על רכישת נתונים, כוח אדם וניסויים על פני ריצות רבות שהופסקו. מה שהוא כן קובע הוא העלות השולית של ריצת הכשרה מוצלחת אחת, מתועדת בגלוי - מספר חוקרים בודדים ומעבדות אוניברסיטאות יכולים כעת לתכנן באופן מציאותי.
השאיפה המוצהרת של לינום היא כלים יצירתיים שמפרסמים את הגישה לאנימציה. הביקורת של הצוות על הסרטון היצירתי של היום היא שהוא איטי ויקר מדי, וחסר בקרות עדינות - שילוב שלטענתם הופך אותו ל"חסר תועלת אפקטיבית לסיפור סיפורים", שכן עבודה יצירתית היא מטבעה איטרטיבית: אתה עושה, אתה מתקן, אתה משתפר. אימון זול יותר והסקת מסקנות מהירה יותר הם, במסגור שלהם, התנאי המקדים ליצירת וידאו שמתאים למעשה לזרימת עבודה של עריכה.
מעבדות קטנות, אותות גדולים
הכלכלה המוצגת כאן חשובה מעבר לסטארט-אפ אחד. ריצות הכשרה שפעם הגדירו את גבול התחום - הנמדדות במיליוני דולרים - זוכות כעת, בתחומים צרים, לצוותים של שניים שמוציאים פחות ממשכורת שנתית טיפוסית של מהנדס בכיר. מהדורות של משקלים פתוחים בקנה מידה זה מעניקות לחוקרים עצמאיים את היכולת לבצע ביקורת, כוונון ולבנות על ארכיטקטורות בדרגת ייצור ללא גיבוי מוסדי.
ההסתייגות הוגנת: מודל 2B טקסט לתמונה רחוק מהגבול של איכות התמונה, ותביעות ההתכנסות של לינום מדווחות על עצמן ולא מודדות באופן עצמאי. אבל המהדורה ניתנת לשחזור מלא - קוד ומשקולות תחת Apache 2.0 - מה שאומר שכל אחד סקפטי יכול למדוד את הטענות ישירות. זה, יותר מכל אמת מידה בודדת, מה שהופך את מהדורות מעבדה קטנות כמו זו לשווה צפייה: ההוכחה ניתנת להורדה.
הישאר לפני AI
מחקר שפעם דרש מעבדה ארגונית מתאים כעת לכרטיס אשראי. עקוב אחר כל פריצת דרך בחדשות המחקר בינה מלאכותית.
קרא עוד חדשות AI →
