ایک دو افراد پر مشتمل ریسرچ لیب نے تقریباً $21,000 میں ٹیکسٹ ٹو امیج ماڈل کو تربیت دی ہے اور اسے مکمل طور پر اجازت یافتہ لائسنس کے تحت جاری کیا ہے۔ Linum، جس کی بنیاد شریک سی ای اوز ساحل چوپڑا اور منو چوپڑا نے رکھی تھی، نتائج کو 4 نومبر کو ایک تکنیکی فیلڈ نوٹس پوسٹ میں شائع کیا، جس میں 2-بلین پیرامیٹر Pixel-JiT (P-JiT) ماڈل کی تفصیل دی گئی ہے جس میں 660 ملین نمونوں پر تربیت دی گئی ہے۔ ماڈل کوڈ اور وزن دونوں Apache 2.0 کے تحت دستیاب ہیں، ایک لائسنس جو بغیر کسی پابندی کے تجارتی استعمال کی اجازت دیتا ہے۔ یہ اس بحث میں ایک حیرت انگیز ڈیٹا پوائنٹ ہے کہ فرنٹیئر کوالٹی کی AI تحقیق کی اصل قیمت کتنی ہے، یہ ایک موضوع ہے جسے ہم اپنی AI ریسرچ کوریج میں فالو کرتے ہیں۔

VAE کو کیوں چھوڑیں؟

زیادہ تر جدید امیج جنریشن پائپ لائنز ایک علیحدہ ویریشنل آٹو اینکوڈر (VAE) کا استعمال کرتے ہوئے امیجز کو کمپریس کرتی ہیں: VAE ایک تصویر کو ایک کمپیکٹ لیٹینٹ اسپیس میں نچوڑتا ہے، اور ایک ڈفیوژن ماڈل اس کمپریسڈ اسپیس کے اندر تیار کرتا ہے۔ لینم کی ٹیم کا استدلال ہے کہ محنت کی اس تقسیم نے ایک حد کو مارا ہے۔ اپنی تحریر میں، وہ نوٹ کرتے ہیں کہ VAEs کے پاس "ایسا لگتا ہے کہ کمپریشن کی مقدار پر ایک تجرباتی حد ہے جو وہ حاصل کر سکتے ہیں،" کہ کمپریشن کو آگے بڑھانے کے لیے روایتی فن تعمیر کی خاطر خواہ سرجری کی ضرورت ہوتی ہے، اور یہ کہ VAE کی تعمیر نو کو بہتر کرنا درحقیقت ڈاون اسٹریم ڈفیوژن ماڈل کی نسلوں کو خراب کر سکتا ہے۔

ان کا جواب VAE کو مکمل طور پر ختم کرنا ہے۔ P-JiT ایک پکسل اسپیس ماڈل ہے — ڈفیوژن ماڈل براہ راست پکسلز پر کام کرتا ہے اور ایک ہی وقت میں کمپریسنگ اور جنریٹنگ، اپنے استعمال کے کیس کے لیے ایک خفیہ مقصد سے بنایا گیا سیکھتا ہے۔ شرط یہ ہے کہ ایک ہی ماڈل ٹرینڈ اینڈ ٹو اینڈ ایک ہی کمپیوٹ سے زیادہ نچوڑ سکتا ہے دو خصوصی نیٹ ورکس کے درمیان ہینڈ آف سے۔

تکنیکی ادائیگی

فن تعمیر کا نام اس کے اہرام کی شکل کی ٹوکنائزیشن سے مراد ہے۔ جہاں زیادہ تر موجودہ ماڈلز — Linum ایک عام مثال کے طور پر FLUX-2 کا حوالہ دیتے ہیں — 16×16 ٹوکن کمی کا استعمال کرتے ہیں، P-JiT 32×32 ٹوکن کمی حاصل کرتا ہے، جو پہلے 256×256 امیج کے لیے درکار ٹوکن بجٹ میں 512×512 امیج کی نمائندگی کرتا ہے۔ یہ توجہ کے سیاق و سباق کی کھڑکی میں 4× کمی کا ترجمہ کرتا ہے، اور توجہ بالکل O(n²) رکاوٹ ہے جو تخلیقی ویڈیو کے لیے تربیت اور اندازہ دونوں کو مہنگا بناتی ہے۔

نتائج، ٹیم کی اپنی پیمائش کے مطابق: P-JiT Linum v2 کے مقابلے 11× کم نمونوں میں اکٹھا ہوتا ہے، لیب کا پچھلا ماڈل زیادہ معیاری Wan VAE پلس DiT پھیلاؤ کی ترکیب پر بنایا گیا تھا۔ $21K کی دوڑ — 660 ملین تربیتی نمونے — نے ایک ایسا ماڈل تیار کیا جس کی ٹیم اس کے سائز کو دیکھتے ہوئے حیرت انگیز طور پر قابل قرار دیتی ہے۔

$21K کیا خریدتا ہے۔

ریلیز میں 249 نمونہ امیجز شامل ہیں جن میں ان کے اشارے، پھیلے ہوئے لوگوں (57)، جانور (42)، عمارتیں (20)، پروڈکٹس (43)، لینڈ اسکیپس (19) اور اسٹائلائزڈ رینڈرز (68) شامل ہیں۔ ٹیم پوزیشننگ کے بارے میں واضح ہے: یہ ایک "تجرباتی ریلیز" ہے اور اپنے حقیقی ہدف کی طرف ایک "قدم قدم" ہے، ایک ویڈیو ماڈل۔ نمونے یہ ظاہر کرتے ہیں کہ فن تعمیر مستحکم طور پر تربیت کرتا ہے اور روایتی تربیتی بجٹ کے ایک حصے پر مربوط تصاویر تیار کرتا ہے، نہ کہ یہ معیار کے لحاظ سے فرنٹیئر امیج ماڈلز سے میل کھاتا ہے۔

یہ تحریر بھی قابل ذکر ہے کہ ٹیم نتائج کے ساتھ ناکامی کے طریقوں کو کیسے دستاویز کرتی ہے۔ وہ اپنے ماڈل کی حدود کو دفن کرنے کے بجائے براہ راست فیلڈ-نوٹس پوسٹ میں شمار کرتے ہیں، یہ چھوٹی لیبز میں ایک عام رواج ہے جن کی ساکھ مارکیٹنگ کے بجٹ کی بجائے ساکھ پر منحصر ہے۔ یہ پوسٹ ٹیم کی "Road to Linum v3" سیریز میں چوتھی اندراج ہے، جو پہلے کی تکرار پر بنائی گئی ہے جہاں P-JiT فن تعمیر کو پہلے بیان کیا گیا تھا — ایک چل رہا تکنیکی لاگ جو باہر کے محققین کو ہر ڈیزائن کے فیصلے پر عمل کرنے دیتا ہے، بشمول وہ کام جو کام نہیں کرتے تھے۔

لاگت کے اعداد و شمار کے سیاق و سباق کے لیے: Linum کے $21K نے 2B-پیرامیٹر ماڈل کے 660-ملین نمونہ ٹریننگ کے لیے کمپیوٹ کا احاطہ کیا۔ اس کا براہ راست موازنہ فرنٹیئر لیب بجٹ سے نہیں کیا جا سکتا، جس میں ڈیٹا کے حصول، عملہ، اور بہت سے اسقاط شدہ رنز پر تجربات شامل ہیں۔ یہ جو چیز قائم کرتا ہے وہ ایک کامیاب، کھلے عام دستاویزی تربیت کی معمولی لاگت ہے — متعدد انفرادی محققین اور یونیورسٹی لیبز اب حقیقت پسندانہ طور پر منصوبہ بندی کر سکتے ہیں۔

Linum کی بیان کردہ خواہش تخلیقی ٹولز ہے جو اینیمیشن تک رسائی کو جمہوری بناتے ہیں۔ آج کی تخلیقی ویڈیو پر ٹیم کی تنقید یہ ہے کہ یہ بہت سست اور مہنگا ہے، اور اس میں عمدہ کنٹرولز کا فقدان ہے - ایک ایسا مجموعہ جو ان کا کہنا ہے کہ اسے "کہانی سنانے کے لیے مؤثر طور پر بیکار" بناتا ہے، کیونکہ تخلیقی کام فطری طور پر تکراری ہے: آپ بناتے ہیں، آپ موافقت کرتے ہیں، آپ بہتر ہوجاتے ہیں۔ سستی تربیت اور تیز تر اندازہ، ان کی ترتیب میں، ویڈیو جنریشن کے لیے پیشگی شرط ہے جو دراصل ایڈیٹنگ ورک فلو میں فٹ بیٹھتی ہے۔

چھوٹی لیبز، بڑے سگنل

یہاں ظاہر ہونے والی معاشیات ایک اسٹارٹ اپ سے بالاتر ہے۔ ٹریننگ رن جو کبھی فیلڈ کے فرنٹیئر کی وضاحت کرتی تھی — جس کی پیمائش لاکھوں ڈالر میں ہوتی تھی — اب ایک عام سینئر انجینئر کی سالانہ تنخواہ سے کم خرچ کرنے والی دو ٹیموں کے ذریعے، تنگ ڈومینز میں ملایا جا رہا ہے۔ اس پیمانے پر اوپن ویٹ ریلیزز آزاد محققین کو ادارہ جاتی حمایت کے بغیر پروڈکشن گریڈ آرکیٹیکچرز کو آڈٹ کرنے، ٹھیک کرنے اور تعمیر کرنے کی صلاحیت فراہم کرتی ہیں۔

انتباہات بیان کرنے کے لیے منصفانہ ہیں: ایک 2B ٹیکسٹ ٹو امیج ماڈل تصویری معیار کی سرحد سے بہت دور ہے، اور Linum کے کنورجنسی کے دعوے آزادانہ طور پر بینچ مارک کی بجائے خود رپورٹ کیے جاتے ہیں۔ لیکن ریلیز مکمل طور پر دوبارہ پیدا کرنے کے قابل ہے - اپاچی 2.0 کے تحت کوڈ اور وزن - جس کا مطلب ہے کہ کوئی بھی شکی شخص براہ راست دعووں کی پیمائش کرسکتا ہے۔ یہ، کسی بھی ایک بینچ مارک سے زیادہ، اس طرح کی چھوٹی لیب کی ریلیز کو دیکھنے کے قابل بناتا ہے: ثبوت ڈاؤن لوڈ کے قابل ہے۔

AI سے آگے رہیں

تحقیق جس کے لیے کبھی کارپوریٹ لیب کی ضرورت ہوتی تھی اب کریڈٹ کارڈ پر فٹ بیٹھتی ہے۔ ہماری AI ریسرچ نیوز میں ہر پیش رفت کو ٹریک کریں۔

مزید AI خبریں پڑھیں →