یک آزمایشگاه تحقیقاتی دو نفره یک مدل متن به تصویر را با قیمت تقریباً 21000 دلار آموزش داده و آن را تحت یک مجوز کاملاً مجاز منتشر کرده است. لینوم، که توسط سهیل چوپرا و مانو چوپرا، مدیرعامل شرکت تاسیس شد، نتایج را در 4 نوامبر در یک پست یادداشت های فنی منتشر کرد و جزئیات یک مدل Pixel-JiT (P-JiT) با پارامتر 2 میلیاردی آموزش دیده بر روی 660 میلیون نمونه را به عنوان اثبات مفهومی در مسیر مدل های ویدیویی بزرگتر نشان داد. هم کد مدل و هم وزن‌ها تحت Apache 2.0 موجود هستند، مجوزی که استفاده تجاری را بدون محدودیت مجاز می‌سازد. این یک نقطه داده قابل توجه در بحث در مورد اینکه واقعاً چقدر هزینه تحقیقات هوش مصنوعی با کیفیت مرزی دارد، موضوعی است که ما در [پوشش تحقیقاتی هوش مصنوعی] خود دنبال می کنیم (https://aibuzzwire.news).

چرا VAE را نادیده بگیریم؟

بیشتر خطوط لوله تولید تصویر مدرن، تصاویر را با استفاده از رمزگذار خودکار متغیر (VAE)** فشرده می‌کنند: VAE تصویر را در یک فضای پنهان فشرده فشرده می‌کند و یک مدل انتشار در داخل آن فضای فشرده تولید می‌کند. تیم Linum استدلال می کند که این تقسیم کار به سقف رسیده است. آنها در نوشته خود خاطرنشان می کنند که VAE ها "به نظر می رسد سقف تجربی در میزان فشرده سازی دارند"، که فشار بیشتر فشرده سازی به جراحی قابل توجهی در معماری سنتی نیاز دارد، و اینکه بهبود بازسازی VAE در واقع می تواند نسل های مدل انتشار پایین دستی را بدتر کند.

پاسخ آنها حذف VAE به طور کلی است. P-JiT یک مدل فضای پیکسل است — مدل انتشار مستقیماً بر روی پیکسل ها عمل می کند و یاد می گیرد که برای مورد استفاده خود ساخته شده است و همزمان فشرده و تولید می کند. شرط این است که یک مدل منفرد آموزش‌دیده سرتاسر می‌تواند از یک محاسبات بیشتر از یک دست‌آف بین دو شبکه تخصصی استفاده کند.

سود فنی

نام این معماری به نماد هرمی شکل آن اشاره دارد. در جایی که اکثر مدل‌های فعلی - Linum از FLUX-2 به عنوان مثال معمولی یاد می‌کند - از کاهش توکن 16×16 استفاده می‌کنند، P-JiT به کاهش توکن 32×32 می‌رسد، که نشان‌دهنده تصویر 512×512 در بودجه توکنی است که قبلاً برای یک تصویر 256×256 نیاز بود. این به معنی کاهش 4× در پنجره زمینه توجه است، و توجه دقیقاً گلوگاه O(n²) است که هم آموزش و هم استنتاج را برای ویدیوهای تولیدی گران می کند.

نتایج، با اندازه‌گیری‌های خود تیم: P-JiT در نمونه‌های 11× کمتر نسبت به Linum v2، مدل قبلی آزمایشگاه که بر اساس دستورالعمل استانداردتر Wan VAE و DiT دیفیوژن ساخته شده بود، همگرا می‌شود. دوی ۲۱ هزار دلاری – ۶۶۰ میلیون نمونه آموزشی – مدلی را تولید کرد که تیم آن را با توجه به اندازه‌اش به طرز شگفت‌آوری شایسته توصیف می‌کند.

چیزی که 21000 دلار خریداری می کند

این نسخه شامل 249 تصویر نمونه با درخواست‌هایشان، افراد (57)، حیوانات (42)، ساختمان‌ها (20)، محصولات (43)، مناظر (19)، و رندرهای سبک (68) است. تیم در مورد موقعیت یابی صادق است: این یک "آزادسازی تجربی" و "سنگ پله" به سمت هدف واقعی خود، یک مدل ویدئویی است. نمونه‌ها نشان می‌دهند که معماری به‌طور پایدار آموزش می‌دهد و تصاویر منسجمی را در کسری از بودجه‌های آموزشی معمولی تولید می‌کند، نه اینکه با مدل‌های تصویر مرزی از نظر کیفیت مطابقت دارد.

این نوشتن همچنین به دلیل نحوه مستندسازی حالت های شکست در کنار نتایج قابل توجه است. آن‌ها محدودیت‌های مدل خود را مستقیماً در پست یادداشت‌های میدانی برمی‌شمارند نه اینکه آنها را دفن کنند، این یک رویه رایج در میان آزمایشگاه‌های کوچک‌تر است که شهرت آنها به اعتبار بستگی دارد تا بودجه بازاریابی. این پست چهارمین مدخل از سری «جاده به Linum v3» این تیم است که بر اساس تکرار قبلی است که در آن معماری P-JiT برای اولین بار توضیح داده شد - یک گزارش فنی در حال اجرا که به محققان خارجی اجازه می دهد هر تصمیم طراحی را دنبال کنند، از جمله آنهایی که کار نمی کنند.

برای زمینه رقم هزینه: 21 هزار دلار Linum محاسبه یک دوره آموزشی 660 میلیون نمونه از مدل 2B پارامتر را پوشش می دهد. این به طور مستقیم با بودجه های آزمایشگاه مرزی قابل مقایسه نیست، که شامل جمع آوری داده ها، کارکنان، و آزمایش در بسیاری از دوره های سقط شده است. چیزی که ایجاد می کند هزینه نهایی یک دوره آموزشی موفق و مستند شده است - تعدادی از محققان و آزمایشگاه های دانشگاهی اکنون می توانند به طور واقع بینانه برای آن برنامه ریزی کنند.

جاه طلبی اعلام شده Linum ابزارهای خلاقانه ای است که دسترسی به انیمیشن را دموکراتیک می کند. انتقاد تیم از ویدیوی مولد امروزی این است که بسیار کند و گران است و فاقد کنترل‌های دقیق است – ترکیبی که آنها استدلال می‌کنند آن را «به‌طور مؤثر برای داستان‌گویی بی‌فایده» می‌کند، زیرا کار خلاق ذاتاً تکراری است: شما می‌سازید، تغییر می‌دهید، بهتر می‌شوید. آموزش ارزان‌تر و استنتاج سریع‌تر، در چارچوب‌بندی‌شان، پیش‌شرط تولید ویدیویی است که در واقع متناسب با جریان کار ویرایش است.

آزمایشگاه های کوچک، سیگنال های بزرگ

اقتصاد به نمایش گذاشته شده در اینجا فراتر از یک استارتاپ مهم است. دوره‌های آموزشی که زمانی مرز میدان را مشخص می‌کردند - که با میلیون‌ها دلار اندازه‌گیری می‌شد - اکنون در حوزه‌های باریک توسط تیم‌های دو نفره که کمتر از حقوق سالانه یک مهندس ارشد معمولی هزینه می‌کنند، مطابقت دارند. انتشار وزن‌های باز در این مقیاس به محققان مستقل توانایی ممیزی، تنظیم دقیق و ساخت معماری‌های درجه تولید را بدون پشتوانه نهادی می‌دهد.

این هشدارها منصفانه است: یک مدل متن به تصویر 2B از مرز کیفیت تصویر دور است و ادعاهای همگرایی Linum به جای اینکه به طور مستقل محک زده شوند، خود گزارش می شوند. اما نسخه کاملاً قابل تکرار است - کد و وزن تحت Apache 2.0 - به این معنی که هر کسی که شک دارد می تواند ادعاها را مستقیماً اندازه گیری کند. این، بیش از هر معیار دیگری، چیزی است که باعث می‌شود نسخه‌های آزمایشگاهی کوچک مانند این ارزش تماشا را داشته باشند: اثبات قابل دانلود است.

از هوش مصنوعی جلوتر بمانید

تحقیقاتی که زمانی نیاز به آزمایشگاه شرکتی داشت، اکنون در کارت اعتباری جای می‌گیرد. هر پیشرفتی را در [اخبار تحقیقات هوش مصنوعی] (https://aibuzzwire.news) ما دنبال کنید.

اخبار هوش مصنوعی را بیشتر بخوانید →