दोन-व्यक्तींच्या संशोधन प्रयोगशाळेने अंदाजे $21,000 साठी टेक्स्ट-टू-इमेज मॉडेलचे प्रशिक्षण दिले आहे — आणि ते पूर्णपणे परवानगी असलेल्या परवान्याखाली सोडले आहे. सह-CEOs साहिल चोप्रा आणि मनू चोप्रा यांनी स्थापन केलेल्या Linum ने 4 नोव्हेंबर रोजी तांत्रिक फील्ड-नोट्स पोस्टमध्ये निकाल प्रकाशित केले, ज्यात 2-बिलियन-पॅरामीटर Pixel-JiT (P-JiT) मॉडेल तपशीलवार 660 दशलक्ष नमुन्यांवर प्रशिक्षित केले गेले आहे. मॉडेल कोड आणि वजन दोन्ही Apache 2.0** अंतर्गत उपलब्ध आहेत, एक परवाना जो निर्बंधाशिवाय व्यावसायिक वापरास परवानगी देतो. एआय संशोधनासाठी प्रत्यक्षात किती खर्च येतो या वादात हा एक उल्लेखनीय डेटा पॉइंट आहे, जो विषय आम्ही आमच्या AI संशोधन कव्हरेज मध्ये फॉलो करतो.
VAE का वगळायचे?
बहुतेक आधुनिक प्रतिमा-जनरेशन पाइपलाइन स्वतंत्र व्हेरिएशनल ऑटोएनकोडर (VAE) वापरून प्रतिमा संकुचित करतात: VAE कॉम्पॅक्ट लॅटेंट स्पेसमध्ये प्रतिमा दाबते आणि त्या संकुचित जागेमध्ये एक प्रसार मॉडेल तयार करते. लिनमच्या संघाचे म्हणणे आहे की कामगारांच्या या विभाजनाने कमाल मर्यादा गाठली आहे. त्यांच्या लिखाणात, ते लक्षात घेतात की VAEs "त्यांनी मिळवू शकणाऱ्या कम्प्रेशनच्या प्रमाणावर एक अनुभवजन्य कमाल मर्यादा आहे असे दिसते," की कंप्रेशनला पुढे ढकलण्यासाठी पारंपारिक आर्किटेक्चरमध्ये भरीव शस्त्रक्रिया करणे आवश्यक आहे आणि VAE च्या पुनर्रचनामध्ये सुधारणा केल्याने डाउनस्ट्रीम डिफ्यूजन मॉडेलच्या पिढ्या प्रत्यक्षात खराब होऊ शकतात.
त्यांचे उत्तर म्हणजे VAE पूर्णपणे काढून टाकणे. P-JiT हे पिक्सेल-स्पेस मॉडेल आहे — डिफ्यूजन मॉडेल थेट पिक्सेलवर चालते आणि त्याच्या स्वत: च्या वापरासाठी तयार केलेले सुप्त हेतू शिकते, त्याच वेळी संकुचित आणि जनरेट करते. पैज अशी आहे की एकच मॉडेल प्रशिक्षित एंड-टू-एंड दोन स्पेशलाइज्ड नेटवर्क्समधील हँड-ऑफपेक्षा समान गणनेतून अधिक पिळून काढू शकते.
तांत्रिक मोबदला
आर्किटेक्चरचे नाव त्याच्या पिरॅमिड-आकाराच्या टोकनीकरणाचा संदर्भ देते. जेथे सर्वात वर्तमान मॉडेल — Linum FLUX-2 एक सामान्य उदाहरण म्हणून उद्धृत करते — 16×16 टोकन कपात वापरतात, P-JiT 32×32 टोकन कपात साध्य करते, 256×256 प्रतिमेसाठी पूर्वी आवश्यक असलेल्या टोकन बजेटमध्ये 512×512 प्रतिमा दर्शवते. हे लक्ष देण्याच्या संदर्भ विंडोमध्ये 4× कपात मध्ये अनुवादित करते आणि लक्ष तंतोतंत O(n²) अडथळे आहे ज्यामुळे जनरेटिव्ह व्हिडिओसाठी प्रशिक्षण आणि अनुमान दोन्ही महाग होतात.
संघाच्या स्वतःच्या मोजमापानुसार परिणाम: P-JiT लिनम v2 पेक्षा 11× कमी नमुन्यांमध्ये एकत्रित होते, लॅबचे मागील मॉडेल अधिक मानक वॅन VAE प्लस DiT डिफ्यूजन रेसिपीवर बनवलेले आहे. $21K धाव - 660 दशलक्ष प्रशिक्षण नमुने - एक मॉडेल तयार केले ज्याचे वर्णन संघाने त्याच्या आकारानुसार आश्चर्यकारकपणे सक्षम म्हणून केले आहे.
$21K काय खरेदी करते
रिलीझमध्ये २४९ नमुना प्रतिमा समाविष्ट आहेत त्यांच्या प्रॉम्प्टसह, पसरलेले लोक (५७), प्राणी (४२), इमारती (२०), उत्पादने (४३), लँडस्केप (१९), आणि शैलीकृत प्रस्तुतीकरण (६८). संघ पोझिशनिंगबद्दल प्रामाणिक आहे: हे एक "प्रायोगिक प्रकाशन" आहे आणि त्यांच्या वास्तविक लक्ष्याकडे एक "स्टेपिंग स्टोन" आहे, एक व्हिडिओ मॉडेल. नमुने दाखवतात की आर्किटेक्चर स्थिरपणे प्रशिक्षित होते आणि पारंपारिक प्रशिक्षण बजेटच्या एका अंशात सुसंगत प्रतिमा तयार करते, असे नाही की ते गुणवत्तेवर फ्रंटियर इमेज मॉडेल्सशी जुळते.
कार्यसंघ परिणामांसोबत अपयशी मोडचे दस्तऐवज कसे तयार करतो यासाठी लेखन-अप देखील लक्षणीय आहे. ते त्यांच्या मॉडेलच्या मर्यादा थेट फील्ड-नोट्स पोस्टमध्ये दफन करण्याऐवजी त्यांची गणना करतात, लहान प्रयोगशाळांमधील वाढत्या सामान्य प्रथा ज्यांची प्रतिष्ठा मार्केटिंग बजेटपेक्षा विश्वासार्हतेवर अवलंबून असते. पोस्ट ही टीमच्या "रोड टू लिनम v3" मालिकेतील चौथी एंट्री आहे, जी आधीच्या पुनरावृत्तीवर आधारित आहे जिथे P-JiT आर्किटेक्चरचे प्रथम वर्णन केले गेले होते — एक चालू तांत्रिक लॉग जो बाहेरील संशोधकांना प्रत्येक डिझाइन निर्णयाचे अनुसरण करू देतो, ज्यामध्ये कार्य केले नाही.
खर्चाच्या आकृतीच्या संदर्भासाठी: लिनमच्या $21K मध्ये 2B-पॅरामीटर मॉडेलच्या 660-दशलक्ष-नमुना प्रशिक्षण रनसाठी गणना समाविष्ट आहे. ते थेट सीमा-लॅब बजेटशी तुलना करता येत नाही, जे डेटा संपादन, कर्मचारी आणि अनेक निरस्त धावांवर प्रयोग करतात. एका यशस्वी, उघडपणे दस्तऐवजीकरण केलेल्या प्रशिक्षणाची किरकोळ किंमत हे स्थापित करते - अनेक वैयक्तिक संशोधक आणि विद्यापीठ प्रयोगशाळा आता वास्तववादीपणे योजना करू शकतात.
लिनमची सांगितलेली महत्त्वाकांक्षा सर्जनशील साधने आहे जी ॲनिमेशनमध्ये प्रवेशाचे लोकशाहीकरण करते. आजच्या जनरेटिव्ह व्हिडिओची टीमची टीका अशी आहे की तो खूप मंद आणि महाग आहे आणि त्यात सूक्ष्म नियंत्रणे नाहीत — एक संयोजन ते म्हणतात की ते "कथाकथनासाठी प्रभावीपणे निरुपयोगी" असे प्रस्तुत करते कारण सर्जनशील कार्य मूळतः पुनरावृत्ती होते: तुम्ही बनवता, तुम्ही चिमटा काढता, तुम्हाला चांगले मिळते. स्वस्त प्रशिक्षण आणि जलद अनुमान, त्यांच्या फ्रेमिंगमध्ये, व्हिडिओ निर्मितीसाठी पूर्वअट आहे जी प्रत्यक्षात संपादन कार्यप्रवाहात बसते.
लहान लॅब, मोठे सिग्नल
येथे प्रदर्शित केलेले अर्थशास्त्र एका स्टार्टअपच्या पलीकडे महत्त्वाचे आहे. एकेकाळी फील्डची सीमारेषा परिभाषित करणाऱ्या प्रशिक्षण धावा - लाखो डॉलर्समध्ये मोजल्या जाणाऱ्या - आता एका सामान्य वरिष्ठ अभियंत्याच्या वार्षिक पगारापेक्षा कमी खर्च करणाऱ्या दोन संघांद्वारे, अरुंद डोमेनमध्ये जुळल्या जात आहेत. या स्केलवर ओपन-वेट रिलीझ स्वतंत्र संशोधकांना संस्थात्मक समर्थनाशिवाय ऑडिट, फाईन-ट्यून आणि प्रोडक्शन-ग्रेड आर्किटेक्चर तयार करण्याची क्षमता देतात.
चेतावणी सांगण्यासाठी योग्य आहेत: 2B मजकूर-टू-प्रतिमा मॉडेल प्रतिमा गुणवत्तेच्या सीमारेषेपासून दूर आहे आणि लिनमचे अभिसरण दावे स्वतंत्रपणे बेंचमार्क करण्याऐवजी स्वयं-रिपोर्ट केलेले आहेत. परंतु रिलीझ पूर्णपणे पुनरुत्पादक आहे - कोड आणि अपाचे 2.0 अंतर्गत वजन - याचा अर्थ असा आहे की कोणीही संशयित दावे थेट मोजू शकतो. हे, कोणत्याही एकल बेंचमार्कपेक्षा, यासारख्या लहान-लॅब प्रकाशनांना पाहण्यासारखे बनवते: पुरावा डाउनलोड करण्यायोग्य आहे.
AI च्या पुढे रहा
एकेकाळी कॉर्पोरेट लॅब आवश्यक असलेले संशोधन आता क्रेडिट कार्डवर बसते. आमच्या AI संशोधन बातम्या मधील प्रत्येक यशाचा मागोवा घ्या.
अधिक एआय बातम्या वाचा →
