स्ट्रेटा नामक एक अल्पज्ञात ओपन-सोर्स प्रोजेक्ट में कुछ समय चल रहा है। एमआईटी-लाइसेंस प्राप्त इंजन, जो अलीबाबा के क्वेन3.8-फ्लैश-नेक्स्ट - एक 125-बिलियन-पैरामीटर मिश्रण-विशेषज्ञ मॉडल - को साधारण गेमिंग पीसी पर चलाता है, 4 अक्टूबर को 640 से अधिक अंकों के साथ हैकर न्यूज़ के फ्रंट पेज पर शूट किया गया, और इसके GitHub रिपॉजिटरी ने 24 सितंबर को बनाए जाने के बाद से 11,000 से अधिक सितारे एकत्र किए हैं।

पिच सरल है: एक 125-बिलियन-पैरामीटर मॉडल जो आम तौर पर एक सर्वर पर रहता है, चैट कर सकता है, कोड लिख सकता है, छवियां पढ़ सकता है और कोडिंग एजेंटों को पूरी तरह से उपभोक्ता ग्राफिक्स कार्ड पर चला सकता है, मशीन से कुछ भी नहीं छूटता।

स्ट्रेटा वास्तव में क्या करता है

स्ट्रेटा विंडोज़ और लिनक्स के लिए एक अनुमान इंजन और एक-क्लिक इंस्टॉलर दोनों है। इसके दस्तावेज़ीकरण के अनुसार, आवश्यकताएँ फ्रंटियर-मॉडल मानकों द्वारा मामूली हैं: NVIDIA के RTX 20, 30, 40 या 50 श्रृंखला या AMD के Radeon RX 6000, 7000 या 9000 श्रृंखला से कम से कम 12GB VRAM वाला एक GPU, कम से कम 32GB सिस्टम RAM, और लगभग 80GB मुफ्त SSD स्थान।

इंजन Q2_0 से IQ3_S तक, साथ ही एक कोड-विशेष संस्करण सहित, कई संपीड़न स्तरों पर Qwen3.8-Flash-Next के संस्करणों को शिप करता है। यह लोकलहोस्ट पर ओपनएआई और एंथ्रोपिक-संगत एपीआई को उजागर करता है, जिसका अर्थ है कि चैटजीपीटी या क्लाउड के लिए बनाए गए टूल - जिसमें क्लाउड कोड, कर्सर और कोडेक्स जैसे कोडिंग एजेंट शामिल हैं - को न्यूनतम परिवर्तनों के साथ स्थानीय सर्वर पर इंगित किया जा सकता है। वैकल्पिक छवि इनपुट और मल्टी-जीपीयू समर्थन शामिल है, और इंस्टॉलर एक एआई-सहायक सेटअप मोड भी प्रदान करता है जो एक कोडिंग सहायक को एक चिपकाए गए प्रॉम्प्ट से मशीन को कॉन्फ़िगर करने देता है।

स्पीड नंबर

प्रोजेक्ट के प्रकाशित बेंचमार्क, दो उपभोक्ता डेस्कटॉप पर मापे गए, रिलीज़ के प्रसार का कारण हैं। 12GB VRAM वाले NVIDIA RTX 5070 पर Ryzen 5 7600 और 64GB RAM के साथ जोड़ा गया है, स्ट्रेटा की रिपोर्ट:

  • Q2_0 परिमाणीकरण: पीढ़ी के लिए 94 टोकन प्रति सेकंड और 32K-टोकन दस्तावेज़ पर शीघ्र प्रसंस्करण के लिए 2,650 टोकन प्रति सेकंड
  • IQ3_S: 53 टोकन प्रति सेकंड पीढ़ी, 1,620 टोकन प्रति सेकंड त्वरित प्रसंस्करण
  • कोडर संस्करण: प्रति सेकंड पीढ़ी 55 टोकन

AMD की ओर, 16GB VRAM वाला RX 9070 XT Q2_0 पर प्रति सेकंड 60 टोकन प्रबंधित करता है। दस्तावेज़ीकरण का अनुमान है कि 24 जीबी वीआरएएम के साथ एक आरटीएक्स 3090 को प्रति सेकंड 100 से 140 टोकन तक पहुंचना चाहिए - जो कि अधिकांश लोगों की पढ़ने की गति से अधिक तेज़ है।

तुलना के लिए, छह महीने पहले, स्थानीय रूप से प्रयोग करने योग्य गति पर 70 बिलियन-पैरामीटर सघन मॉडल को चलाने के लिए सैकड़ों गीगाबाइट एकीकृत मेमोरी या आक्रामक सट्टा डिकोडिंग ट्रिक्स के साथ एक वर्कस्टेशन की आवश्यकता होती थी।

125बी मॉडल गेमिंग कार्ड पर क्यों फिट बैठता है

प्रौद्योगिकी के दो टुकड़े इसे संभव बनाते हैं। पहला मॉडल ही है. जैसा कि एआई बज़ वायर ने अपनी रिलीज के समय कवर किया था, क्वेन3.8-फ्लैश-नेक्स्ट लगभग 125 बिलियन कुल मापदंडों के साथ विशेषज्ञों का एक मिश्रण है, लेकिन प्रति टोकन केवल 6 बिलियन सक्रिय हैं - इसलिए प्रत्येक उत्पन्न शब्द नेटवर्क के एक छोटे से हिस्से को छूता है, नाटकीय रूप से प्रति टोकन गणना में कटौती करता है।

दूसरा है परिमाणीकरण. स्ट्रेटा के सबसे तेज़ प्रीसेट मॉडल के वजन को प्रति पैरामीटर दो या तीन बिट्स तक संपीड़ित करते हैं, एक पदचिह्न के लिए कुछ सटीकता का व्यापार करते हैं जो 12 जीबी जीपीयू और सिस्टम रैम में फिट बैठता है। वह ट्रेडऑफ़ मुख्य चेतावनी है: Q2-क्लास और IQ2-क्लास क्वांट्स तर्क-भारी कार्यों पर गुणवत्ता को मापते हैं, और खरीदारों को प्रत्येक कार्यभार के लिए गारंटी के बजाय हेडलाइन गति संख्याओं को शुरुआती बिंदु के रूप में मानना ​​चाहिए। रिपॉजिटरी में सामुदायिक बेंचमार्क पृष्ठ विभिन्न आकारों में गुणवत्ता परिणाम ट्रैक करते हैं।

एक बड़ी लोकल-एआई लहर का हिस्सा

स्थानीय अनुमान के लिए गति में तेजी के बीच स्ट्रेटा आता है। अलीबाबा का क्वेन परिवार सबसे अधिक डाउनलोड की जाने वाली ओपन-वेट मॉडल लाइन बन गया है, मेटा और गूगल के पास अपने स्वयं के ओपन-सोर्स प्रतिस्पर्धी मॉडल हैं, और टूल की एक लहर अब उपभोक्ताओं को अपने डिवाइस को छोड़े बिना सब्सक्रिप्शन या डेटा के बिना सक्षम सहायक चलाने की सुविधा देती है।

परियोजना यह भी दर्शाती है कि "उपभोक्ता हार्डवेयर" की परिभाषा कैसे बदल रही है। 12 जीबी वीआरएएम के साथ एक मिड-रेंज 2026 ग्राफिक्स कार्ड, जो मुख्य रूप से गेमिंग के लिए भेजा गया था, अब आकार वर्ग में एक मॉडल के लिए एक व्यवहार्य अनुमान त्वरक है जिसने सिर्फ दो साल पहले फ्रंटियर सिस्टम को परिभाषित किया था।

स्ट्रेटा शुरुआती सॉफ्टवेयर बना हुआ है - रिपॉजिटरी के मुद्दे ट्रैकर पुराने जीपीयू और गैर-एवीएक्स 2 प्रोसेसर पर रफ किनारों का दस्तावेजीकरण करते हैं - लेकिन प्रोजेक्ट एमआईटी-लाइसेंस प्राप्त है, मुफ़्त है, और खुले में विकसित किया गया है, जिसमें इंटेल आर्क, पुराने टेस्ला और राडॉन कार्ड और समुदाय के सदस्यों द्वारा प्रलेखित मल्टी-जीपीयू रिग्स के लिए प्रयोगात्मक समर्थन है।

डेवलपर्स के लिए, सबसे व्यावहारिक टेकअवे लोकलहोस्ट एपीआई संगतता हो सकती है: ओपनएआई या एंथ्रोपिक एसडीके के खिलाफ लिखी गई किसी भी स्क्रिप्ट या एजेंट को बेस यूआरएल को बदलकर स्थानीय क्वेन परिनियोजन पर रीडायरेक्ट किया जा सकता है, जिससे स्ट्रेटा गोपनीयता-संवेदनशील प्रोटोटाइपिंग, ऑफ़लाइन उपयोग, या बस एपीआई खर्च को कैप करने के लिए एक कम-घर्षण विकल्प बन जाता है।

इसे कैसे आज़माएँ

आरंभ करने के लिए मैनुअल के साथ टर्मिनल सत्र की आवश्यकता नहीं होती है। इंस्टॉलर एक बार में ड्राइवर, मॉडल वेट और स्थानीय सर्वर का प्रावधान करता है, और रिपॉजिटरी में एक सेटअप फ़ाइल शामिल होती है जिसे सीधे एआई कोडिंग सहायक में चिपकाने के लिए डिज़ाइन किया जाता है, जो फिर मशीन को स्वायत्त रूप से कॉन्फ़िगर करता है। पहले लॉन्च धीमे होते हैं जबकि डिस्क से वेट लोड होता है; दस्तावेज़ीकरण SSD की अनुशंसा करता है और चेतावनी देता है कि लंबी बातचीत अधिक काम को सिस्टम RAM पर स्थानांतरित कर देती है।

एआई से आगे रहें

ओपन-सोर्स मॉडल, स्थानीय एआई टूल और अनुमान हार्डवेयर पर नवीनतम जानकारी के लिए [एआई बज़ वायर] (https://aibuzzwire.news) का अनुसरण करें।

अधिक AI समाचार पढ़ें →