चीनी एआई लैब Z.ai ने एक विस्तृत तकनीकी विवरण प्रकाशित किया है कि कैसे उसने जीएलएम मॉडल को उनकी सेवा देने वाले सिस्टम को बेहतर बनाने के लिए सेट किया है, जिसमें एक "इन्फ्रा एजेंट" का वर्णन किया गया है जो सीमित मानवीय हस्तक्षेप के साथ कंपनी के अनुमान बुनियादी ढांचे में प्रदर्शन बाधाओं को ढूंढता है और ठीक करता है।
ब्लॉग पोस्ट, जिसका शीर्षक है "टुवार्ड रिकर्सिव सेल्फ-इंप्रूवमेंट: हाउ जीएलएम बिल्ट इट्स ओन इनफरेंस इंफ्रास्ट्रक्चर", बुधवार को कंपनी की साइट पर आया और जल्द ही हैकर न्यूज पर सबसे अधिक चर्चा की गई प्रौद्योगिकी कहानियों में से एक बन गया, जहां इसने डेवलपर समुदाय से 200 से अधिक अंक प्राप्त किए। For more context on this story, see our ongoing artificial intelligence updates.
कंपनी ने पोस्ट की शुरुआती पंक्तियों में लिखा, "जैसे ही हम जीएलएम विकसित करते हैं, मॉडल कभी-कभी ऐसी क्षमताएं प्रदर्शित करता है जो हमें आश्चर्यचकित करती हैं, और यहां तक कि हमें परेशान भी करती हैं।"
साइबर सुरक्षा अनुसंधान से लेकर स्व-अनुकूलन प्रणाली तक
यह काम अक्टूबर 2025 में शुरू हुआ, जब Z.ai ने शोध करना शुरू किया कि GLM की साइबर सुरक्षा क्षमताओं को कैसे मजबूत किया जाए। कंपनी का कहना है कि तर्क सीधा था: साइबर सुरक्षा कोडिंग का एक प्राकृतिक विस्तार है, और जो मॉडल बड़े कोडबेस को नेविगेट कर सकते हैं वे अंततः निम्न-स्तरीय सिस्टम कोड को नेविगेट कर सकते हैं जिससे अधिकांश इंजीनियर बचते हैं।
वह नींव कुछ अधिक महत्वाकांक्षी के रूप में विकसित हुई। केवल कोड लिखने के लिए मॉडलों का उपयोग करने के बजाय, Z.ai ने एक सिस्टम इंजीनियरिंग प्रश्न का उत्तर देने की योजना बनाई: क्या एक एआई एजेंट उत्पादन अनुमान स्टैक के प्रदर्शन की जिम्मेदारी ले सकता है, सॉफ्टवेयर और हार्डवेयर समन्वय परत जो मॉडल वजन को तेज, सस्ते प्रतिक्रियाओं में बदल देती है?
कंपनी के जवाब में समस्या को दोबारा हल करना शामिल था। पोस्ट में तर्क दिया गया है कि अकेले एंड-टू-एंड मेट्रिक्स, एक अनुकूलन एजेंट का मार्गदर्शन नहीं कर सकते हैं। एक रिपोर्ट कि टाइम-टू-फर्स्ट-टोकन में 30 प्रतिशत की वृद्धि हुई या आउटपुट थ्रूपुट में 20 प्रतिशत की गिरावट आई, एक एजेंट को बताती है कि कुछ खराब हो गया है, लेकिन यह नहीं कि कौन सी परत जिम्मेदार है, इसकी परिकल्पना क्यों विफल हुई, या आगे क्या परीक्षण करना है।
"हम विरल एंड-टू-एंड परिणामों को बारीक, जिम्मेदार इंजीनियरिंग फीडबैक में कैसे बदल सकते हैं जो सीधे अगली कार्रवाई का मार्गदर्शन करता है?" कंपनी ने पोस्ट में सवाल को पूरे प्रयास की कुंजी बताते हुए पूछा है।
एजेंट-पठनीय फीडबैक के लिए तीन नियम
Z.ai का उत्तर तीन विशेषताओं पर निर्मित एक फीडबैक अनुशासन है। सबसे पहले, फीडबैक पर्याप्त रूप से स्थानीय होना चाहिए, विशिष्ट इंजन लॉन्च पैरामीटर, कोड परिवर्तन, कर्नेल, इनपुट स्थितियां, थ्रेड, निष्पादन अंतराल या कोड पथ से जुड़ा होना चाहिए, ताकि एजेंट किसी भी समस्या के दायरे को कम कर सके। दूसरा, इसे प्राप्त करना सस्ता और समय पर होना चाहिए: कर्नेल परीक्षण या स्थानीय माइक्रोबेंचमार्क द्वारा उत्तर दिए जाने वाले प्रश्न के लिए पूर्ण सेवा परिनियोजन की आवश्यकता नहीं होनी चाहिए। तीसरा, सत्यापन वर्तमान परिकल्पना से मेल खाना चाहिए, प्रत्येक प्रयोग को एक निश्चित अनुक्रम का पालन करने के बजाय एक विशिष्ट प्रश्न का उत्तर देने के लिए डिज़ाइन किया गया है।
कंपनी का कहना है कि यह सघन फीडबैक लूप इंफ्रा एजेंट को इंजीनियरों के लिए स्वत: पूर्ण की तरह कम और एक सहयोगी की तरह व्यवहार करने की अनुमति देता है जो रात भर प्रयोग चला सकता है।
तीन केस स्टडीज, न्यूमेरिक्स से लेकर थ्रेडिंग बग तक
यह पोस्ट अगस्त में MIT लाइसेंस के तहत जारी ओपन-वेट मॉडल Z.ai, GLM-5.3-Flash के लिए कंपनी के सर्विंग स्टैक के अनुकूलन से तीन ठोस एपिसोड के बारे में बताती है।
पहले में शुद्धता शामिल है. चूँकि अनुमान अनुकूलन इस बात में फेरबदल करता है कि संगणनाएँ समानांतर कैसे होती हैं, एजेंट को यह सत्यापित करने की आवश्यकता होती है कि कर्नेल विभाजित और अविभाजित स्थितियों के तहत समान परिणाम उत्पन्न करते हैं। एक मामले में, टीम ने उच्च-परिशुद्धता परिणाम उत्पन्न करने के लिए तीन TF32 Tensor Core संचालन को संयोजित किया, जिससे अधिकांश Tensor Core प्रदर्शन लाभ को संरक्षित करते हुए संचित संख्यात्मक त्रुटि को कम किया गया। विभाजन रणनीतियों के बीच तुलनात्मक परीक्षण ने उन विसंगतियों को उजागर किया जिन्होंने समाधान को प्रेरित किया।
दूसरी एक सिस्टम-डिबगिंग कहानी है जो किसी भी प्रदर्शन इंजीनियर को परिचित लगेगी। स्वीकृति मानदंड के लिए आवश्यक है कि सर्विंग पथ में केवी कैश ट्रांसफर जोड़ने से समान कार्यभार के तहत प्रीफ़िल प्रदर्शन में 5 प्रतिशत से अधिक की कमी न हो। एजेंट ने पाया कि कुछ परिदृश्यों में अंतर 20 प्रतिशत से अधिक हो गया, जिसने जांच को केवी हस्तांतरण के समवर्ती व्यवहार तक सीमित कर दिया। निष्पादन समयसीमा की जांच करते हुए, एजेंट ने एक विसंगति की पहचान की: समस्या परिदृश्यों में, पायथन-साइड केवी ट्रांसफर निष्पादन ने कभी भी डीपईपी संचार लाइब्रेरी के प्रेषण और संयोजन अंतराल के साथ ओवरलैप नहीं किया। समाधान प्रासंगिक C++ निष्पादन अंतराल के दौरान पायथन के वैश्विक दुभाषिया लॉक को जारी करना था, जिससे मूनकेक, केवी कैश स्टोर की सेवा करने वाले ट्रांसफर थ्रेड को गणना के समानांतर आगे बढ़ने की अनुमति मिल सके। प्रदर्शन अंतर बाद में स्वीकृति सीमा के भीतर आ गया।
तीसरा एपिसोड पुनरावृत्तीय कर्नेल ट्यूनिंग दिखाता है। रिप्लेएसएसएम का परिचय, एक ऐसी तकनीक जो मेमोरी के लिए गणना का व्यापार करती है, शुरू में केडीए डिकोड कर्नेल के निष्पादन समय में वृद्धि हुई। एजेंट के विभाजन अनुकूलन ने कर्नेल के निष्पादन समय को 9.6 प्रतिशत तक कम कर दिया। फीडबैक प्राप्त करने के बाद कि गणना प्राथमिक बाधा बनी हुई है, एजेंट ने वी आयाम के साथ टाइल किए गए मूल कार्यान्वयन की खोज की, जिससे समान एफपी 32 सामान्यीकरण और गेटिंग गणनाओं को अनावश्यक रूप से दोहराया जाना पड़ा।
जीएलएम-5.3-फ्लैश के पीछे का ढेर
अनुकूलन एक आक्रामक सर्विंग आर्किटेक्चर के शीर्ष पर बैठता है जिसे Z.ai ने पोस्ट में वर्णित किया है: रैखिक ध्यान और भाषा मॉडल हेड के लिए इंट्रा-नोड टेंसर समानता, रिप्लेएसएसएम कंप्यूट-फॉर-मेमोरी ट्रेड, W8A8 क्वांटाइजेशन, INT8, FP8 और BF16 प्रारूपों का उपयोग करके मिश्रित-सटीक कैश क्वांटाइजेशन, एक लेयर स्प्लिट स्कीम, और एक एनकोड-प्रीफिल-डिकोड अलग आर्किटेक्चर जो सर्विंग चरणों को चलाता है। अलग संसाधन.
कंपनी इन तकनीकों के संचय को बड़े पैमाने पर एजेंट द्वारा ही खोजती और मान्य करती है, पुनरावर्ती आत्म-सुधार की दिशा में एक कदम के रूप में: एआई सिस्टम बुनियादी ढांचे में सुधार करता है जो उन्हें चलाने के लिए तेज़ और सस्ता बनाता है, जो बदले में एजेंट-संचालित सुधार के अगले दौर को और अधिक किफायती बनाता है।
यह क्यों मायने रखता है
अनुमान लागत एआई उद्योग के निर्णायक अर्थशास्त्र में से एक है। ऐसी प्रयोगशालाएँ जो प्रति टोकन कम कीमत पर सीमांत-श्रेणी के मॉडल पेश कर सकती हैं, आक्रामक तरीके से कीमत तय कर सकती हैं, प्रति कार्य हजारों कॉल करने वाले एजेंटों को सब्सिडी दे सकती हैं, और आगे के प्रशिक्षण के लिए राजस्व प्रदान कर सकती हैं। Z.ai तीनों मोर्चों पर उल्लेखनीय रूप से आक्रामक रहा है, और इस साल की शुरुआत में कंपनी के अंतरिम वित्तीय खुलासे से पता चला कि घाटा कम होने के बावजूद राजस्व तेजी से बढ़ रहा है।
यह पोस्ट इस बात का भी संकेत है कि लैब-साइड इंजीनियरिंग किस ओर जा रही है। श्रम का पारंपरिक विभाजन, जिसमें मानव प्रदर्शन इंजीनियर कर्नेल और शेड्यूलर को ट्यून करते हैं, जबकि मॉडल उपयोगकर्ता के अनुरोधों को संभालते हैं, Z.ai पर एक लूप द्वारा प्रतिस्थापित किया जा रहा है जिसमें मॉडल परिवर्तन का प्रस्ताव करता है, सस्ते प्रयोग उन्हें मान्य करते हैं, और सघन प्रतिक्रिया अगले प्रयास को निर्देशित करती है।
पूर्ण स्वायत्त आत्म-सुधार के दावों को ध्यान से पढ़ा जाना चाहिए। पोस्ट स्वयं स्पष्ट करती है कि मानव इंजीनियरों ने परीक्षण परिदृश्यों को परिभाषित किया, स्वीकृति मानदंड निर्धारित किए, और एजेंट द्वारा संचालित फीडबैक वातावरण का निर्माण किया। कंपनी जो वर्णन करती है वह एक अच्छी तरह से उपकरण वाले अनुकूलन लूप का स्वचालन है, न कि खुद को फिर से डिजाइन करने वाली एक असुरक्षित प्रणाली।
फिर भी दिशा स्पष्ट है. यदि अगले कुछ वर्षों में एआई का अर्थशास्त्र इस बात से तय होता है कि कौन सबसे सस्ती बुद्धिमत्ता प्रदान कर सकता है, तो जो प्रयोगशालाएँ अपने मॉडलों को अपने स्वयं के बुनियादी ढांचे को अनुकूलित करना सिखाती हैं, वे गति निर्धारित कर सकती हैं, और Z.ai चाहता है कि उद्योग को पता चले कि वह उनमें से एक बनने का इरादा रखता है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
