चीनी AI लॅब Z.ai ने GLM मॉडेल्सना त्यांना सेवा देणाऱ्या सिस्टीममध्ये सुधारणा करण्यासाठी कसे काम केले याचे तपशीलवार तांत्रिक खाते प्रकाशित केले आहे, "इन्फ्रा एजंट" चे वर्णन केले आहे जे मर्यादित मानवी हस्तक्षेपासह कंपनीच्या अनुमान पायाभूत सुविधांमध्ये कार्यक्षमतेतील अडथळे शोधतात आणि त्यांचे निराकरण करतात.

"टुवर्ड रिकर्सिव्ह सेल्फ-इम्प्रूव्हमेंट: हाऊ GLM बिल्ट इट्स ओन इन्फरेन्स इन्फ्रास्ट्रक्चर" या शीर्षकाची ब्लॉग पोस्ट बुधवारी कंपनीच्या साइटवर आली आणि हॅकर न्यूजवर त्वरीत सर्वाधिक चर्चेत असलेल्या तंत्रज्ञान कथांपैकी एक बनली, जिथे विकासक समुदायाकडून 200 हून अधिक गुण मिळवले. For more context on this story, see our ongoing latest AI developments.

"आम्ही GLM विकसित करत असताना, मॉडेल कधीकधी अशा क्षमतांचे प्रदर्शन करते जे आम्हाला आश्चर्यचकित करतात आणि आम्हाला अस्वस्थ करतात," कंपनीने पोस्टच्या सुरुवातीच्या ओळींमध्ये लिहिले.

सायबर सिक्युरिटी रिसर्च पासून सेल्फ-ऑप्टिमायझिंग सिस्टम्स पर्यंत

Z.ai ने GLM च्या सायबरसुरक्षा क्षमता कशा बळकट करायच्या यावर संशोधन सुरू केले ते ऑक्टोबर 2025 पर्यंतचे काम आहे. तर्क, कंपनी म्हणते, सरळ होते: सायबरसुरक्षा हा कोडिंगचा नैसर्गिक विस्तार आहे आणि जे मॉडेल मोठ्या कोडबेसला नेव्हिगेट करू शकतात ते शेवटी निम्न-स्तरीय सिस्टम कोड नेव्हिगेट करू शकतात जे बहुतेक अभियंते टाळतात.

तो पाया अधिक महत्वाकांक्षी काहीतरी म्हणून विकसित झाला. केवळ कोड लिहिण्यासाठी मॉडेल्स वापरण्याऐवजी, Z.ai सिस्टम इंजिनिअरिंग प्रश्नाचे उत्तर देण्यासाठी निघाले: एआय एजंट उत्पादन अनुमान स्टॅक, सॉफ्टवेअर आणि हार्डवेअर कोऑर्डिनेशन लेयरच्या कामगिरीची जबाबदारी घेऊ शकतो जे मॉडेलचे वजन जलद, स्वस्त प्रतिसादांमध्ये बदलते?

कंपनीच्या उत्तरामध्ये समस्या पुन्हा तयार करणे समाविष्ट होते. केवळ एंड-टू-एंड मेट्रिक्स, पोस्ट तर्क करते, ऑप्टिमाइझिंग एजंटला मार्गदर्शन करू शकत नाही. टाइम-टू-फर्स्ट-टोकन 30 टक्क्यांनी वाढले किंवा आउटपुट थ्रूपुट 20 टक्क्यांनी घसरले असा अहवाल एजंटला सांगतो की काहीतरी बिघडले आहे, परंतु कोणता स्तर जबाबदार नाही, त्याचे गृहितक का अयशस्वी झाले आहे किंवा पुढे काय तपासायचे आहे.

"आम्ही विरळ एंड-टू-एंड परिणामांना सूक्ष्म, गुणात्मक अभियांत्रिकी फीडबॅकमध्ये कसे बदलू जे थेट पुढील कृतीचे मार्गदर्शन करतात?" कंपनी पोस्टमध्ये विचारते, प्रश्नाचे वर्णन संपूर्ण प्रयत्नांची गुरुकिल्ली आहे.

एजंट-वाचनीय अभिप्रायासाठी तीन नियम

Z.ai चे उत्तर हे तीन वैशिष्ट्यांवर आधारित फीडबॅक शिस्त आहे. प्रथम, अभिप्राय पुरेसा स्थानिक असला पाहिजे, विशिष्ट इंजिन लॉन्च पॅरामीटर्स, कोड बदल, कर्नल, इनपुट कंडिशन, थ्रेड्स, एक्झिक्यूशन इंटरव्हल्स किंवा कोड पथ यांच्याशी जोडलेला असावा, त्यामुळे एजंट कोणत्याही समस्येची व्याप्ती कमी करू शकतो. दुसरे, ते मिळवण्यासाठी स्वस्त आणि वेळेवर असणे आवश्यक आहे: कर्नल चाचणी किंवा स्थानिक मायक्रोबेंचमार्कद्वारे उत्तर दिले जाणारे प्रश्न पूर्ण सेवा तैनाती आवश्यक नसावेत. तिसरे, प्रमाणीकरण हे सध्याच्या गृहीतकाशी जुळले पाहिजे, प्रत्येक प्रयोग एका निश्चित क्रमाचे पालन करण्याऐवजी विशिष्ट प्रश्नाचे उत्तर देण्यासाठी डिझाइन केलेले आहे.

कंपनीचे म्हणणे आहे की हा दाट फीडबॅक लूप इन्फ्रा एजंटला अभियंत्यांसाठी कमी स्वयंपूर्ण आणि रात्रभर प्रयोग करू शकणाऱ्या सहकाऱ्याप्रमाणे वागण्याची परवानगी देतो.

तीन केस स्टडीज, संख्याशास्त्र पासून थ्रेडिंग बग पर्यंत

GLM-5.3-Flash साठी कंपनीच्या सर्व्हिंग स्टॅकच्या ऑप्टिमायझेशनपासून पोस्ट तीन ठोस भागांमधून चालते, जे ओपन-वेट मॉडेल Z.ai ऑगस्टमध्ये MIT परवान्याअंतर्गत रिलीज झाले.

पहिल्यामध्ये शुद्धता समाविष्ट आहे. कारण अनुमान ऑप्टिमायझेशन गणनेचे समांतर कसे केले जातात ते बदलतात, एजंटला हे सत्यापित करणे आवश्यक आहे की कर्नल विभाजन आणि विभाजन न केलेल्या परिस्थितीत समान परिणाम देतात. एका प्रकरणात, टीमने उच्च-अचूक परिणाम देण्यासाठी तीन TF32 Tensor Core ऑपरेशन्स एकत्र केल्या, Tensor Core कार्यक्षमतेचा बहुतांश फायदा जतन करून संचित संख्यात्मक त्रुटी कमी करते. विभाजन धोरणांमधील तुलनात्मक चाचणीने निराकरणास प्रवृत्त करणाऱ्या विसंगती उघड केल्या.

दुसरी एक सिस्टम-डीबगिंग कथा आहे जी कोणत्याही कार्यप्रदर्शन अभियंत्याला परिचित वाटेल. स्वीकृती निकष आवश्यक आहे की सर्व्हिंग पाथमध्ये KV कॅशे ट्रान्सफर जोडल्याने प्रीफिल कार्यप्रदर्शन समान वर्कलोड्स अंतर्गत 5 टक्क्यांपेक्षा जास्त कमी होऊ नये. एजंटला काही परिस्थितींमध्ये अंतर 20 टक्क्यांपेक्षा जास्त असल्याचे आढळले, ज्याने KV हस्तांतरणाच्या समवर्ती वर्तनापर्यंत तपास कमी केला. अंमलबजावणीच्या टाइमलाइनचे परीक्षण करताना, एजंटने एक विसंगती ओळखली: समस्येच्या परिस्थितीत, पायथन-साइड केव्ही हस्तांतरण अंमलबजावणी डीपईपी कम्युनिकेशन लायब्ररीच्या डिस्पॅच आणि एकत्रित अंतरासह कधीही ओव्हरलॅप होत नाही. Python चे ग्लोबल इंटरप्रिटर लॉक संबंधित C++ एक्झिक्यूशन इंटरव्हल दरम्यान रिलीझ करणे, Mooncake, KV कॅशे स्टोअर, गणनेसह समांतरपणे पुढे जाण्यासाठी ट्रान्सफर थ्रेडला अनुमती देऊन सोडणे हे होते. कामगिरीतील अंतर नंतर स्वीकृती थ्रेशोल्डमध्ये आले.

तिसरा भाग पुनरावृत्ती कर्नल ट्यूनिंग दर्शवितो. ReplaySSM सादर करत आहे, एक तंत्र जे मेमरी साठी मोजणीचे व्यापार करते, सुरुवातीला KDA डीकोड कर्नलच्या अंमलबजावणीची वेळ वाढवली. एजंटच्या विभागणी ऑप्टिमायझेशनने कर्नलच्या अंमलबजावणीची वेळ 9.6 टक्क्यांनी कमी केली. गणना ही प्राथमिक अडचण राहिली असा अभिप्राय मिळाल्यानंतर, एजंटने व्ही डायमेंशनसह टाइल केलेले मूळ अंमलबजावणी शोधून काढले, ज्यामुळे एकसारखे FP32 सामान्यीकरण आणि गेटिंग गणना अनावश्यकपणे पुनरावृत्ती होते.

GLM-5.3-फ्लॅशच्या मागे स्टॅक

Z.ai ने पोस्टमध्ये वर्णन केलेल्या आक्रमक सर्व्हिंग आर्किटेक्चरच्या शीर्षस्थानी ऑप्टिमायझेशन्स बसतात: रेखीय लक्ष आणि भाषा मॉडेल हेडसाठी इंट्रा-नोड टेन्सर समांतरता, मेमरी ट्रेडसाठी रीप्लेएसएसएम कंप्यूट, W8A8 क्वांटायझेशन, मिश्रित-परिशुद्धता कॅशे क्वांटायझेशन INT8, Sp88, Sp88 साठी स्कीम, आणि एन्कोड-प्रीफिल-डीकोड डिसॅग्रेटेड आर्किटेक्चर जे स्वतंत्र संसाधनांवर सर्व्हिंग टप्पे चालवते.

कंपनी या तंत्रांच्या संचयनाची चौकट बनवते, जी एजंटनेच शोधून काढली आणि मोठ्या प्रमाणात प्रमाणित केली, पुनरावृत्ती होणाऱ्या स्वयं-सुधारणेच्या दिशेने एक पाऊल म्हणून: AI प्रणाली पायाभूत सुविधांमध्ये सुधारणा करतात ज्यामुळे त्यांना चालवण्यासाठी जलद आणि स्वस्त बनते, ज्यामुळे एजंट-चालित सुधारणांची पुढील फेरी अधिक परवडणारी बनते.

हे महत्त्वाचे का आहे

अनुमान खर्च हे एआय उद्योगाच्या निर्णायक अर्थशास्त्रांपैकी एक आहे. प्रति टोकन कमी किमतीत फ्रंटियर-क्लास मॉडेलची सेवा देऊ शकतील अशा लॅब आक्रमकपणे किंमत देऊ शकतात, प्रति टास्क हजारो कॉल करणाऱ्या एजंटना सबसिडी देऊ शकतात आणि पुढील प्रशिक्षणासाठी निधी उपलब्ध करून देऊ शकतात. Z.ai तिन्ही आघाड्यांवर लक्षणीयपणे आक्रमक आहे, आणि कंपनीच्या या वर्षाच्या सुरुवातीला झालेल्या अंतरिम आर्थिक प्रकटीकरणात तोटा कमी असतानाही महसूल झपाट्याने वाढत असल्याचे दिसून आले.

लॅब-साइड अभियांत्रिकी कोठे जात आहे याबद्दल पोस्ट देखील एक सिग्नल आहे. कामगारांची पारंपारिक विभागणी, मानवी कार्यप्रदर्शन अभियंते कर्नल आणि शेड्युलर ट्यूनिंग करत असताना मॉडेल वापरकर्त्याच्या विनंत्या हाताळतात, Z.ai येथे एका लूपद्वारे बदलले जात आहे ज्यामध्ये मॉडेल बदल सुचवते, स्वस्त प्रयोग त्यांचे प्रमाणीकरण करतात आणि दाट अभिप्राय पुढील प्रयत्नांना निर्देशित करतात.

पूर्णपणे स्वायत्त स्व-सुधारणेचे दावे काळजीपूर्वक वाचले पाहिजेत. पोस्ट स्वतः स्पष्ट करते की मानवी अभियंत्यांनी चाचणी परिस्थिती परिभाषित केली, स्वीकृती निकष सेट केले आणि अभिप्राय वातावरण तयार केले ज्यामध्ये एजंट कार्यरत आहे. कंपनी ज्याचे वर्णन करते ते एका चांगल्या-इंस्ट्रुमेंटेड ऑप्टिमायझेशन लूपचे ऑटोमेशन आहे, स्वतःची पुनर्रचना करणारी एक पर्यवेक्षित प्रणाली नाही.

असे असले तरी दिशा स्पष्ट आहे. AI चे अर्थशास्त्र येत्या काही वर्षात कोणाला सर्वात स्वस्त बुद्धिमत्ता देऊ शकते हे ठरवले गेले तर, त्यांच्या मॉडेलना त्यांच्या स्वतःच्या पायाभूत सुविधांना अनुकूल करण्यासाठी शिकवणाऱ्या लॅब गती वाढवू शकतात आणि Z.ai ची इच्छा आहे की उद्योगाने हे जाणून घ्यावे की ते त्यापैकी एक असावे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →