آزمایشگاه هوش مصنوعی چینی Z.ai گزارش فنی دقیقی از نحوه تنظیم مدل‌های GLM برای بهبود سیستم‌هایی که به آن‌ها خدمت می‌کنند، منتشر کرده است و یک «عامل Infra» را توصیف می‌کند که گلوگاه‌های عملکردی را در زیرساخت استنتاج شرکت با مداخله محدود انسانی پیدا کرده و برطرف می‌کند.

پست وبلاگ با عنوان "به سوی خود-بهبودی بازگشتی: چگونه GLM زیرساخت استنتاج خود را ایجاد کرد" در روز چهارشنبه در سایت این شرکت قرار گرفت و به سرعت به یکی از بحث‌برانگیزترین داستان‌های فناوری در Hacker News تبدیل شد، جایی که بیش از 200 امتیاز را از جامعه توسعه‌دهندگان به دست آورد. For more context on this story, see our ongoing latest AI developments.

این شرکت در خطوط ابتدایی پست نوشت: "در حالی که ما GLM را توسعه می دهیم، این مدل گاهی اوقات قابلیت هایی را نشان می دهد که ما را شگفت زده می کند و حتی ما را ناراحت می کند."

از تحقیقات امنیت سایبری تا سیستم‌های خودبهینه‌سازی

این کار به اکتبر 2025 بازمی گردد، زمانی که Z.ai شروع به تحقیق در مورد چگونگی تقویت قابلیت های امنیت سایبری GLM کرد. این شرکت می‌گوید این استدلال ساده بود: امنیت سایبری توسعه طبیعی کدنویسی است و مدل‌هایی که می‌توانند پایگاه‌های کد بزرگ را هدایت کنند، در نهایت می‌توانند کد سیستم‌های سطح پایین را که اکثر مهندسان از آن اجتناب می‌کنند، هدایت کنند.

این بنیاد به چیزی جاه طلبانه تر تبدیل شد. Z.ai به جای استفاده از مدل‌ها صرفاً برای نوشتن کد، تصمیم گرفت به یک سوال مهندسی سیستم پاسخ دهد: آیا یک عامل هوش مصنوعی می‌تواند مسئولیت عملکرد پشته استنتاج تولید، لایه هماهنگی نرم‌افزار و سخت‌افزار را که وزن مدل را به پاسخ‌های سریع و ارزان تبدیل می‌کند، بر عهده بگیرد؟

پاسخ این شرکت شامل طرح مجدد مشکل بود. در پست استدلال می شود که معیارهای انتها به انتها به تنهایی نمی توانند عامل بهینه سازی را راهنمایی کنند. گزارشی که نشان می‌دهد زمان تا اولین توکن 30 درصد افزایش یافته یا توان خروجی 20 درصد کاهش یافته است، به یک عامل می‌گوید که چیزی بدتر شده است، اما نه اینکه کدام لایه مسئول است، چرا فرضیه آن شکست خورده است، یا اینکه در مرحله بعد چه چیزی باید آزمایش شود.

"چگونه نتایج پراکنده پایان به انتها را به بازخورد مهندسی دقیق و قابل انتساب تبدیل کنیم که مستقیماً اقدامات بعدی را هدایت می کند؟" شرکت در این پست می پرسد و این سوال را کلیدی برای کل تلاش توصیف می کند.

سه قانون برای بازخورد قابل خواندن توسط نماینده

پاسخ Z.ai یک رشته بازخوردی است که بر اساس سه ویژگی ساخته شده است. اول، بازخورد باید به اندازه کافی محلی باشد، به پارامترهای راه اندازی موتور خاص، تغییرات کد، هسته ها، شرایط ورودی، رشته ها، فواصل اجرا یا مسیرهای کد مرتبط باشد، بنابراین عامل می تواند دامنه هر مشکلی را محدود کند. دوم، برای به دست آوردن آن باید ارزان و به موقع باشد: یک سوال قابل پاسخ با یک تست هسته یا یک میکروبنچمارک محلی نباید به یک سرویس کامل نیاز داشته باشد. سوم، اعتبارسنجی باید با فرضیه فعلی مطابقت داشته باشد، با هر آزمایشی که به جای دنبال کردن یک دنباله ثابت، برای پاسخ به یک سؤال خاص طراحی شده است.

این شرکت می‌گوید این حلقه بازخورد متراکم چیزی است که به Infra Agent اجازه می‌دهد برای مهندسان کمتر مانند یک تکمیل خودکار رفتار کند و بیشتر شبیه همکارهایی باشد که می‌توانند آزمایش‌ها را یک شبه اجرا کنند.

سه مطالعه موردی، از اعداد تا یک اشکال رشته

این پست در سه قسمت مشخص از بهینه‌سازی پشته سرویس این شرکت برای GLM-5.3-Flash، مدل وزن باز Z.ai که تحت مجوز MIT در ماه آگوست منتشر شد، ارائه می‌شود.

اولی مستلزم صحت است. از آنجایی که بهینه‌سازی‌های استنتاج نحوه موازی‌سازی محاسبات را تغییر می‌دهند، عامل باید تأیید کند که هسته‌ها نتایج یکسانی را تحت شرایط پارتیشن بندی شده و پارتیشن نشده تولید می‌کنند. در یک مورد، تیم سه عملیات TF32 Tensor Core را با هم ترکیب کرد تا نتیجه ای با دقت بالاتر ایجاد کند و خطای عددی انباشته را کاهش دهد و در عین حال بیشتر مزیت عملکرد Tensor Core را حفظ کند. آزمایش مقایسه‌ای بین استراتژی‌های پارتیشن‌بندی، تفاوت‌هایی را نشان داد که انگیزه اصلاح را ایجاد می‌کرد.

دومی یک داستان اشکال زدایی سیستم است که برای هر مهندس عملکردی آشنا خواهد بود. معیارهای پذیرش مستلزم این بود که افزودن انتقال حافظه پنهان KV به مسیر خدمت نباید عملکرد پیش پر کردن را بیش از 5 درصد تحت بارهای کاری یکسان کاهش دهد. عامل دریافت که این شکاف در برخی سناریوها از 20 درصد فراتر رفته است، که تحقیقات را به رفتار همزمانی خود انتقال KV محدود می کند. با بررسی جدول‌های زمانی اجرا، عامل یک ناهنجاری را شناسایی کرد: در سناریوهای مشکل، اجرای انتقال KV سمت پایتون هرگز با فواصل ارسال و ترکیب کتابخانه ارتباطی DeepEP همپوشانی نداشت. راه حل این بود که قفل مفسر سراسری پایتون در فواصل اجرای C++ مربوطه آزاد شود و به رشته انتقالی که Mooncake، ذخیره‌گاه کش KV را ارائه می‌کند، اجازه می‌دهد به موازات محاسبات پیش برود. شکاف عملکرد متعاقباً در آستانه پذیرش قرار گرفت.

قسمت سوم تنظیم تکراری هسته را نشان می دهد. معرفی ReplaySSM، تکنیکی که محاسبات را با حافظه مبادله می کند، در ابتدا زمان اجرای یک هسته رمزگشایی KDA را افزایش داد. سپس بهینه سازی تقسیم عامل، زمان اجرای هسته را 9.6 درصد کاهش داد. پس از دریافت بازخورد مبنی بر اینکه محاسبات گلوگاه اصلی باقی مانده است، عامل پیاده سازی اصلی را در امتداد بعد V کشف کرد که باعث شد عادی سازی FP32 و محاسبات گیتینگ بی مورد تکرار شوند.

پشته پشت GLM-5.3-Flash

بهینه‌سازی‌ها در بالای معماری سرویس دهی تهاجمی قرار دارند که Z.ai در این پست توضیح می‌دهد: موازی‌سازی تانسور درون گره برای توجه خطی و سر مدل زبان، تجارت محاسباتی برای حافظه ReplaySSM، کوانتیزه‌سازی W8A8، کوانتیزه‌سازی حافظه پنهان با دقت ترکیبی با استفاده از قالب‌های INT8، FP8، و BF16، ascheme و فرمت‌های BF16. معماری تفکیک شده Encode-Prefill-Decode که مراحل سرویس دهی را روی منابع جداگانه اجرا می کند.

این شرکت انباشت این تکنیک‌ها را که تا حد زیادی توسط خود عامل کشف و تایید شده است، به‌عنوان گامی به سوی خود-بهبودی بازگشتی تعریف می‌کند: سیستم‌های هوش مصنوعی زیرساختی را بهبود می‌بخشند که اجرای آنها را سریع‌تر و ارزان‌تر می‌کند، که به نوبه خود دور بعدی بهبود عامل محور را مقرون به صرفه‌تر می‌کند.

چرا مهم است

هزینه استنتاج یکی از اقتصادهای تعیین کننده صنعت هوش مصنوعی است. آزمایشگاه‌هایی که می‌توانند مدل‌های کلاس مرزی را با هزینه کمتر به ازای هر توکن ارائه دهند، می‌توانند قیمت‌های گزافی داشته باشند، به نمایندگی‌هایی که هزاران تماس در هر کار انجام می‌دهند یارانه بدهند، و هزینه‌های آموزشی بیشتر از درآمد ارائه شده را تامین کنند. Z.ai به طور قابل توجهی در هر سه جبهه تهاجمی بوده است، و افشای مالی موقت شرکت در اوایل سال جاری نشان داد که درآمد به شدت رشد کرده است، حتی با کاهش زیان.

این پست همچنین سیگنالی است در مورد اینکه مهندسی سمت آزمایشگاه به کجا می رود. تقسیم کار سنتی، با مهندسین عملکرد انسانی که هسته‌ها و زمان‌بندی‌ها را تنظیم می‌کنند در حالی که مدل‌ها درخواست‌های کاربر را رسیدگی می‌کنند، در Z.ai با حلقه‌ای جایگزین می‌شود که در آن مدل تغییرات را پیشنهاد می‌کند، آزمایش‌های ارزان قیمت آنها را تأیید می‌کند و بازخورد متراکم تلاش بعدی را هدایت می‌کند.

ادعاهای مربوط به خودسازی کاملاً مستقل باید با دقت خوانده شوند. خود این پست روشن می‌کند که مهندسان انسانی سناریوهای آزمایش را تعریف کرده، معیارهای پذیرش را تعیین کرده و محیط‌های بازخوردی را ایجاد کرده‌اند که عامل در آن کار می‌کند. آنچه این شرکت توصیف می‌کند اتوماسیون یک حلقه بهینه‌سازی با ابزار دقیق است، نه یک سیستم بدون نظارت که دوباره طراحی می‌شود.

با این حال، جهت روشن است. اگر اقتصاد هوش مصنوعی در چند سال آینده بر اساس اینکه چه کسی می‌تواند ارزان‌ترین خدمات هوشمند را ارائه کند، تعیین شود، آزمایشگاه‌هایی که به مدل‌های آن‌ها برای بهینه‌سازی زیرساخت‌های خود آموزش می‌دهند، ممکن است سرعت را تعیین کنند و Z.ai می‌خواهد صنعت بداند که قصد دارد یکی از آنها باشد.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →