Z.ai، آزمایشگاه هوش مصنوعی چینی پشت خانواده مدل‌های GLM، GLM-Legal را در 12 اکتبر منتشر کرد، یک مدل تخصصی دامنه که به‌جای پاسخ به سؤالات مجزا، برای رسیدگی به کارهای حقوقی انتها به انتها ساخته شده است. طبق اعلام این شرکت، GLM-Legal به نرخ 19.2 درصدی همه قبولی در معیار نماینده قانونی هاروی (LAB) دست یافت و در عین حال با سیستم‌های مرزی بسیار بزرگ‌تر در آزمون‌های استدلال قانونی تثبیت‌شده مطابقت داشت - و راه‌اندازی به سرعت توجه را در اخبار هکر جلب کرد، جایی که در عرض چند ساعت 170 امتیاز جمع‌آوری کرد.
انتشار واضح ترین سیگنالی است که Z.ai فکر می کند بازار به کجا می رود. در چارچوب‌بندی شرکت، مدل‌های زبان بزرگ از تولید کد تک نوبتی به سمت آنچه «همکاری حرفه‌ای» نامیده می‌شود تغییر می‌کنند: کار دانشی که در آن یک نماینده باید اسناد منبع تکه‌تکه شده را تحت اهداف مشخص و محدودیت‌های تحویل سخت هضم کند، دانش تخصصی را در یک تجزیه و تحلیل منسجم ساختار دهد و دقت دامنه را از اولین لحظه تا تحویل نهایی حفظ کند. Z.ai استدلال می‌کند که رویه حقوقی همه این خواسته‌ها را در یک مکان متمرکز می‌کند، که آن را به یک تست استرس ایده‌آل برای هوش مصنوعی حرفه‌ای تبدیل می‌کند. می‌توانید نحوه واکنش بقیه صنعت را در پوشش خبری فوری هوش مصنوعی ما دنبال کنید.
اعداد پشت پرتاب
Z.ai GLM-Legal را در سه محور ارزیابی کرد: اجرای وظایف پیچیده، استدلال قانونی تخصصی، و گردش کار حقوقی در دنیای واقعی. نتیجه سرفصل در آزمایشگاه هاروی است، معیاری که توسط شرکت حقوقی هوش مصنوعی هاروی ساخته شده است که مدل‌ها را ملزم می‌کند با اسناد منبع کار کنند و دستورالعمل‌های دقیق را برای تولید محصولات کار قانونی نهایی دنبال کنند.
سه نتیجه از این اعلامیه برجسته است:
Harvey LAB — 19.2% همه قبولی. در سراسر جریان کاری شرکت حقوقی در دنیای واقعی که شامل 24 حوزه عملی می شود، GLM-Legal تحت درجه بندی سختگیرانه همه قبولی هاروی 19.2% به دست آورد که 12.5 درصد نسبت به مدل پایه خود بهبود یافته است. رژیم درجه‌بندی عمداً نابخشودنی است: یک ارسال باید همه الزامات شمارش را برآورده کند، بنابراین اعتبار جزئی وجود ندارد. Z.ai می‌گوید این امتیاز اجرای سرتاسر قابل‌اعتماد و بدون کاهش متوسط را تأیید می‌کند. LegalBench — برابری با مدل‌های مرز بسته. در LegalBench، که استدلال تخصصی را بر روی قراردادها، پرونده‌های ادغام و نظرات قضایی آزمایش می‌کند، Z.ai گزارش می‌دهد که GLM-Legal با بهترین مدل‌های مرزی منبع بسته مطابقت دارد، علی‌رغم اجرای آنچه شرکت به عنوان ردپای پارامتری بسیار ناچیز توصیف می‌کند. PLawBench — قدرت در رویه چینی. در PLawBench، که مشاوره حقوقی چینی، تجزیه و تحلیل پرونده، و پیش نویس اسناد را تحت روبریک های دقیق ارزیابی می کند، Z.ai ادعا می کند که با سیستم های مرزی پیشرو برابری می کند.رقم 19.2 درصد مستحق یک بار خواندن است. این به طور همزمان یک رکورد از پیشرفت - یک جهش 12.5 امتیازی از مدل پایه - و یادآوری این است که ارزیابی حقوقی نماینده چقدر تقاضا دارد. در درجه‌بندی همه قبولی، این عدد نشان می‌دهد که اکثریت قابل‌توجهی از گردش‌های کاری کامل همچنان در حداقل یک نیاز با شکست مواجه می‌شوند. خریداران قانونی که سیستم‌های هوش مصنوعی را ارزیابی می‌کنند باید معیارهای فروشنده را دقیقاً با همین تفاوت‌ها در ذهن بخوانند.
چگونه GLM-Legal آموزش داده شد
Z.ai این مدل را بر روی GLM-5.3-Flash، مدل پایه سبک وزنی که این شرکت در اوایل سال جاری منتشر کرد، ساخت و صلاحیت دامنه را از طریق خط لوله دو مرحله‌ای که آن را به‌طور غیرعادی متمرکز بر کارایی توصیف می‌کند، لایه‌بندی کرد.
آموزش میانی در مورد نهادهای حقوقی
مرحله اول، مجموعه‌های حقوقی با کیفیت بالا را در طول دوره آموزشی گسترش می‌دهد، و به مدل اجازه می‌دهد مفاهیم حقوقی، قوانین قانونی و چارچوب‌های تفسیری را در چارچوب دامنه متراکم بیاموزد. Z.ai می‌گوید این مرحله زنجیره قیاسی بین حقایق، قوانین و نتیجه‌گیری را تقویت می‌کند - بستری که یک مدل قبل از اجرای کار پیچیده پایین‌دستی به آن نیاز دارد.
پس از تمرین با مهار در حلقه
مرحله دوم از یادگیری تقویتی در ده ها هزار محیط قانونی واقعی استفاده می کند. قابل‌توجه، Z.ai مدل را به‌صورت مجزا آموزش نداد: مهار عامل - چارچوب هماهنگ‌سازی زمان اجرا که زمینه کار را مدیریت می‌کند، مجموعه‌های ابزار را به هم متصل می‌کند، و بازخورد اجرای مسیرها را به هم متصل می‌کند - با مدل در lockstep بهینه‌سازی شد. موارد لبه در طول آموزش مدل، گلوگاه‌ها را در معماری مهار نمایان می‌کنند، در حالی که اصلاحات مهار به آموزش بازخورد داده می‌شود و به مدل آموزش می‌دهد که زمینه مربوطه را بازیابی کند و با محدودیت‌های اجرای واقعی سازگار شود.
حلقه های بازخورد تولید
در نهایت، Z.ai می‌گوید گردش‌های کاری در دنیای واقعی و بازخورد پزشکان نقشه راه بهینه‌سازی آن را تنظیم می‌کنند. متخصصان حقوقی، خروجی ها را بر اساس معیارهای مشخص ارزیابی می کنند: آیا به همه مسائل مهم و موارد لبه پرداخته می شود، آیا استدلال ها ثابت شده اند و استنادها به درستی انجام می شود، آیا موارد قابل تحویل به طور خلاصه به موضوع پایبند هستند یا خیر، و آیا تیم های پایین دستی می توانند از خروجی بدون کار مجدد دستی استفاده کنند. این قضاوت ها به سیگنال های مهندسی بتن تبدیل می شوند که آموزش های بیشتر را هدایت می کنند.
چه معنایی برای صنعت حقوقی دارد
مدل های تخصصی دامنه در حال تبدیل شدن به یک مقوله جدی هستند. Z.ai به جای شرط‌بندی که یک مدل کلی در همه جا عالی خواهد بود، شرط می‌بندد که وظایف حرفه‌ای با دامنه‌ی دقیق، پاداش هدفمند در اواسط آموزش و اصلاح مبتنی بر ارزیابی را به همراه دارد - رویکردی که کلیت را با قابلیت اطمینان در یک حجم کاری محدود و با ارزش عوض می‌کند.
در اینجا نیز پژواک رقابتی قابل توجهی وجود دارد. مدل‌های جدید Muse Wonder متا که در همان روز اعلام شد، در آزمایشگاه هاروی نیز مورد ارزیابی قرار گرفتند، نشانه‌ای از این که معیار قانونی ایجاد شده توسط یکی از شرکت‌های پیشرو هوش مصنوعی قانونی به معیاری بین‌صنعتی برای صلاحیت عامل تبدیل شده است. زمانی که آزمایشگاه‌های مصرف‌کننده و استارت‌آپ‌های تخصصی در یک آزمون رتبه‌بندی می‌شوند، خریداران امتیاز کمیاب مقایسه سیب به سیب را به دست می‌آورند.
هشدارهایی که ارزش در نظر گرفتن دارند
نتایج توسط Z.ai گزارش شده است، و تکرار مستقل معیارهای قانونی عامل هنوز نادر است. این شرکت بیان نکرده است که آیا GLM-Legal به طور گسترده در دسترس خواهد بود یا خیر، مدل چه قیمتی خواهد داشت یا چگونه محرمانه بودن مشتری را مدیریت می کند - سوالاتی که هر شرکت حقوقی یا بخش حقوقی قبل از پذیرش می پرسد. و مانند همه معیارهای فروشنده، عملکرد در LAB هاروی عملکرد را در LAB هاروی اندازه‌گیری می‌کند. صلاحیت در مورد مسائل، حوزه های قضایی یا قالب های اسناد یک شرکت خاص را تضمین نمی کند.
با این حال، نادیده گرفتن مسیر دشوار است. یک مدل ناب ساخته شده بر روی پایه کلاس Flash که با سیستم‌های مرزی بسته بر اساس استدلال قانونی مطابقت دارد، نشان می‌دهد که عصر هوش مصنوعی حرفه‌ای خاص دامنه سریع‌تر از آنچه بسیاری انتظار می‌رفت فرا می‌رسد.
