کنسرسیوم آلمانی Soofi S، یک مدل Open 30B را منتشر کرد که از معیارهای انگلیسی و آلمانی برتر است

کنسرسیومی از موسسات تحقیقاتی آلمانی و شرکت‌های هوش مصنوعی Soofi S 30B-A3B را منتشر کرده‌اند، یک مدل زبان باز که به گفته این پروژه، بالاترین امتیاز را در معیارهای انگلیسی و آلمانی در بین مدل‌های کاملا باز به دست می‌آورد. این نسخه که توسط KI Bundesverband، انجمن ملی هوش مصنوعی آلمان هماهنگ شده است، یکی از اولین مدل‌های زبان بزرگ است که به طور کامل در ابر هوش مصنوعی دویچه تلکام در مونیخ آموزش داده شده است و به عنوان یک جایگزین مستقل اروپایی برای نسخه‌های با وزن باز غالب ایالات متحده و چین قرار گرفته است. برای توسعه‌دهندگانی که [آخرین پیشرفت‌های هوش مصنوعی] (https://aibuzzwire.news) را دنبال می‌کنند، این راه‌اندازی کمتر از نظر مقیاس خام قابل توجه است تا کارایی غیرمعمول و تمرکز زبانی که در معماری ایجاد شده است.

طراحی هیبریدی با تنها 3.2 میلیارد پارامتر فعال

Soofi S یک مدل ترکیبی از کارشناسان (MoE) با 31.6 میلیارد پارامتر در مجموع است، اما در هر توکن تولید شده تنها حدود 3.2 میلیارد پارامتر را فعال می کند. این هزینه محاسباتی آن را به یک مدل 3 میلیارد پارامتری نزدیک تر از یک مدل متراکم 30 میلیارد پارامتری معمولی می کند، یک انتخاب طراحی با هدف ارزان نگه داشتن استنتاج در زیرساخت های اروپایی بدون اتکا به ارائه دهندگان ابری خارج از کشور.

این معماری از Nemotron 3 Nano انویدیا به عاریت گرفته شده است که لایه‌های Mamba-2 را با لایه‌های توجه استاندارد در یک طرح ترکیبی ترکیب می‌کند. طبق گزارش پیش‌آموزشی پروژه، تنها 6 لایه از 52 لایه مدل یک حافظه پنهان کلید-مقدار (KV) نگهداری می‌کنند - ساختار حافظه‌ای که نشانه‌های قبلی را برای محاسبه توجه ذخیره می‌کند. در ترانسفورماتورهای معمولی، حافظه نهان به صورت خطی با طول زمینه رشد می کند و در طول استنتاج طولانی زمینه به یک گلوگاه اصلی تبدیل می شود.

بازده عملی در توان عملیاتی خود را نشان می دهد. Soofi S با طول زمینه 40000 توکن با 32 درخواست موازی، تقریباً هشت برابر بیشتر توکن در ثانیه در هر GPU نسبت به مدل‌های متراکم در محدوده پارامترهای 14 تا 24 میلیارد تولید می‌کند. در حالی که سرعت تولید مدل‌های معمولی با افزایش زمینه به شدت کاهش می‌یابد، Soofi S تقریباً ثابت می‌ماند از 4000 توکن تا 256000 توکن. تنها مدل قابل مقایسه در اندازه گیری های کنسرسیوم، Qwen3.5 35B-A3B علی بابا است که از معماری هیبریدی نیز استفاده می کند.

برای آلمانی، بدون فدا کردن زبان انگلیسی آموزش دیده است

تمرکز عمدی بر زبان آلمانی در این پروژه نقش اساسی دارد. در مرحله اول آموزش، آلمانی 7.2 درصد از ترکیب داده ها را تشکیل می دهد. در مرحله دوم این سهم به 15.3 درصد می رسد. در مقایسه، در دستورالعمل مرجع Nemotron انویدیا، همه زبان‌های غیرانگلیسی تنها حدود 5 درصد از ترکیب آموزشی را تشکیل می‌دهند.

منابع داده شامل متن وب آلمانی از مجموعه HPLT، مجموعه آلمانی کامانز با مجوز آشکار، بخش‌های آلمانی FinePDF و FineWiki، و آرشیو دارای مجوز تجاری Genios از ۱۹۳ میلیون مقاله روزنامه‌ای که از ۹۱۶ نشریه آلمانی گرفته شده‌اند. متون آلمانی که به صورت ماشینی ترجمه شده و به صورت مصنوعی تولید شده اند این ترکیب را تکمیل می کنند.

این مدل تقریباً 27 تریلیون توکن را در سه مرحله آموزشی پردازش کرد: حدود 20 تریلیون توکن وب گسترده، کد، ریاضی و متن خاص دامنه در مرحله اول. حدود 6 تریلیون توکن با کیفیت بالاتر در مرحله دوم. و مرحله سوم کوتاهتر که پنجره زمینه را با استفاده از اسناد تا یک میلیون توکن گسترش می دهد.

نتایج محک: در آلمان و انگلیسی جلوتر، در ریاضی ضعیف تر

به گفته کنسرسیوم، Soofi S در ارزیابی‌ها در برابر 16 مدل باز دیگر، همه مدل‌های کاملاً باز را در مجموع امتیازات آلمانی و انگلیسی پیشروی می‌کند. این شامل OLMo 3 32B از موسسه آلن برای هوش مصنوعی و Apertus 70B از ETH زوریخ و EPFL است. در برابر هر خط پایه مستقل اروپایی، این مدل در تمام معیارهای آلمانی در مجموعه پیشتاز است، گاهی اوقات با حاشیه دو رقمی.

در کارهای کد، Soofi S در HumanEval 73.8 درصد، در MBPP 70.2 و در نوع MBPP آلمانی 84.2 امتیاز کسب می کند که بهترین نتایج در بین همتایان متن باز است. در INCLUDE-DE، آزمونی برای دانش منطقه ای خاص آلمان، Soofi S با 61.2 امتیاز با بزرگتر Qwen3.5 35B-A3B مقام اول را کسب کرد. در مقایسه با خط پایه Nemotron، دستور العمل داده های وزنی آلمانی مهارت زبان را 15.1 امتیاز و معیار علمی GPQA-Diamond را تا 9.6 امتیاز بهبود می بخشد، بدون اینکه به عملکرد انگلیسی لطمه ای وارد شود.

نقاط ضعف آشکاری وجود دارد. در ریاضیات رقابتی آلمانی (Minerva MATH-DE)، Soofi S 56 امتیاز کسب می کند، که بسیار عقب تر از Qwen3.5 35B-A3B با 76.5 و Gemma 3 27B با 65.6 است. همچنین بازیابی واقعی بازیابی در NaturalQuestions را دنبال می‌کند، که تیم آن را به داشتن تنها حدود 3 میلیارد پارامتر فعال و بنابراین دانش ذخیره‌شده جهانی کمتر نسبت به مدل متراکم 27B نسبت می‌دهد. آزمون زمینه طولانی RULER شکاف دیگری را نشان می‌دهد: زمانی که مدل مجبور است کلماتی را که مکرراً اتفاق می‌افتد از یک متن طولانی استخراج کند، نرخ ضربه آن به حدود 3 درصد فراتر از 32000 توکن کاهش می‌یابد، در حالی که مدل قابل مقایسه Nemotron هنوز 60 تا 64 درصد را مدیریت می‌کند.

روی 512 پردازنده گرافیکی Nvidia B200 در مونیخ آموزش دیده است

این دوره آموزشی بین مارس و می 2026 با حداکثر 512 پردازنده گرافیکی Nvidia B200 در ابر هوش مصنوعی دویچه تلکام در مونیخ انجام شد که در مجموع حدود 253000 ساعت GPU بود. بر اساس این گزارش، این تأسیسات کاملاً با انرژی تجدیدپذیر کار می کند، با آب کانال آیسباخ خنک می شود و گرمای زباله را به محله Tucherpark اطراف می رساند. Soofi S یکی از اولین دوره های آموزشی اصلی بود که بر روی این زیرساخت انجام شد.

کنسرسیوم پشت این مدل توسط وزارت امور اقتصادی و انرژی فدرال آلمان به عنوان بخشی از برنامه IPCEI-CIS اروپا تامین می شود. شرکت کنندگان عبارتند از: مؤسسه Fraunhofer IAIS و IIS، مرکز تحقیقات آلمانی برای هوش مصنوعی (DFKI)، TU Darmstadt، دانشگاه وورزبورگ، مرکز تحقیقات L3S، دانشگاه علوم کاربردی برلین، و شرکت های هوش مصنوعی Ellamind و Merantix Momentum.

بحث بر سر "بی تمرینی"

بلافاصله پس از راه‌اندازی، منتقدان استدلال کردند که Soofi S با استانداردهای قوانین کلاسیک مقیاس‌بندی چینچیلا که توسط Google DeepMind در سال 2022 منتشر شد، به شدت تحت آموزش قرار گرفته است، که نشان می‌دهد نقطه شیرین خشن 20 توکن در هر پارامتر است. Soofi S با 27 تریلیون توکن و تقریباً 30 میلیارد پارامتر، چندین صد توکن در هر پارامتر دارد. تنها شمارش 3.2 میلیارد پارامتر فعال این نسبت را به هزاران می رساند.

مایکل فروم، بخشی از رهبری فنی پروژه، این انتقاد را پس زد و استدلال کرد که این قوانین به معماری‌های وزارت انرژی منتقل نمی‌شوند. فروم گفت: «تحقیقات جدیدی وجود دارد که نشان می‌دهد قوانین مقیاس‌گذاری قدیمی از مدل‌های متراکم دیگر برای معماری‌های MOE اعمال نمی‌شود. به عنوان یک نقطه مقایسه، او به Nvidia اشاره کرد که مدل های خود را بر روی 25 تریلیون توکن آموزش داده است.

چه چیزی آزاد می شود و چه چیزی منتشر نمی شود

محققان وزن‌های مدل را همراه با نقاط بازرسی میانی انتخاب شده، کد آموزشی و ارزیابی کامل، و فهرستی از فهرست داده‌ها که تعداد توکن‌های خام، اعداد دوره‌ها و مشارکت‌های مؤثر در هر منبع را فهرست می‌کند، منتشر می‌کنند. طبق گفته تیم، این بدان معناست که Soofi S با تعریف AI منبع باز 1.0 از ابتکار منبع باز مطابقت دارد.

پیشنهاد سخت‌گیرانه‌تر برای تعریف داده‌های باز اروپایی، که مستلزم آن است که تک تک نشانه‌های آموزشی قابل توزیع آزادانه باشد، برآورده نمی‌شود زیرا 1.3 درصد از ترکیب از مجموعه Genios دارای مجوز تجاری است. این گزارش می گوید که حدود 99 درصد از داده های آموزشی هنوز می توانند به طور مستقل بازسازی شوند. مجوز دقیق عرضه این مدل در زمان انتشار نهایی نشده بود.

کنسرسیوم اکنون به دنبال شرکای صنعتی برای فاز بعدی برای آزمایش Soofi S در برنامه های کاربردی شامل اسناد فنی، تولید کد و سیستم های مبتنی بر عامل است. برای اطلاعات بیشتر در مورد عرضه‌های مدل با وزن باز، زیرساخت هوش مصنوعی مستقل و اکوسیستم هوش مصنوعی اروپا، با [پوشش صنعت هوش مصنوعی] (https://aibuzzwire.news) که در اینجا منتشر شده است، همراه باشید.

در زمینه هوش مصنوعی منبع باز پیشرو باشید

نسخه‌های با وزن باز تقریباً هر هفته از آزمایشگاه‌های ایالات متحده، چین و اکنون اروپا می‌آیند، و شکاف بین بزرگترین مدل‌های اختصاصی و بهترین جایگزین‌های باز کمتر می‌شود. [اخبار جدید هوش مصنوعی] (https://aibuzzwire.news) و تجزیه و تحلیل معیار را در اینجا برای تصویر کامل دنبال کنید.

پوشش مدل هوش مصنوعی را بیشتر بخوانید →