کوالکام Cloud AI 100 Ultra را راه‌اندازی کرده است، یک شتاب‌دهنده استنتاج مرکز داده که حداکثر 870 عملکرد INT8 و 288 TFLOPS محاسبات FP16 را ارائه می‌کند، در حالی که تنها 150 وات می‌کشد - کسری از توان پردازنده‌های گرافیکی که در حال حاضر بر مولدهای AI غالب هستند.

این کارت، که در صفحه محصول رسمی مرکز داده کوالکام فهرست شده و در پوشش راه اندازی به تفصیل شرح داده شده است، به طور خاص برای هوش مصنوعی مولد و حجم کاری مدل های زبان بزرگ طراحی شده است. این غول تراشه های موبایل را به عنوان یک چالش مستقیم در بازار استنتاج قرار می دهد، جایی که تقاضا در حال افزایش است زیرا شرکت ها عوامل هوش مصنوعی، کمک خلبان ها و برنامه های کاربردی تقویت شده با بازیابی را در مقیاس به کار می گیرند. برای اطلاعات بیشتر در مورد مسابقه سخت افزاری هوش مصنوعی، به [پوشش خبری AI] ما (https://aibuzzwire.news) مراجعه کنید.

مشخصات: اول SRAM، دوم DRAM

در قلب Cloud AI 100 Ultra، 64 هسته هوش مصنوعی و 576 مگابایت SRAM موجود است. شرط کوالکام این است که نگه‌داشتن وزن‌ها و فعال‌سازی‌های مدل از نظر فیزیکی نزدیک به واحدهای محاسباتی - به جای انتقال هر توکن به حافظه خارجی - برای مدل‌های مبتنی بر ترانسفورماتور که در پهنای باند حافظه زندگی می‌کنند و می‌میرند، سودمند است.

این کارت همچنان دارای 128 گیگابایت حافظه LPDDR4x با پهنای باند 548 گیگابایت بر ثانیه برای مدل های بزرگتر و زمینه های طولانی تر است که از طریق PCIe Gen4 با 16 خط متصل است. این ترکیب - SRAM بزرگ به همراه یک توان مصرفی متوسط ​​150 وات - وجه تمایز کارت است. پردازنده‌های گرافیکی مرکز داده انویدیا معمولاً از 300 وات تا 700 وات متغیر هستند، و هر وات زمانی که استنتاج توسط توکن صورت‌بندی می‌شود اهمیت دارد و قدرت مرکز داده مورد بحث ترین منبع صنعت است.

این شرکت در مواد محصول خود با تاکید بر برنامه‌ریزی در میان بارهای کاری از بینایی کامپیوتر گرفته تا پردازش زبان طبیعی، گفت: «Cloud AI 100 Ultra یک راه‌حل استنتاج هوش مصنوعی با عملکرد و هزینه بهینه است.

نرم افزار: یک رمپ با OpenAI سازگار

سخت افزار هرگز مشکل کوالکام در مرکز داده نبوده است. نرم افزار دارد. این شرکت با مجموعه استنتاج هوش مصنوعی خود، یک لایه نرم‌افزاری که APIهای سازگار با OpenAI را برای ساخت ربات‌های چت، کوپیلوت و عامل‌های هوش مصنوعی در معرض دید قرار می‌دهد، به این موضوع رسیدگی می‌کند.

این مجموعه از چت، تولید تصویر، مدل‌های چندوجهی و جریان‌های کاری تولید تقویت‌شده بازیابی (RAG) پشتیبانی می‌کند و از طریق Kubernetes یا ظروف فلزی برهنه مستقر می‌شود. کوالکام همچنین ابزارهای مدیریت و مدیریت کاربر را عرضه می‌کند - یک افزودنی غیر جذاب که ارائه‌های شتاب‌دهنده خام اغلب فاقد آن هستند، اما ابزاری که تیم‌های فناوری اطلاعات سازمانی هنگام جابجایی بارهای کاری در داخل، سنگینی می‌کنند.

سطح API سازگار با OpenAI از نظر استراتژیک اهمیت دارد: به توسعه دهندگان این امکان را می دهد که خطوط لوله متصل به OpenAI موجود را با تغییر پیکربندی به جای بازنویسی به سمت سخت افزار کوالکام هدایت کنند و هزینه سوئیچینگ را که از قدرت در این بازار محافظت می کند، کاهش می دهد.

یک میدان شلوغ با یک رهبر واضح

کوالکام وارد بازار استنباط می شود که به میدان جنگ چرخه سخت افزاری هوش مصنوعی تبدیل شده است. L40S و H100 انویدیا تسلط دارند. MI300X AMD و Gaudi 3 اینتل حجم کاری یکسانی را هدف قرار می دهند. و سیلیکون تخصصی از Groq و Cerebras در سرعت استنباط خام حک شده است.

طرف تقاضا تقلا را توضیح می دهد. سرویس دهی به عوامل هوش مصنوعی و خطوط لوله RAG، تعداد تماس‌های مدلی را که یک جلسه کاربر ایجاد می‌کند، چند برابر می‌کند، و هر یک از آن تماس‌ها یک مشکل استنتاجی است که باید با کمترین هزینه ممکن برای هر توکن حل شود. هایپراسکیلرها قفسه هایی از پردازنده های گرافیکی شاخص را برای مدیریت آن می خرند. شرکت‌های زیر آن‌ها به دنبال سخت‌افزاری هستند که در یک سرور استاندارد، روی مدار برق استاندارد، بدون مذاکره مجدد در مورد قراردادهای برق خود، قرار بگیرند.

هدف کوالکام به جای اوج عملکرد، هزینه کل مالکیت است. برای شرکت‌هایی که استنتاج در مقیاس را انجام می‌دهند، مصرف انرژی مستقیماً به هزینه‌های عملیاتی سرازیر می‌شود و کارتی که توان عملیاتی رقابتی را در 150 وات ارائه می‌کند، اقتصاد GPU‌های بی‌فورس را کاهش می‌دهد. آموزش همچنان در حوزه انویدیا باقی می ماند – Ultra هیچ ادعایی در مورد آن ندارد – اما استنباط جایی است که اقتصاد واحد صنعت در واقع تصمیم می گیرد، و این حجم کاری است که اکثر شرکت ها خودشان را اداره می کنند، چه در یک خوشه داخلی یا یک قفس هم مکان.

اکوسیستم نرم افزار همچنان نبرد سختی است. پلتفرم CUDA انویدیا همچنان انتخاب پیش‌فرض برای اکثر توسعه‌دهندگان هوش مصنوعی است، و در حالی که APIهای سازگار با OpenAI مانع ورود را کاهش می‌دهند، کار مجدد مورد نیاز برای خطوط لوله استنتاج سفارشی را حذف نمی‌کنند.

جایی که در خط تولید کوالکام جای می گیرد

Ultra در صدر خط استنباط کوالکام قرار دارد که شامل Cloud AI 80 Ultra (تا 618 TOPS INT8 با همان 576 مگابایت SRAM)، Cloud AI 100 Pro و Cloud AI 100 Standard است که قدرت‌های edge و کوچک‌تر را با مقیاس 7 مورد استفاده قرار می‌دهد.

این راه‌اندازی نشان‌دهنده نسل فعلی نقشه راه مرکز داده Dragonfly کوالکام است که این شرکت برای بارهای کاری هوش مصنوعی در مقیاس ابری توسعه داده است - و اکنون به کوالکام استدلالی برای شرکت‌هایی می‌دهد که می‌خواهند استنتاج هوش مصنوعی مولد را در محل به جای ابر عمومی اجرا کنند، چه به دلایل هزینه، تأخیر یا حاکمیت داده.

شرط، در یک جمله

کوالکام شرط می‌بندد که با انتقال هوش مصنوعی از تعداد انگشت شماری ابر مقیاس‌کننده به هزاران شرکت، کارت استنتاج برنده سریع‌ترین کارت نیست، بلکه کارآمدترین کارت است. Cloud AI 100 Ultra همان استدلال در سیلیکون است. اینکه آیا توسعه‌دهندگان از وات‌ها پیروی می‌کنند یا خیر، همچنان یک سوال باز است.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →