Amazon نے TorchNeuron، AI چپس کے اپنے Trainium خاندان کے لیے ایک اوپن سورس مقامی PyTorch بیک اینڈ کا اعلان کیا ہے، ایک ایسے اقدام میں جو مشین لرننگ کے کام کے بوجھ کے لیے کسٹم سلکان کو اپنانے میں سب سے بڑی عملی رکاوٹوں کو دور کرتا ہے۔ 20 اکتوبر کو PyTorch کانفرنس شمالی امریکہ سے پہلے شائع ہونے والی PyTorch بلاگ پر ایک سرکاری پوسٹ کے مطابق، ڈویلپرز اب ملکیتی ٹولنگ کے ارد گرد اپنے ورک فلو کو دوبارہ لکھنے کے بجائے، ایک لائن تبدیلی کے ساتھ ٹرینیم پر موجودہ PyTorch ماڈل کوڈ چلا سکتے ہیں۔

اس اعلان نے فوری توجہ مبذول کرائی کیونکہ یہ ان چیزوں کو نشانہ بناتا ہے جسے تجزیہ کاروں نے طویل عرصے سے Nvidia کے سب سے پائیدار فائدہ کے طور پر بیان کیا ہے: خام چپ کی کارکردگی نہیں، بلکہ CUDA سافٹ ویئر ایکو سسٹم جو ڈویلپرز کو اپنے GPUs سے منسلک کرتا ہے۔ رائٹرز نے ریلیز کو ایمیزون کے طور پر تیار کیا کہ اس کے AI چپس AI میں سب سے زیادہ مقبول ترقیاتی فریم ورک کے ساتھ کام کریں گے، جبکہ TechCrunch نے TorchNeuron کو Nvidia میں کمپنی کا اب تک کا سب سے بڑا شاٹ قرار دیا۔ ایکسلریٹر مارکیٹ کس طرح تبدیل ہو رہی ہے اس کے وسیع تر نظریے کے لیے، ہماری جاری AI ہارڈویئر نیوز کوریج ان پیش رفتوں کے سامنے آنے کے ساتھ ہی ٹریک کرتا ہے۔

ٹارچ نیورون اصل میں کیا بدلتا ہے۔

TorchNeuron کا بنیادی وعدہ سادگی ہے۔ PyTorch بلاگ پر شائع ہونے والی مثال میں، ٹرینیئم پر ایک موجودہ ٹریننگ لوپ چلتا ہے جس کے بعد ماڈل کو نئے ڈیوائس پر `.to('neuron')` کے ساتھ منتقل کرنے کے علاوہ کچھ نہیں۔ پوسٹ کے مطابق، `torch.accelerator` کے خلاف لکھا گیا کوڈ، PyTorch کا تجویز کردہ ڈیوائس-ایگنوسٹک API، بغیر ترمیم کے چلتا ہے۔ مرتب شدہ کام کے بوجھ کے لیے، ڈویلپرز ایک بار پہلے سے طے شدہ بیک اینڈ کو `torch.compiler.set_default_backend("neuron")` کے ساتھ سیٹ کرتے ہیں اور پھر مزید تبدیلیوں کے بغیر `model.compile()` کو استعمال کرتے ہیں۔

ہڈ کے نیچے، TorchNeuron Trainium کو PrivateUse1 کے ذریعے رجسٹر کرتا ہے، PyTorch کے کسٹم ہارڈویئر بیک اینڈز کے لیے آفیشل ایکسٹینشن پوائنٹ، جس کا مطلب ہے کہ چپ ایک معیاری PyTorch ڈیوائس کے طور پر برتاؤ کرتی ہے بجائے اس کے کہ فریم ورک پر جڑے ہوئے اپینڈیج کے طور پر۔ AWS انضمام کو عملدرآمد کے کئی طریقوں پر محیط قرار دیتا ہے:

  • تحقیق اور ڈیبگنگ کے لیے بے تاب عمل، تجرباتی "اڈاپٹیو ایجر موڈ" کے ساتھ جو لانچ اوور ہیڈ کو کم کرتا ہے۔
  • torch.compile پیداواری کارکردگی کے لیے، ماڈلز کو گراف میں کیپچر کرنا جنہیں نیوران کمپائلر بہتر بناتا ہے، FlexAttention کے لیے مقامی تعاون کے ساتھ
  • نیورون کرنل انٹرفیس (NKI) ان محققین کے لیے جنہیں اپنی مرضی کے مطابق، کم درجے کے دانے کی ضرورت ہوتی ہے۔

اعلان کے مطابق، بیک اینڈ Trainium2 اور جدید ترین Trainium3 چپس دونوں پر کام کرتا ہے۔

Nvidia کے سافٹ ویئر موٹ پر براہ راست ہڑتال

AI کمپیوٹنگ پر Nvidia کی گرفت کبھی بھی صرف تیز رفتار ہارڈ ویئر پر نہیں رہی۔ CUDA، کمپنی کا دو دہائی پرانا سافٹ ویئر پلیٹ فارم ہے، جہاں زیادہ تر AI ریسرچ کوڈ لکھا جاتا ہے، ٹیون کیا جاتا ہے، اور تعینات کیا جاتا ہے، اور ہر چیلنجر چپ — AMD کی Instinct لائن سے لے کر Google کے TPUs اور Amazon کے Trainium تک — کو ڈویلپرز کو اسے چھوڑنے کے لیے کہنے کی لاگت کا مقابلہ کرنا پڑا ہے۔ GeekWire، Benzinga، اور GuruFocus میں TorchNeuron لانچ کی کوریج نے یکساں طور پر اعلان کو اس کھائی پر حملے کے طور پر تیار کیا۔

ایمیزون ڈویلپرز کو جیتنے کے لیے PyTorch سے باہر نکالنے کی کوشش نہیں کر رہا ہے۔ اس کے بجائے، یہ ٹرینیم کو PyTorch میں لا رہا ہے، لہذا فریم ورک کا بہت بڑا صارف بنیاد عادات کو بدلے بغیر چپ کو اپنا سکتا ہے۔ PyTorch بلاگ پوسٹ میں Meta کی طرف سے ایک توثیق شامل ہے، جو فریم ورک کو برقرار رکھتی ہے: "AWS Trainium کے لیے مقامی حمایت اس انتخاب کو وسعت دیتی ہے، جس سے محققین اور انجینئرز کو تجربہ کرنے اور دوبارہ استعمال کرنے کے قابل بناتے ہیں اور وہ APIs کو تقسیم کرتے ہیں جنہیں وہ پہلے سے جانتے ہیں،" جانا وان گرونین، ڈائریکٹر PyTorch انجینئرنگ نے کہا، Meta میں پوسٹ میں۔

یہ فریمنگ AWS کے کلاؤڈ بزنس کے لیے اہمیت رکھتی ہے۔ ٹرینیئم مثالوں کو Nvidia GPUs کے کم لاگت والے متبادل کے طور پر تربیت اور اندازہ لگانے کے لیے مارکیٹ کیا گیا ہے، اور چپس نے پہلے ہی مارکی AI صارفین کو اپنی طرف متوجہ کیا ہے۔ چپس کو PyTorch کا مقامی محسوس کرنا براہ راست اس اعتراض کو دور کرتا ہے جس نے وسیع تر اپنانے کی رفتار کو سست کر دیا ہے: پورٹنگ کی کوشش۔

تکنیکی دائرہ کار، نوٹ بک سے لے کر کلسٹر اسکیل ٹریننگ تک

PyTorch بلاگ پر درج صلاحیتوں سے پتہ چلتا ہے کہ ایمیزون شوق کے تجربات سے آگے کا ہدف رکھتا ہے۔ TorchNeuron BF16، FP32، اور FP16 درستگی کے ساتھ متن، ملٹی موڈل، اور وژن لینگویج ماڈلز کے ساتھ ساتھ تصویر اور ویڈیو جنریشن، ریاستی خلائی ماڈلز، اور عالمی ماڈلز پر نظر آنے والے آپریٹر سیٹوں کا احاطہ کرتا ہے۔ TorchAO اور FP8 سپورٹ اگلی ریلیز میں عام دستیابی سے پہلے نجی بیٹا میں ہیں۔

تقسیم شدہ تربیت، وہ نظم جو سنگل-GPU کوڈ کو کلسٹر اسکیل رنز میں تبدیل کرتا ہے، معیاری PyTorch APIs — DDP، FSDP2، SimpleFSDP، ٹینسر اور پائپ لائن کے متوازی، اور ZeRO طرز کی شارڈنگ کے ساتھ ساتھ DTensor اور DeviceMesh کثیر جہتی عمل گروپوں کے لیے تعاون یافتہ ہے۔ پوسٹ میں کہا گیا ہے کہ اسٹریمز اور ایونٹس PyTorch کے سیمنٹکس کو ٹرینیئم کے ہارڈ ویئر کی قطاروں میں نقشہ بناتے ہیں۔

اندازہ کے لیے، ایمیزون کے نیوران اسٹیک اسی بنیاد پر بنتے ہیں: vLLM نیوران بڑے زبان کے ماڈلز پیش کرتا ہے، جب کہ vLLM Omni Neuron امیج اور ویڈیو جنریشن کے لیے ڈفیوژن ماڈل پیش کرتا ہے۔ نیورون کرنل انٹرفیس محققین کو بے تاب اور مرتب شدہ عمل دونوں کے لیے حسب ضرورت آپریٹرز لکھنے دیتا ہے، اور AWS اوپن سورسنگ NKI-lib ہے، جو ٹرینیم کے لیے موزوں کرنل کا ایک سیٹ ہے جس میں مین اسٹریم LLM اور ملٹی موڈل منظرناموں کے لیے FlashAttention اور MoE بلاک وائز کمپیوٹیشن شامل ہیں۔

پرفارمنس ٹولنگ بھی شامل ہے۔ نیوران ایکسپلورر معیاری `torch.profiler` کو توسیع دیتا ہے تاکہ عمل درآمد کو فریم ورک سے ہارڈ ویئر تک ٹریس کیا جا سکے، ہر ایونٹ کو اس کے ماخذ لائن سے منسلک کیا جا سکے، اور Parquet فارمیٹ شدہ میٹرکس برآمد کر سکتا ہے جسے پوسٹ نوٹ خودکار رکاوٹوں کے تجزیہ کے لیے ایجنٹوں کے ذریعے استعمال کیا جا سکتا ہے۔

دستیابی اور آگے کیا آتا ہے۔

TorchNeuron 20 اکتوبر کو PyTorch کانفرنس شمالی امریکہ میں اپنے اوپن سورس لانچ کے لیے تیار ہے، بلاگ پوسٹ کے مطابق، مطابقت پذیری Hugging Face Transformers v5 تک ہے۔ AWS ٹرینیئم کو چپس کے ایک پورٹ فولیو کے طور پر بیان کرتا ہے جو کلاؤڈ اسکیل AI ٹریننگ اور انفرنس کے لیے زمین سے ڈیزائن کیا گیا ہے۔

اسٹریٹجک سیاق و سباق ایک ایسی مارکیٹ ہے جس میں ہر بڑا کلاؤڈ فراہم کنندہ بیک وقت Nvidia ایکسلریٹروں کا سب سے بڑا خریدار اور اس کا مقابلہ کرنے والا ہے۔ مائیکروسافٹ، گوگل، اور میٹا سبھی اپنی مرضی کے مطابق سلکان تیار کرتے ہیں، اور چینی فرم بشمول Huawei CUDA کی کشش ثقل سے بچنے کے لیے اپنے سافٹ ویئر اسٹیکس بنا رہے ہیں۔ PyTorch کے اندر ڈویلپرز سے ملاقات کرکے انہیں ہجرت کرنے کے لیے کہنے کے بجائے، Amazon نے اس مقابلے میں سب سے کم خلل ڈالنے والے راستے کا انتخاب کیا ہے - اور سب سے زیادہ امکان، اگر ڈویلپر کا تجربہ برقرار رہتا ہے، تو Nvidia ہارڈویئر سے حقیقی تربیتی کام کے بوجھ کو منتقل کرنا۔

آیا TorchNeuron حقیقی طور پر CUDA کے فائدے کو ختم کرتا ہے اس کا انحصار پیمانے پر کارکردگی اور حقیقی دنیا کے ماڈلز کی لمبی دم پر ہوگا، ایسے سوالات جن کا لانچ مواد جواب نہیں دیتا ہے۔ لیکن وہ رکاوٹ جس نے زیادہ تر PyTorch ڈویلپرز کو Trainium - ایک دوبارہ لکھنا - کو آزمانے سے روکا تھا اسے اب کوڈ کی ایک لائن تک کم کردیا گیا ہے۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →