আমাজন টর্চনিউরন ঘোষণা করেছে, একটি ওপেন-সোর্স নেটিভ পাইটর্চ ব্যাকএন্ড AI চিপসের ট্রেনিয়াম পরিবারের জন্য, যা মেশিন লার্নিং ওয়ার্কলোডের জন্য কাস্টম সিলিকন গ্রহণের ক্ষেত্রে সবচেয়ে বড় ব্যবহারিক বাধা দূর করে। 20 অক্টোবর পাইটর্চ কনফারেন্স উত্তর আমেরিকার আগে প্রকাশিত পাইটর্চ ব্লগের একটি অফিসিয়াল পোস্ট অনুসারে, ডেভেলপাররা এখন মালিকানা টুলিংয়ের চারপাশে তাদের ওয়ার্কফ্লো পুনর্লিখনের পরিবর্তে একটি একক-লাইন পরিবর্তন সহ ট্রেনিয়ামে বিদ্যমান পাইটর্চ মডেল কোড চালাতে পারে।

ঘোষণাটি অবিলম্বে মনোযোগ আকর্ষণ করেছিল কারণ এটি বিশ্লেষকরা দীর্ঘকাল ধরে এনভিডিয়ার সবচেয়ে টেকসই সুবিধা হিসাবে বর্ণনা করেছে তা লক্ষ্য করে: কাঁচা চিপ কার্যকারিতা নয়, তবে CUDA সফ্টওয়্যার ইকোসিস্টেম যা বিকাশকারীদের তার GPU-তে আবদ্ধ করে। রয়টার্স এই রিলিজটিকে অ্যামাজন হিসাবে তৈরি করেছে বলেছে যে এর AI চিপগুলি AI-তে সর্বাধিক জনপ্রিয় বিকাশ কাঠামোর সাথে কাজ করবে, যখন টেকক্রাঞ্চ টর্চনিউরনকে এখনও এনভিডিয়াতে কোম্পানির সবচেয়ে বড় শট বলে অভিহিত করেছে। এক্সিলারেটরের বাজার কীভাবে পরিবর্তন হচ্ছে তার বিস্তৃত দৃষ্টিভঙ্গির জন্য, আমাদের চলমান AI হার্ডওয়্যার নিউজ কভারেজ এই বিকাশগুলিকে ট্র্যাক করে যখন সেগুলি প্রকাশ পায়।

টর্চনিউরন আসলে কী পরিবর্তন করে

টর্চনিউরনের মূল প্রতিশ্রুতি হল সরলতা। PyTorch ব্লগে প্রকাশিত উদাহরণে, একটি বিদ্যমান ট্রেনিং লুপ ট্রেনিয়ামে চলে যা `.to('নিউরন')` দিয়ে মডেলটিকে নতুন ডিভাইসে সরানো ছাড়া আর কিছুই নয়। পোস্ট অনুসারে, PyTorch-এর প্রস্তাবিত ডিভাইস-অজ্ঞেয়কারী API, `torch.accelerator`-এর বিরুদ্ধে লেখা কোডটি অপরিবর্তিত চলে। কম্পাইল করা ওয়ার্কলোডের জন্য, ডেভেলপাররা একবার `torch.compiler.set_default_backend("neuron")` দিয়ে ডিফল্ট ব্যাকএন্ড সেট করে এবং তারপর আর কোনো পরিবর্তন ছাড়াই `model.compile()` চালু করে।

হুডের নিচে, TorchNeuron কাস্টম হার্ডওয়্যার ব্যাকএন্ডের জন্য PyTorch-এর অফিসিয়াল এক্সটেনশন পয়েন্ট, PrivateUse1-এর মাধ্যমে Trainium নিবন্ধন করে, যার অর্থ হল ফ্রেমওয়ার্কের উপর বোল্ট করা একটি অ্যাপেন্ডেজের পরিবর্তে চিপটি একটি আদর্শ PyTorch ডিভাইস হিসাবে আচরণ করে। AWS ইন্টিগ্রেশনকে বিভিন্ন এক্সিকিউশন মোড বিস্তৃত হিসাবে বর্ণনা করে:

  • গবেষণা এবং ডিবাগিংয়ের জন্য আগ্রহী সম্পাদন**, একটি পরীক্ষামূলক "অ্যাডাপ্টিভ এজার মোড" সহ যা লঞ্চ ওভারহেড হ্রাস করে
  • টর্চ.কম্পাইল প্রোডাকশন পারফরম্যান্সের জন্য, মডেলগুলিকে গ্রাফে ক্যাপচার করে যা নিউরন কম্পাইলার অপ্টিমাইজ করে, ফ্লেক্স অ্যাটেনশনের জন্য স্থানীয় সমর্থন সহ
  • নিউরন কার্নেল ইন্টারফেস (NKI) গবেষকদের জন্য যাদের কাস্টম, নিম্ন-স্তরের কার্নেল প্রয়োজন

ঘোষণা অনুযায়ী ব্যাকএন্ড Trainium2 এবং নতুন Trainium3 চিপ উভয়েই কাজ করে।

এনভিডিয়ার সফ্টওয়্যার পরিখায় সরাসরি আঘাত

AI কম্পিউটিং-এ Nvidia-এর গ্রিপ কখনোই শুধুমাত্র দ্রুততর হার্ডওয়্যারের উপর নির্ভর করেনি। CUDA, কোম্পানির দুই দশকের পুরনো সফ্টওয়্যার প্ল্যাটফর্ম, যেখানে বেশিরভাগ AI গবেষণা কোড লেখা, টিউন করা এবং স্থাপন করা হয় এবং প্রতিটি চ্যালেঞ্জার চিপ - AMD এর Instinct লাইন থেকে Google's TPUs এবং Amazon's Trainium - ডেভেলপারদেরকে এটি ছেড়ে দিতে বলার খরচের সাথে লড়াই করতে হয়েছে। গিকওয়্যার, বেনজিঙ্গা এবং গুরুফোকাসে টর্চনিউরন লঞ্চের কভারেজ একইভাবে ঘোষণাটিকে সেই পরিখার উপর আক্রমণ হিসাবে তৈরি করেছে।

অ্যামাজন ডেভেলপারদের তাদের জয় করতে PyTorch থেকে বের করে আনার চেষ্টা করছে না। পরিবর্তে, এটি পাইটর্চে ট্রেনিয়াম নিয়ে আসছে, তাই ফ্রেমওয়ার্কের বিশাল ব্যবহারকারী বেস অভ্যাস পরিবর্তন না করেই চিপটি গ্রহণ করতে পারে। PyTorch ব্লগ পোস্টে Meta থেকে একটি অনুমোদন রয়েছে, যা কাঠামোটি বজায় রাখে: "AWS Trainium-এর জন্য স্থানীয় সমর্থন সেই পছন্দকে প্রসারিত করে, গবেষক এবং প্রকৌশলীকে তারা ইতিমধ্যেই পরিচিত এপিআই ব্যবহার করে পরীক্ষা করতে এবং পুনরাবৃত্তি করতে সক্ষম করে"।

যে ফ্রেমিং AWS এর ক্লাউড ব্যবসার জন্য গুরুত্বপূর্ণ। ট্রেনিয়াম দৃষ্টান্তগুলিকে প্রশিক্ষণ এবং অনুমানের জন্য এনভিডিয়া জিপিইউ-এর একটি কম খরচের বিকল্প হিসাবে বাজারজাত করা হয়েছে এবং চিপগুলি ইতিমধ্যেই মার্কি এআই গ্রাহকদের আকৃষ্ট করেছে। চিপগুলিকে PyTorch-এর নেটিভ মনে করা সরাসরি সেই আপত্তির সমাধান করে যা বৃহত্তর গ্রহণকে ধীর করে দিয়েছে: পোর্টিং প্রচেষ্টা।

প্রযুক্তিগত সুযোগ, নোটবুক থেকে ক্লাস্টার-স্কেল প্রশিক্ষণ পর্যন্ত

PyTorch ব্লগে তালিকাভুক্ত ক্ষমতাগুলি পরামর্শ দেয় যে অ্যামাজন শখের পরীক্ষা-নিরীক্ষার বাইরেও লক্ষ্য রাখছে। টর্চনিউরন টেক্সট, মাল্টিমোডাল এবং ভিশন-ল্যাঙ্গুয়েজ মডেলের পাশাপাশি ইমেজ এবং ভিডিও জেনারেশন, স্টেট স্পেস মডেল এবং ওয়ার্ল্ড মডেল জুড়ে দেখা অপারেটর সেটগুলিকে কভার করে, BF16, FP32 এবং FP16 নির্ভুলতা সহ; TorchAO এবং FP8 সমর্থন পরবর্তী রিলিজে সাধারণ উপলব্ধতার আগে ব্যক্তিগত বিটাতে রয়েছে।

ডিস্ট্রিবিউটেড ট্রেনিং, ডিসিপ্লিন যা একক-GPU কোডকে ক্লাস্টার-স্কেল রানে পরিণত করে, এটি স্ট্যান্ডার্ড PyTorch API - DDP, FSDP2, SimpleFSDP, টেনসর এবং পাইপলাইন সমান্তরালতা এবং জিরো-স্টাইল শার্ডিং, বহু-মাত্রিক প্রক্রিয়া গোষ্ঠীর জন্য DTensor এবং DeviceMesh-এর মাধ্যমে সমর্থিত। স্ট্রীম এবং ইভেন্টগুলি পাইটর্চের শব্দার্থকে ট্রেনিয়ামের হার্ডওয়্যার সারিগুলিতে মানচিত্র করে, পোস্টে বলা হয়েছে।

অনুমানের জন্য, অ্যামাজনের নিউরন স্ট্যাকগুলি একই ভিত্তির উপর তৈরি: ভিএলএলএম নিউরন বৃহৎ ভাষার মডেলগুলি পরিবেশন করে, যেখানে ভিএলএলএম ওমনি নিউরন চিত্র এবং ভিডিও তৈরির জন্য ডিফিউশন মডেলগুলি পরিবেশন করে। নিউরন কার্নেল ইন্টারফেস গবেষকদের আগ্রহী এবং সংকলিত সম্পাদন উভয়ের জন্যই কাস্টম অপারেটর লিখতে দেয় এবং AWS হল ওপেন-সোর্সিং NKI-lib, ট্রেনিয়াম-অপ্টিমাইজ করা কার্নেলের একটি সেট যা মূলধারার LLM এবং মাল্টিমোডাল পরিস্থিতিগুলির জন্য FlashAttention এবং MoE ব্লকওয়াইজ কম্পিউটেশন কভার করে।

কর্মক্ষমতা টুলিং পাশাপাশি অন্তর্ভুক্ত করা হয়. নিউরন এক্সপ্লোরার ফ্রেমওয়ার্ক থেকে হার্ডওয়্যারে এক্সিকিউশন ট্রেস করতে স্ট্যান্ডার্ড `টর্চ.প্রোফাইলার` প্রসারিত করে, প্রতিটি ইভেন্টকে তার উত্স লাইনে আবার লিঙ্ক করে, এবং প্যারকেট-ফরম্যাটেড মেট্রিক্স রপ্তানি করতে পারে যে পোস্ট নোটগুলি স্বয়ংক্রিয় বাধা বিশ্লেষণের জন্য এজেন্টদের দ্বারা গ্রাস করতে পারে।

প্রাপ্যতা এবং এর পরে কি আসে

টর্চনিউরন 20 অক্টোবর PyTorch কনফারেন্স উত্তর আমেরিকাতে তার ওপেন-সোর্স লঞ্চের জন্য সেট করা হয়েছে, ব্লগ পোস্ট অনুসারে, সামঞ্জস্যের সাথে Hugging Face Transformers v5 পর্যন্ত প্রসারিত। AWS ক্লাউড-স্কেল এআই প্রশিক্ষণ এবং অনুমানের জন্য গ্রাউন্ড আপ থেকে ডিজাইন করা চিপগুলির একটি পোর্টফোলিও হিসাবে ট্রেনিয়ামকে বর্ণনা করে।

কৌশলগত প্রেক্ষাপট হল এমন একটি বাজার যেখানে প্রতিটি প্রধান ক্লাউড প্রদানকারী একই সাথে এনভিডিয়া এক্সিলারেটরের সবচেয়ে বড় ক্রেতা এবং প্রতিযোগী হবে। মাইক্রোসফ্ট, গুগল এবং মেটা সকলেই কাস্টম সিলিকন বিকাশ করছে এবং হুয়াওয়ে সহ চীনা সংস্থাগুলি CUDA এর মাধ্যাকর্ষণ থেকে বাঁচতে তাদের নিজস্ব সফ্টওয়্যার স্ট্যাক তৈরি করছে৷ PyTorch-এর মধ্যে ডেভেলপারদের সাথে দেখা করে তাদের মাইগ্রেট করতে বলার পরিবর্তে, Amazon সেই প্রতিযোগিতায় সবচেয়ে কম বিঘ্নজনক পথ বেছে নিয়েছে — এবং সম্ভবত, ডেভেলপারের অভিজ্ঞতা যদি ধরে থাকে, তাহলে Nvidia হার্ডওয়্যার থেকে বাস্তব প্রশিক্ষণের কাজের চাপ সরিয়ে নেওয়ার জন্য।

টর্চনিউরন প্রকৃতপক্ষে CUDA-এর সুবিধাকে ক্ষয় করে কিনা তা নির্ভর করবে স্কেলে কর্মক্ষমতা এবং বাস্তব-বিশ্বের মডেলগুলির দীর্ঘ লেজের উপর, যে প্রশ্নগুলির উত্তর লঞ্চ উপকরণ দেয় না৷ কিন্তু বাধা যা বেশিরভাগ PyTorch ডেভেলপারদের এমনকি Trainium - একটি পুনঃলিখন - চেষ্টা করা থেকে বিরত রাখে তা এখন কোডের একক লাইনে নামিয়ে দেওয়া হয়েছে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →