কৃত্রিম বুদ্ধিমত্তার দ্রুততম ক্রমবর্ধমান খরচ চিপ নাও হতে পারে - এটি বিদ্যুৎ হতে পারে যা তাদের খাওয়ায়। 12 অক্টোবর, মিশিগান ইউনিভার্সিটি ঘোষণা করেছে যে NVIDIA, বিশ্বের প্রভাবশালী AI কম্পিউটিং কোম্পানি, কীভাবে দুটি U-M শক্তি-সাশ্রয়ী সরঞ্জাম যুক্ত করা যায় তা মূল্যায়ন করছে Megatron-LM, NVIDIA-এর বহুল ব্যবহৃত ওপেন-সোর্স প্ল্যাটফর্ম বৃহৎ ভাষার মডেল প্রশিক্ষণের জন্য। বিশ্ববিদ্যালয়ের মতে, সফ্টওয়্যারটি এআই প্রশিক্ষণের জন্য প্রয়োজনীয় শক্তিকে 50% পর্যন্ত কমাতে পারে — প্রশিক্ষণের গতি বা মডেলের কার্যকারিতাকে প্রভাবিত না করে।
সংবাদ একটি ল্যাবের প্রকাশনার রেকর্ডের বাইরেও গুরুত্বপূর্ণ। Megatron-LM একটি বিশেষ গবেষণা কোডবেস নয়: কোম্পানিগুলি এটি সরাসরি বা তাদের নিজস্ব ব্যক্তিগত, কাস্টমাইজড প্রশিক্ষণ প্ল্যাটফর্মের ভিত্তি হিসাবে ব্যবহার করতে পারে এবং এটি NVIDIA-এর ফ্ল্যাগশিপ নেমোট্রন মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত প্ল্যাটফর্ম, যা ব্যবহারকারীরা তাদের নিজস্ব হার্ডওয়্যারে ডাউনলোড করতে পারে। যদি U-M টুলগুলি এটিকে Megatron-LM-এ পরিণত করে, তাহলে একটি একাডেমিক ল্যাবে বিকশিত দক্ষতার উন্নতি বিশ্বের AI প্রশিক্ষণের একটি বড় অংশে প্রচারিত হবে। AI এর পিছনে অবকাঠামোগত দৌড়ের চলমান কভারেজের জন্য, আমাদের হোমপেজে সর্বশেষ AI উন্নয়নগুলি অনুসরণ করুন।
Kareus এবং Perseus আসলে কি করে
দুটি সরঞ্জাম বিতরণ করা প্রশিক্ষণে বর্জ্যের বিভিন্ন উত্স এবং তাদের সঞ্চয় স্ট্যাকের উপর আক্রমণ করে।
পার্সিয়াস: প্রসেসরের গতি পরিচালনা
পার্সিয়াস ওভার-প্রভিশনড কম্পিউটের ঠিকানা। একটি বৃহৎ প্রশিক্ষণে, প্রতিটি প্রসেসর প্রতিটি মুহুর্তে দরকারী কাজ করে না, তবুও তাদের সকলেই শক্তি আকর্ষণ করে। প্রশিক্ষণের প্রতিটি পয়েন্টে উপলব্ধ প্রকৃত কাজের সাথে মেলে প্রসেসরের গতি পরিচালনা করার মাধ্যমে, পার্সিয়াস AI প্রশিক্ষণের জন্য প্রয়োজনীয় শক্তিকে 30% পর্যন্ত কমিয়ে দেয়, U-M অনুসারে।
Kareus: গণনা এবং যোগাযোগের জন্য আরও স্মার্ট সময়
Kareus একটি সূক্ষ্ম সমস্যা লক্ষ্য. আধুনিক মডেলের প্রশিক্ষণের জন্য শত শত থেকে হাজার হাজার প্রসেসরের সমন্বয় প্রয়োজন, এবং কাজ গণনা এবং চিপ-টু-চিপ যোগাযোগের মধ্যে বিভক্ত। Kareus প্রশিক্ষণ এবং যোগাযোগের কাজগুলির মধ্যে সবচেয়ে দক্ষ সময় এবং সম্পদ ভাগাভাগি খুঁজে বের করে অতিরিক্ত 15% থেকে 30% প্রশিক্ষণের শক্তি হ্রাস করে — প্রতিটি সময়সূচী করে যাতে কেউই অন্যের জন্য অপেক্ষা না করে।
একসাথে, ইউনিভার্সিটি বলছে, একই প্রশিক্ষণের গতি এবং চূড়ান্ত মডেল পারফরম্যান্স সরবরাহ করার সময় সরঞ্জামগুলি AI প্রশিক্ষণে ব্যবহৃত প্রায় অর্ধেক শক্তি সঞ্চয় করতে পারে। Kareus এছাড়াও একটি পিয়ার-পর্যালোচিত ফলাফল: টুলটি জুলাই মাসে অপারেটিং সিস্টেম ডিজাইন অ্যান্ড ইমপ্লিমেন্টেশন (OSDI)-এ USENIX সিম্পোজিয়ামে উপস্থাপিত হয়েছিল, যা সিস্টেম গবেষণার অন্যতম শীর্ষ স্থান।
কেন NVIDIA এর আগ্রহ আসল গল্প
একাডেমিক দক্ষতা গবেষণা সাধারণত উত্পাদন একটি দীর্ঘ রাস্তা সম্মুখীন. এটি যেখানে অবতরণ করেছে তার কারণে এটি ভিন্ন হতে পারে। একজন ডক্টরাল ছাত্র, রুওফান উ, গত গ্রীষ্মে NVIDIA-এ U-M সফ্টওয়্যারকে Megatron-LM-এ একীভূত করার জন্য একটি ইন্টার্নশিপের অংশ হিসেবে কাটিয়েছেন — মানে টুলগুলি কোনও প্রস্তাব নয় কিন্তু NVIDIA-এর প্রশিক্ষণ স্ট্যাকের ভিতরে কাজ করার কোড, এখন আনুষ্ঠানিক মূল্যায়নের অধীনে।
ইউনিভার্সিটির ঘোষণায় ইউ-এম-এর কম্পিউটার সায়েন্স অ্যান্ড ইঞ্জিনিয়ারিং-এর ডক্টরাল ছাত্র উ বলেন, "মডেলগুলি বড় হয়ে ওঠার ফলে এআই শক্তি-সংকল্পিত হয়ে উঠছে এবং আরও বেশি লোক মডেলকে প্রশিক্ষণ দিতে চায়, কিন্তু আমরা কম শক্তি ব্যবহার করে একই প্রশিক্ষণের গতি এবং কর্মক্ষমতা অর্জন করতে পারি।" "সফ্টওয়্যার এবং হার্ডওয়্যার স্তরে AI শক্তির ব্যবহারকে অপ্টিমাইজ করার অনেক সুযোগ রয়েছে এবং ইন্টার্নশিপের সবচেয়ে ফলপ্রসূ অংশগুলির মধ্যে একটি ছিল আমার গবেষণা থেকে ধারনাগুলি উৎপাদন ব্যবস্থায় আনার সুযোগ," তিনি যোগ করেছেন।
এই শব্দটি - শক্তি-সীমাবদ্ধ - শিল্পের নতুন ওয়াচওয়ার্ড। ইউ-এম গবেষণা দল, যার মধ্যে ডক্টরাল ছাত্র জেফ মা এবং জে-ওয়ান চুং সহ সহযোগী অধ্যাপক মোশারফ চৌধুরীও রয়েছে, ইন্টিগ্রেশনে NVIDIA-এর সাথে কাজ করছে। দলের ফ্রেমিং সহজবোধ্য: লক্ষ্য হল শত থেকে হাজার হাজার প্রসেসর জুড়ে প্রশিক্ষণ সমন্বয় করার সবচেয়ে কার্যকর উপায় খুঁজে বের করে কম শক্তি এবং খরচের জন্য AI-কে আরও দরকারী কাজ করতে দেওয়া।
শক্তি এখন প্রথম শ্রেণীর সীমাবদ্ধতা
সীমান্ত প্রশিক্ষণের স্কেল হল যা শতাংশ সঞ্চয়কে কৌশলগত সংখ্যায় পরিণত করে। মেটা এই সপ্তাহে বলেছে যে এর নতুন মিউজ ওয়ান্ডার মডেলগুলি প্রমিথিউসে প্রশিক্ষিত হয়েছিল, যা এটি একটি গিগাওয়াট-স্কেল ডেটা সেন্টার হিসাবে বর্ণনা করে। যখন একটি একক প্রশিক্ষণ অভিযান সেই স্কেলে চলে, শতাংশ-স্তরের শক্তি হ্রাস একটি রাউন্ডিং ত্রুটি নয়; এটি একটি পাওয়ার বাজেটের মধ্যে চালানো প্রশিক্ষণ ফিট করা বা না করার মধ্যে পার্থক্য।
অর্থনীতি পদার্থবিদ্যা অনুসরণ করে। AI সম্প্রসারণের জন্য শক্তি একটি গেটিং সংস্থান হয়ে উঠেছে। সফ্টওয়্যার যা একটি প্রশিক্ষণের বিদ্যুৎ বিলকে অর্ধেক করে দেয় — বিদ্যমান হার্ডওয়্যার ব্যবহার করে — প্রতিটি কোম্পানির নিজস্ব মডেল প্রশিক্ষণের জন্য ক্যালকুলাস পরিবর্তন করে, এবং বিশেষ করে ছোট খেলোয়াড়দের জন্য যাদের জন্য শক্তি খরচ বাধ্যতামূলক সীমাবদ্ধতা।
এটি AI এর চারপাশে পরিবেশগত বিতর্ককেও পুনর্বিন্যাস করে। বেশিরভাগ জনসাধারণের আলোচনা অনুমান শক্তির উপর দৃষ্টি নিবদ্ধ করেছে — প্রতিটি চ্যাটবট প্রশ্নের দ্বারা ব্যবহৃত শক্তি। কিন্তু প্রশিক্ষণ যেখানে শক্তির সবচেয়ে বড় একক ব্লককে কেন্দ্রীভূত করা হয়, এবং একটি পিয়ার-রিভিউ, বিক্রেতা-অজ্ঞেয়বাদী সফ্টওয়্যার পদ্ধতি যা এটিকে অর্ধেক পর্যন্ত কমিয়ে দেয় একটি হার্ডওয়্যার রোডম্যাপের চেয়ে বিরল কিছু অফার করে: দক্ষতা লাভ যা পরবর্তী ডেটা সেন্টার নির্মাণের পরিবর্তে পরবর্তী ওপেন-সোর্স রিলিজের সাথে আসতে পারে।
এরপর কি হবে
বিশ্ববিদ্যালয় বলেছে যে NVIDIA তার ওপেন-সোর্স প্রশিক্ষণ প্ল্যাটফর্মে সফ্টওয়্যারটি কীভাবে যুক্ত করা যায় তা মূল্যায়ন করছে। যদি এটি মেগাট্রন-এলএম-এ পাঠানো হয়, তাহলে দত্তক নেওয়া দ্রুত ছড়িয়ে পড়তে পারে যে কাঠামোটি শিল্প এবং একাডেমিয়া জুড়ে কত ব্যাপকভাবে ব্যবহৃত হয়। U-M টিমের বৃহত্তর গবেষণা প্রোগ্রামটি সফ্টওয়্যার এবং হার্ডওয়্যার স্ট্যাক জুড়ে শক্তি সঞ্চয়ের সন্ধান চালিয়ে যাচ্ছে — একটি এজেন্ডা যা কয়েক বছর আগে বিশেষ মনে হয়েছিল এবং এখন গেমের কেন্দ্রের মতো দেখাচ্ছে।
