Amazon imetangaza TorchNeuron, chanzo huria asilia cha PyTorch kwa familia yake ya Trainium ya chipsi za AI, katika hatua inayoondoa mojawapo ya vizuizi vikubwa vya kuchukua silicon maalum kwa mzigo wa kujifunza mashine. Kulingana na chapisho rasmi kwenye blogu ya PyTorch iliyochapishwa kabla ya Mkutano wa PyTorch Amerika Kaskazini mnamo Oktoba 20, wasanidi programu sasa wanaweza kuendesha msimbo uliopo wa mfano wa PyTorch kwenye Trainium na mabadiliko ya mstari mmoja, badala ya kuandika upya mtiririko wao wa kazi karibu na zana za wamiliki.
Tangazo hilo lilivutia usikivu wa haraka kwa sababu linalenga kile ambacho wachambuzi wameelezea kwa muda mrefu kama faida ya kudumu zaidi ya Nvidia: si utendakazi wa chip ghafi, lakini mfumo wa ikolojia wa programu ya CUDA unaowafunga wasanidi programu kwenye GPU zake. Reuters iliandaa toleo kama Amazon ikisema chips zake za AI zitafanya kazi na mfumo maarufu wa maendeleo katika AI, wakati TechCrunch iliita TorchNeuron risasi kubwa zaidi ya kampuni kwa Nvidia bado. Kwa mtazamo mpana wa jinsi soko la vichapuzi linavyobadilika, Utangazaji wetu wa habari wa maunzi ya AI hufuatilia maendeleo haya kadri yanavyoendelea.
Nini MwengeNeuron Inabadilisha Kweli
Ahadi ya msingi ya TorchNeuron ni unyenyekevu. Katika mfano uliochapishwa kwenye blogu ya PyTorch, kitanzi kilichopo cha mafunzo kinaendelea kwenye Trainium bila chochote zaidi ya kuhamisha modeli hadi kwenye kifaa kipya na `.to('neuron')`. Msimbo ulioandikwa dhidi ya `torch.accelerator`, API ya kifaa-agnostic inayopendekezwa na PyTorch, inaendeshwa bila kubadilishwa, kulingana na chapisho. Kwa upakiaji wa kazi uliokusanywa, wasanidi programu huweka mandharinyuma chaguomsingi mara moja kwa `torch.compiler.set_default_backend("neuron")` kisha waombe `model.compile()` bila mabadiliko zaidi.
Chini ya kofia, TorchNeuron husajili Trainium kupitia PrivateUse1, sehemu rasmi ya upanuzi ya PyTorch kwa viambajengo maalum vya maunzi, ambayo inamaanisha kuwa chipu hufanya kazi kama kifaa cha kawaida cha PyTorch badala ya kiambatisho kilichowekwa kwenye mfumo. AWS inaelezea ujumuishaji kama unaojumuisha njia kadhaa za utekelezaji:
- Utekelezaji kwa hamu kwa ajili ya utafiti na utatuzi, kwa majaribio ya "hali ya ari inayobadilika" ambayo hupunguza uzinduzi
- torch.compile kwa utendakazi wa uzalishaji, kunasa modeli katika grafu ambazo mkusanyaji wa Neuron huboresha, kwa usaidizi asilia wa FlexAttention
- Kiolesura cha Neuron Kernel (NKI) kwa watafiti wanaohitaji kokwa maalum, za kiwango cha chini
Nyuma hufanya kazi kwenye Trainium2 na chipsi mpya zaidi za Trainium3, kulingana na tangazo.
Mgomo wa moja kwa moja kwenye Moat ya Programu ya Nvidia
Kushikilia kwa Nvidia kwenye kompyuta ya AI haijawahi kupumzika tu kwenye vifaa vya haraka zaidi. CUDA, jukwaa la programu la miongo miwili la kampuni, ndipo nambari nyingi za utafiti wa AI huandikwa, kupangwa, na kutumwa, na kila chipu ya mpinzani - kutoka kwa laini ya AMD ya Instinct hadi TPU za Google na Trainium ya Amazon - imelazimika kukabiliana na gharama ya kuwauliza watengenezaji kuiacha. Uzinduzi wa TorchNeuron huko GeekWire, Benzinga, na GuruFocus uliunda tangazo kama shambulio kwenye mkondo huo.
Amazon haijaribu kuvuta watengenezaji kutoka PyTorch ili kuwashinda. Badala yake, inaleta Trainium kwenye PyTorch, kwa hivyo msingi mkubwa wa watumiaji wa mfumo unaweza kupitisha chipu bila kubadilisha tabia. Chapisho la blogu ya PyTorch lilijumuisha uthibitisho kutoka kwa Meta, ambao unadumisha mfumo: "Usaidizi wa asili kwa AWS Trainium huongeza chaguo hilo, kuwezesha watafiti na wahandisi kufanya majaribio na kurudia kutumia API za utekelezaji na kusambazwa ambazo tayari wanazijua," alisema Jana van Greunen, Mkurugenzi wa Uhandisi wa PyTorch huko Meta, katika chapisho.
Utungaji huo ni muhimu kwa biashara ya wingu ya AWS. Matukio ya mafunzo yameuzwa kama mbadala wa gharama ya chini kwa Nvidia GPUs kwa mafunzo na makisio, na chipsi tayari zimevutia wateja wa marquee AI. Kufanya chip kuhisi asili kwa PyTorch kunashughulikia moja kwa moja pingamizi ambalo limepunguza upitishwaji mpana: juhudi za uhamishaji.
Upeo wa Kiufundi, Kutoka Madaftari hadi Mafunzo ya Mizani ya Nguzo
Uwezo ulioorodheshwa kwenye blogi ya PyTorch unapendekeza Amazon inalenga zaidi ya majaribio ya wapenda burudani. TorchNeuron inashughulikia seti za opereta zinazoonekana kote kwa maandishi, muundo wa aina nyingi, na modeli za lugha ya maono pamoja na utengenezaji wa picha na video, miundo ya anga za juu, na miundo ya ulimwengu, kwa usahihi wa BF16, FP32, na FP16; Usaidizi wa TorchAO na FP8 ziko katika beta ya faragha kabla ya upatikanaji wa jumla katika toleo lijalo.
Mafunzo yanayosambazwa, taaluma ambayo hugeuza msimbo wa GPU moja kuwa uendeshaji wa mizani ya nguzo, hutumika kupitia API za kawaida za PyTorch - DDP, FSDP2, SimpleFSDP, usawazishaji wa tensor na bomba, na upasuaji wa mtindo wa ZeRO, pamoja na DTensor na DeviceMesh kwa vikundi vya michakato ya pande nyingi. Mitiririko na ramani ya matukio semantiki za PyTorch kwenye foleni za maunzi za Trainium, chapisho hilo lilisema.
Kwa makisio, rafu za Neuron za Amazon huunda kwenye msingi sawa: vLLM Neuron hutumikia miundo mikubwa ya lugha, wakati vLLM Omni Neuron hutumikia miundo ya usambaaji kwa ajili ya utengenezaji wa picha na video. Kiolesura cha Neuron Kernel huruhusu watafiti kuandika viendeshaji maalum kwa utekelezaji kwa hamu na uliokusanywa, na AWS inatoa vyanzo wazi vya NKI-lib, seti ya kokwa zilizoboreshwa za Trainium zinazofunika FlashAttention na hesabu za kuzuia MoE kwa LLM kuu na matukio anuwai.
Zana ya utendaji imejumuishwa pia. Neuron Explorer huongeza kiwango cha `torch.profiler` ili kufuatilia utekelezaji kutoka kwa mfumo hadi maunzi, ikiunganisha kila tukio kurudi kwenye chanzo chake, na inaweza kuhamisha metriki zilizoumbizwa na Parquet ambazo madokezo ya chapisho yanaweza kutumiwa na mawakala kwa uchanganuzi wa kiotomatiki wa pingamizi.
Upatikanaji na Nini Kinachofuata
TorchNeuron imewekwa kwa ajili ya uzinduzi wake wa chanzo huria katika Mkutano wa PyTorch Amerika Kaskazini mnamo Oktoba 20, kulingana na chapisho la blogi, na utangamano ukienea hadi Hugging Face Transformers v5. AWS inafafanua Trainium kama jalada la chip zilizoundwa kutoka chini hadi kwa mafunzo na makisio ya AI ya kiwango cha wingu.
Muktadha wa kimkakati ni soko ambalo kila mtoaji mkuu wa wingu wakati huo huo ndiye mnunuzi mkubwa wa vichapuzi vya Nvidia na mshindani anayeweza kuwa. Microsoft, Google, na Meta zote hutengeneza silicon maalum, na makampuni ya Kichina ikiwa ni pamoja na Huawei yanaunda rundo la programu zao ili kuepuka uzito wa CUDA. Kwa kukutana na watengenezaji ndani ya PyTorch badala ya kuwauliza kuhama, Amazon imechagua njia isiyosumbua sana katika shindano hilo - na ambayo uwezekano mkubwa, ikiwa uzoefu wa msanidi utashikilia, kuhamisha mzigo wa mafunzo halisi kutoka kwa vifaa vya Nvidia.
Ikiwa TorchNeuron inamomonyoa faida ya CUDA kwa kweli itategemea utendakazi katika kiwango na mkia mrefu wa miundo ya ulimwengu halisi, maswali ambayo nyenzo za uzinduzi hazijibu. Lakini kizuizi kilichowazuia watengenezaji wengi wa PyTorch hata kujaribu Trainium - kuandika upya - sasa kimeshushwa hadi mstari mmoja wa msimbo.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
