Amazon, Trainium AI çip ailesi için açık kaynaklı yerel PyTorch arka ucu olan TorchNeuron'u duyurdu ve bu hareketle, makine öğrenimi iş yükleri için özel silikonun benimsenmesinin önündeki en büyük pratik engellerden birini ortadan kaldırdı. PyTorch blogunda 20 Ekim'de Kuzey Amerika PyTorch Konferansı öncesinde yayınlanan resmi bir gönderiye göre, geliştiriciler artık iş akışlarını özel araçlar etrafında yeniden yazmak yerine, mevcut PyTorch model kodunu Trainium'da tek satırlık bir değişiklikle çalıştırabilirler.

Duyuru hemen dikkat çekti çünkü analistlerin uzun süredir Nvidia'nın en kalıcı avantajı olarak tanımladığı şeyi hedef alıyordu: ham çip performansını değil, geliştiricileri GPU'larına bağlayan CUDA yazılım ekosistemini. Reuters, Amazon'un yapay zeka çiplerinin yapay zekadaki en popüler geliştirme çerçevesiyle çalışacağını söylediğini ifade ederken TechCrunch, TorchNeuron'u şirketin Nvidia'ya karşı şimdiye kadarki en büyük şansı olarak nitelendirdi. Hızlandırıcı pazarının nasıl değiştiğine dair daha geniş bir bakış açısı için, devam eden AI donanım haberlerimiz bu gelişmeleri ortaya çıktıkça takip ediyor.

TorchNeuron Aslında Neyi Değiştiriyor?

TorchNeuron'un temel vaadi basitliktir. PyTorch blogunda yayınlanan örnekte, mevcut bir eğitim döngüsü, modeli `.to('neuron')` ile yeni cihaza taşımanın ardından Trainium üzerinde çalışıyor. Gönderiye göre, PyTorch'un önerilen cihazdan bağımsız API'si olan "torch.accelerator"a karşı yazılan kod değiştirilmeden çalışıyor. Derlenmiş iş yükleri için geliştiriciler, varsayılan arka ucu `torch.compiler.set_default_backend("neuron")` ile bir kez ayarlar ve ardından başka değişiklik yapmadan `model.compile()'ı çağırır.

Kaputun altında, TorchNeuron, Trainium'u PyTorch'un özel donanım arka uçları için resmi uzantı noktası olan PrivateUse1 aracılığıyla kaydeder; bu, çipin çerçeveye cıvatalanmış bir eklenti yerine standart bir PyTorch cihazı gibi davrandığı anlamına gelir. AWS, entegrasyonu çeşitli yürütme modlarını kapsayan bir süreç olarak tanımlıyor:

  • Başlatma yükünü azaltan deneysel bir "uyarlamalı istekli mod" ile araştırma ve hata ayıklama için hevesli uygulama
  • Üretim performansı için torch.compile, yerel FlexAttention desteğiyle, modelleri Neuron derleyicisinin optimize ettiği grafikler halinde yakalıyor
  • Özel, düşük seviyeli çekirdeğe ihtiyaç duyan araştırmacılar için Nöron Çekirdek Arayüzü (NKI)

Duyuruya göre arka uç hem Trainium2 hem de daha yeni Trainium3 çiplerinde çalışıyor.

Nvidia'nın Yazılım Hendeğine Doğrudan Saldırı

Nvidia'nın yapay zeka bilişimi üzerindeki hakimiyeti hiçbir zaman yalnızca daha hızlı donanıma dayanmadı. Şirketin yirmi yıllık yazılım platformu olan CUDA, yapay zeka araştırma kodlarının çoğunun yazıldığı, ayarlandığı ve dağıtıldığı yerdir ve AMD'nin Instinct serisinden Google'ın TPU'larına ve Amazon'un Trainium'una kadar her zorlu çip, geliştiricilerin onu bırakmasını istemenin maliyetiyle mücadele etmek zorunda kalmıştır. GeekWire, Benzinga ve GuruFocus'ta TorchNeuron lansmanına ilişkin haberler, duyuruyu aynı şekilde o hendeğe saldırı olarak çerçeveledi.

Amazon, geliştiricileri kazanmak için PyTorch'tan çıkarmaya çalışmıyor. Bunun yerine Trainium'u PyTorch'a getiriyor, böylece çerçevenin muazzam kullanıcı tabanı alışkanlıkları değiştirmeden çipi benimseyebiliyor. PyTorch blog gönderisi, Meta'nın çerçeveyi koruyan bir desteğini içeriyordu: "AWS Trainium için yerel destek, bu seçeneği genişleterek araştırmacıların ve mühendislerin zaten bildikleri hevesli yürütme ve dağıtılmış API'leri kullanarak denemeler yapmalarına ve yineleme yapmalarına olanak tanıyor" dedi Meta PyTorch Mühendislik Direktörü Jana van Greunen, gönderide.

Bu çerçeve AWS'nin bulut işi için önemlidir. Trainium örnekleri, eğitim ve çıkarım için Nvidia GPU'lara daha düşük maliyetli bir alternatif olarak pazarlanıyor ve çipler zaten önemli yapay zeka müşterilerinin ilgisini çekiyor. Çiplerin PyTorch'a özgü hissettirilmesi, daha geniş çapta benimsenmeyi yavaşlatan itirazı doğrudan ele alıyor: taşıma çabası.

Dizüstü Bilgisayarlardan Küme Ölçekli Eğitime Kadar Teknik Kapsam

PyTorch blogunda listelenen yetenekler, Amazon'un hobi amaçlı deneylerin çok ötesinde hedef aldığını gösteriyor. TorchNeuron, BF16, FP32 ve FP16 hassasiyetiyle metin, çok modlu ve görsel dil modellerinin yanı sıra görüntü ve video oluşturma, durum alanı modelleri ve dünya modellerinde görülen operatör setlerini kapsar; TorchAO ve FP8 desteği, bir sonraki sürümdeki genel kullanıma sunulmadan önce özel beta aşamasındadır.

Tek GPU kodunu küme ölçeğinde çalıştırmalara dönüştüren disiplin olan dağıtılmış eğitim, standart PyTorch API'leri (DDP, FSDP2, SimpleFSDP, tensör ve ardışık düzen paralelliği ve ZeRO tarzı parçalamanın yanı sıra çok boyutlu süreç grupları için Dtensor ve DeviceMesh) aracılığıyla desteklenir. Gönderide, akışların ve olayların PyTorch'un anlambilimini Trainium'un donanım kuyruklarıyla eşleştirdiği belirtildi.

Çıkarım için, Amazon'un Neuron yığınları aynı temel üzerine kuruludur: vLLM Neuron büyük dil modellerine hizmet ederken, vLLM Omni Neuron görüntü ve video oluşturmaya yönelik yayılma modellerine hizmet eder. Neuron Çekirdek Arayüzü, araştırmacıların hem istekli hem de derlenmiş yürütme için özel operatörler yazmasına olanak tanır ve AWS, ana akım LLM ve çok modlu senaryolar için FlashAttention ve MoE blok halinde hesaplamaları kapsayan, Trainium için optimize edilmiş bir dizi çekirdek olan açık kaynaklı NKI-lib'dir.

Performans araçları da dahildir. Neuron Explorer, yürütmeyi çerçeveden donanıma kadar izlemek için standart "torch.profiler"ı genişleterek her olayı kaynak hattına bağlar ve otomatik darboğaz analizi için aracılar tarafından posta notlarının kullanılabileceği Parquet formatlı ölçümleri dışa aktarabilir.

Kullanılabilirlik ve Sırada Ne Var?

Blog gönderisine göre TorchNeuron, Hugging Face Transformers v5'e kadar uzanan uyumlulukla 20 Ekim'de Kuzey Amerika PyTorch Konferansı'nda açık kaynak lansmanı için hazırlanıyor. AWS, Trainium'u bulut ölçeğinde yapay zeka eğitimi ve çıkarımı için sıfırdan tasarlanmış bir yonga portföyü olarak tanımlıyor.

Stratejik bağlam, her büyük bulut sağlayıcısının aynı anda Nvidia hızlandırıcılarının en büyük alıcısı ve olası bir rakip olduğu bir pazardır. Microsoft, Google ve Meta'nın tümü özel silikon geliştiriyor ve aralarında Huawei'nin de bulunduğu Çinli firmalar CUDA'nın çekiminden kaçmak için kendi yazılım yığınlarını oluşturuyor. Amazon, geliştiricilerden geçiş yapmalarını istemek yerine PyTorch içinde buluşarak, bu yarışmada en az rahatsız edici yolu seçti ve geliştirici deneyimi devam ederse, gerçek eğitim iş yüklerini Nvidia donanımının dışına taşıyacak en muhtemel yolu seçti.

TorchNeuron'un CUDA'nın avantajını gerçekten aşındırıp aşındırmayacağı, ölçekteki performansa ve gerçek dünya modellerinin uzun kuyruğuna bağlı olacak; lansman materyallerinin yanıtlayamadığı sorular. Ancak çoğu PyTorch geliştiricisinin Trainium'u (yeniden yazma) denemesini bile engelleyen engel artık tek bir kod satırına indirildi.

---

Yapay Zekanın Önünde Olun

En son AI haberlerini, analizlerini ve buluşlarını tek bir yerden alın.

Daha fazla AI haberini okuyun →