Η Qualcomm κυκλοφόρησε το Cloud AI 100 Ultra, έναν επιταχυντή συμπερασμάτων κέντρων δεδομένων που παρέχει έως και 870 TOPS απόδοσης INT8 και 288 TFLOPS υπολογισμού FP16 ενώ αντλεί μόλις 150 watt — ένα κλάσμα της ισχύος των GPU που κυριαρχούν επί του παρόντος στην παραγωγή συμπερασμάτων AI.
Η κάρτα, που αναφέρεται στην επίσημη σελίδα προϊόντος του κέντρου δεδομένων της Qualcomm και περιγράφεται λεπτομερώς στην κάλυψη εκκίνησης, έχει σχεδιαστεί ειδικά για φόρτους εργασίας τεχνητής νοημοσύνης και μεγάλων γλωσσών. Τοποθετεί τον κολοσσό των τσιπ κινητών ως άμεσο αμφισβητία στην αγορά συμπερασμάτων, όπου η ζήτηση αυξάνεται καθώς οι επιχειρήσεις αναπτύσσουν πράκτορες τεχνητής νοημοσύνης, copilot και εφαρμογές επαυξημένης ανάκτησης σε κλίμακα. Για περισσότερες πληροφορίες σχετικά με τον αγώνα υλικού AI, ανατρέξτε στην [κάλυψη ειδήσεων AI] (https://aibuzzwire.news).
Οι προδιαγραφές: SRAM First, DRAM Second
Στην καρδιά του Cloud AI 100 Ultra βρίσκονται 64 πυρήνες AI και 576 MB on-die SRAM. Το στοίχημα της Qualcomm είναι ότι η διατήρηση των βαρών και των ενεργοποιήσεων των μοντέλων κοντά στις υπολογιστικές μονάδες - αντί για τη μεταφορά κάθε διακριτικού στην εξωτερική μνήμη - αποδίδει καρπούς για μοντέλα που βασίζονται σε μετασχηματιστές, τα οποία ζουν και πεθαίνουν στο εύρος ζώνης μνήμης.
Η κάρτα εξακολουθεί να φέρει 128 GB μνήμης LPDDR4x με 548 GB/s εύρους ζώνης για μεγαλύτερα μοντέλα και μεγαλύτερα περιβάλλοντα, συνδεδεμένη μέσω PCIe Gen4 με 16 λωρίδες. Αυτός ο συνδυασμός — μεγάλη on-die SRAM συν μια μέτρια κατανάλωση ισχύος 150 W — είναι το διαφοροποιητικό στοιχείο της κάρτας. Οι GPU των κέντρων δεδομένων της Nvidia κυμαίνονται συνήθως από 300 W έως 700 W και κάθε watt έχει σημασία όταν το συμπέρασμα τιμολογείται από το διακριτικό και η ισχύς του κέντρου δεδομένων είναι ο πιο αμφισβητούμενος πόρος του κλάδου.
«Το Cloud AI 100 Ultra είναι μια λύση συμπερασμάτων AI βελτιστοποιημένης απόδοσης και κόστους», είπε η εταιρεία στα υλικά προϊόντων της, δίνοντας έμφαση στον προγραμματισμό σε φόρτους εργασίας που κυμαίνονται από την όραση υπολογιστή έως την επεξεργασία φυσικής γλώσσας.
Λογισμικό: Μια On-Ramp συμβατή με OpenAI
Το υλικό δεν ήταν ποτέ το πρόβλημα της Qualcomm στο κέντρο δεδομένων. λογισμικό έχει. Η εταιρεία αντιμετωπίζει αυτό το θέμα με το AI Inference Suite, ένα επίπεδο λογισμικού που εκθέτει API συμβατά με OpenAI για τη δημιουργία chatbot, copilot και πράκτορες AI.
Η σουίτα υποστηρίζει ροές εργασίας συνομιλίας, δημιουργίας εικόνων, πολυτροπικών μοντέλων και ροών εργασίας επαυξημένης παραγωγής ανάκτησης (RAG) και αναπτύσσεται μέσω Kubernetes ή δοχείων γυμνού μετάλλου. Η Qualcomm αποστέλλει επίσης εργαλεία διαχείρισης και διαχείρισης χρηστών — μια απίθανη προσθήκη που συχνά λείπει από τις ακατέργαστες προσφορές επιταχυντών, αλλά μια προσθήκη που οι ομάδες επιχειρησιακών IT βαραίνουν πολύ όταν μεταφέρουν φόρτους εργασίας στο εσωτερικό τους.
Η επιφάνεια του API που είναι συμβατή με OpenAI έχει στρατηγική σημασία: επιτρέπει στους προγραμματιστές να κατευθύνουν υπάρχοντες αγωγούς που συνδέονται με OpenAI στο υλικό της Qualcomm με μια αλλαγή διαμόρφωσης και όχι με επανεγγραφή, μειώνοντας το κόστος μεταγωγής που προστατεύει την εξουσία σε αυτήν την αγορά.
Ένα γεμάτο γήπεδο με έναν ξεκάθαρο αρχηγό
Η Qualcomm εισέρχεται σε μια αγορά συμπερασμάτων που έχει γίνει το πεδίο μάχης του κύκλου υλικού AI. Τα L40S και H100 της Nvidia κυριαρχούν. Το MI300X της AMD και το Gaudi 3 της Intel στοχεύουν στον ίδιο φόρτο εργασίας. και το εξειδικευμένο πυρίτιο από την Groq και την Cerebras έχει χαράξει κόγχες στην ακατέργαστη ταχύτητα συμπερασμάτων.
Η πλευρά της ζήτησης εξηγεί τον αγώνα. Η εξυπηρέτηση πρακτόρων τεχνητής νοημοσύνης και αγωγών RAG πολλαπλασιάζει τον αριθμό των κλήσεων μοντέλου που δημιουργεί μια περίοδος λειτουργίας μεμονωμένου χρήστη και κάθε μία από αυτές τις κλήσεις είναι ένα πρόβλημα συμπερασμάτων που πρέπει να λυθεί με το χαμηλότερο δυνατό κόστος ανά διακριτικό. Οι υπερκλιμακωτές αγοράζουν rack με ναυαρχίδες GPU για να το χειριστούν. Οι επιχειρήσεις κάτω από αυτές αναζητούν υλικό που να ταιριάζει σε έναν τυπικό διακομιστή, σε ένα τυπικό κύκλωμα ισχύος, χωρίς να επαναδιαπραγματεύονται τα συμβόλαιά τους για την ηλεκτρική ενέργεια.
Το βήμα της Qualcomm είναι το συνολικό κόστος ιδιοκτησίας και όχι η κορυφαία απόδοση. Για επιχειρήσεις που εκτελούν συμπεράσματα σε κλίμακα, η κατανάλωση ενέργειας ρέει απευθείας στο λειτουργικό κόστος και μια κάρτα που παρέχει ανταγωνιστική απόδοση στα 150 W υπονομεύει τα οικονομικά των GPU brute-force. Η εκπαίδευση παραμένει ο τομέας της Nvidia - η Ultra δεν διεκδικεί - αλλά το συμπέρασμα είναι το σημείο όπου αποφασίζονται πραγματικά τα οικονομικά στοιχεία της βιομηχανίας και είναι ο φόρτος εργασίας που θα λειτουργήσουν οι περισσότερες επιχειρήσεις, είτε σε ένα cluster εντός της εγκατάστασης είτε σε ένα κλουβί συνεγκατάστασης.
Το οικοσύστημα λογισμικού παραμένει η δύσκολη μάχη. Η πλατφόρμα CUDA της Nvidia εξακολουθεί να είναι η προεπιλεγμένη επιλογή για τους περισσότερους προγραμματιστές τεχνητής νοημοσύνης και, ενώ τα API συμβατά με OpenAI μειώνουν το εμπόδιο εισόδου, δεν εξαλείφουν την επανεξέταση που απαιτείται για προσαρμοσμένους αγωγούς συμπερασμάτων.
Πού ταιριάζει στη σειρά της Qualcomm
Το Ultra βρίσκεται στην κορυφή της σειράς συμπερασμάτων της Qualcomm, η οποία περιλαμβάνει επίσης το Cloud AI 80 Ultra (έως 618 TOPS του INT8 με τα ίδια 576 MB SRAM), το Cloud AI 100 Pro και το Cloud AI 100 Standard, το οποίο στοχεύει στην ανάπτυξη edge και μικρότερης κλίμακας ισχύος 7.
Το λανσάρισμα αντιπροσωπεύει την τρέχουσα γενιά του οδικού χάρτη του κέντρου δεδομένων της Qualcomm Dragonfly, τον οποίο η εταιρεία έχει αναπτύξει για φόρτους εργασίας τεχνητής νοημοσύνης σε κλίμακα cloud — και ο οποίος τώρα δίνει στην Qualcomm ένα επιχείρημα για επιχειρήσεις που θέλουν να εκτελούν παραγωγικά συμπεράσματα τεχνητής νοημοσύνης εντός των εγκαταστάσεων και όχι στο δημόσιο cloud, είτε για λόγους κόστους, καθυστέρησης ή διακυβέρνησης δεδομένων.
Το στοίχημα, σε μία πρόταση
Η Qualcomm στοιχηματίζει ότι καθώς η τεχνητή νοημοσύνη μετακινείται από μια χούφτα υπερκλιμάκωσης σε χιλιάδες επιχειρήσεις, η νικητήρια κάρτα συμπερασμάτων δεν είναι η ταχύτερη αλλά η πιο αποτελεσματική. Το Cloud AI 100 Ultra είναι αυτό το επιχείρημα σε πυρίτιο. Το αν οι προγραμματιστές ακολουθούν τα watt παραμένει το ανοιχτό ερώτημα.
---
Μείνετε μπροστά από την τεχνητή νοημοσύνηΛάβετε τα πιο πρόσφατα νέα, αναλύσεις και ανακαλύψεις για την τεχνητή νοημοσύνη — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
