L'amministratore delegato di Qualcomm afferma che le più grandi aziende di intelligenza artificiale gli stanno chiedendo qualcosa che gli attuali smartphone non possono nemmeno lontanamente fare: eseguire modelli da 100 miliardi di parametri sul telefono stesso, ininterrottamente, entro il 2028.

Parlando in un'intervista dell'8 ottobre riportata da Fortune e ripresa questa settimana da punti vendita tra cui TOKENPOST e Startup Fortune, Cristiano Amon ha affermato che diverse società di intelligenza artificiale - di cui ha rifiutato di fornire i nomi - stanno spingendo per smartphone in grado di mantenere un modello da 100 miliardi di parametri in funzione 24 ore su 24. Per i lettori che seguono il passaggio dell'intelligenza artificiale dal cloud alle tasche e ai polsi, si tratta del segnale di domanda più chiaro finora, e la nostra sezione Notizie sull'hardware AI traccia dove andrà successivamente quella spinta.

La richiesta viene dai laboratori di intelligenza artificiale, non dalla roadmap di Qualcomm

Il numero conta a causa della sua provenienza. Amon non stava annunciando il target di prodotto di Qualcomm; stava riferendo ciò che i laboratori di intelligenza artificiale stanno dicendo al più grande produttore di chip mobili del mondo che vogliono costruire. I chip di punta di oggi sono ben al di sotto di quella cifra: lo Snapdragon 8 Elite Extreme Gen 6, la piattaforma mobile di fascia più alta di Qualcomm, può eseguire modelli misti di esperti superiori a 30 miliardi di parametri sul dispositivo, con una finestra di contesto di circa 32.000 token.

Un modello da 100 miliardi di parametri che funziona senza sosta è più del triplo di quel limite, e cambia il problema ingegneristico in natura, non solo in misura. Come rileva il rapporto di Startup Fortune, la richiesta non riguarda una versione più grande dell'assistente che le persone già utilizzano. È per l'intelligenza artificiale agente: software che osserva, ragiona e agisce per conto di un utente invece di attendere un prompt, il che significa che il modello deve rimanere residente in memoria e continuare a fare inferenze in background tutto il giorno senza bruciare la batteria o il telaio.

Perché la memoria è il collo di bottiglia

Il divario tra 30 e 100 miliardi di parametri è fondamentalmente un problema di memoria. I pesi dei modelli sul dispositivo devono risiedere nella RAM e triplicare il conteggio dei parametri mantenendo allo stesso tempo l'inferenza in esecuzione moltiplica la larghezza di banda della memoria e le richieste di energia in modi che l'attuale hardware di punta non è mai stato progettato per assorbire.

Amon ha riconosciuto che la fornitura di chip di memoria per smartphone è soggetta a un "vincolo temporaneo" - la stessa carenza che ha fatto lievitare i prezzi dei telefoni in tutto il settore quest'anno - ma lo ha definito come una pressione che imporrà progetti di chip più efficienti in termini di memoria piuttosto che semplicemente più memoria. Ciò è in linea con le recenti scelte di Qualcomm in materia di silicio: l'8 Elite Extreme Gen 6 abbina la sua NPU Hexagon con un nuovo Element Accelerator e un pool di memoria condivisa più ampio appositamente per tenere sotto controllo la latenza e l'assorbimento di potenza per l'inferenza di una combinazione di esperti sul dispositivo.

Le chips che devono colmare il divario

L'attuale generazione di punta di Qualcomm - Snapdragon 8 Elite Gen 6 e 8 Elite Extreme Gen 6, costruiti su un processo a 2 nm - è prevista per alimentare i telefoni di punta del 2027 di Honor, iQOO, Motorola, OnePlus, OPPO, Redmi, RedMagic, vivo e Xiaomi, con dispositivi come la classe Samsung Galaxy S27 prevista al top della gamma. Se si vuole soddisfare la lista dei desideri del settore dell’intelligenza artificiale per il 2028, è questo ciclo di chip e quello successivo che dovranno fornire l’architettura della memoria, le caratteristiche termiche e l’efficienza della batteria per mantenere in vita un modello su scala di frontiera nel taschino della camicia.

Amon ha anche affermato, secondo il rapporto di Fortune, che Qualcomm sta lavorando con quasi tutti i principali attori dell'intelligenza artificiale su progetti hardware non divulgati, comprese categorie di dispositivi oltre ai telefoni. Ciò è coerente con la recente posizione dell'azienda di posizionare il silicio Snapdragon come livello di inferenza predefinito per l'intelligenza artificiale edge ovunque si trovi: telefoni, automobili, PC e occhiali.

Cosa significherebbe effettivamente l'intelligenza artificiale continua sul dispositivo

Se le aziende di intelligenza artificiale ottenessero ciò che chiedono, il cambiamento sarebbe strutturale piuttosto che estetico. Un modello che viene eseguito tutto il giorno in background può osservare il contesto, anticipare le esigenze e agire senza un viaggio di andata e ritorno verso un data center, il che implica una latenza inferiore, una migliore privacy e nessun costo cloud per query. Implica anche telefoni con una memoria più grande, più veloce e più assetata di energia rispetto a quella delle ammiraglie di oggi, in un mercato in cui i prezzi della memoria sono già allungati.

C’è un sano scetticismo da applicare qui. I dirigenti dei chip hanno già fatto audaci previsioni sull’intelligenza artificiale sui dispositivi, e il 2028 è abbastanza lontano perché l’affermazione funzioni in parte come posizione negoziale con i fornitori di memorie, i produttori di telefoni e gli stessi laboratori di intelligenza artificiale. Ma la direzione della richiesta è notevole: questa volta le aziende di intelligenza artificiale non chiedono GPU cloud più veloci. Chiedono un telefono che non smetta mai di pensare.

Sia che i clienti di Qualcomm spediscano quel dispositivo nel 2028 o successivamente, il collo di bottiglia da tenere d’occhio non sono i parametri, ma la larghezza di banda della memoria per watt. L'azienda che risolverà questo problema, a Redmond, San Diego o Taipei, possiederà la prossima definizione di telefono di punta.

Stai al passo con l'intelligenza artificiale

Guerre di chip, lanci di modelli e scoperte rivoluzionarie dell'intelligenza artificiale: tutto coperto senza esagerazioni.

Leggi altre notizie sull'AI →