Il team Qwen di Alibaba ha lanciato Qwen3.8-Omni-Flash, un modello omnimodale nativo di prossima generazione che accetta input di testo, immagini, audio e video attraverso un'unica finestra di contesto da 1 milione di token. Il rilascio, dettagliato sul blog ufficiale di Qwen, segna la spinta più aggressiva del team fino ad ora per trasformare audio e video da input passivi nel mezzo principale attraverso il quale gli agenti di intelligenza artificiale percepiscono e agiscono sul mondo.

Dalla comprensione dei media all'azione su di essi

L'obiettivo dichiarato di Qwen3.8-Omni-Flash non è solo una migliore comprensione dei media. Secondo il team Qwen, il modello è progettato per far avanzare i sistemi omnimodali dalla “comprensione dei contenuti omnimodali” alla “pianificazione delle attività, alla chiamata degli strumenti e al completamento del lavoro creativo”. In pratica, ciò significa che il modello è rivolto a flussi di lavoro come editing video, creazione di video musicali, produzione e commenti di film, riepilogo audiovisivo e conversazioni vocali in tempo reale.

Questa inquadratura agente separa il rilascio dai precedenti modelli multimodali che trattavano audio e video come input da trascrivere o descrivere. Qwen sostiene che l'audio e il video si stanno evolvendo in "media fondamentali attraverso i quali gli agenti comprendono il loro ambiente, ragionano ed eseguono compiti" - un'affermazione che l'azienda sostiene con una serie di risultati di benchmark degli agenti.

I numeri dietro l'uscita

Attraverso 29 valutazioni che abbracciano ragionamento audio, ragionamento audiovisivo e benchmark di agenti audiovisivi, Qwen afferma che il punteggio medio del modello migliora di oltre il 25% rispetto al suo predecessore, Qwen3.5-Omni-Plus. I risultati principali riportati sul blog Qwen includono:

  • Un guadagno di 36,5 punti su WildClawBench-MM e 22,3 punti su AgenticVBench, due benchmark per agenti audiovisivi, più un punteggio di 69,6 su UniClawBench.
  • Un miglioramento di 8,3 punti su LongAudioSpan e un guadagno di 9,6 punti su OmniVideoBench per la comprensione di audio e video di lunga durata.
  • Drastici cali del tasso di errore nella trascrizione delle riunioni con più oratori: AliMeeting DER e cpWER del modello sono scesi rispettivamente da 88,11 e 89,61 a 3,35 e 17,18.

Sul fronte competitivo, Qwen fa un confronto diretto con l'offerta di Google: l'azienda dichiara prestazioni audiovisive vicine a Gemini 3.8 Flash e prestazioni audio complessive che lo superano. La verifica indipendente di tali confronti richiederà tempo, ma la specificità delle affermazioni di riferimento segnala che Qwen considera il modello competitivo alla frontiera del lavoro omnimodale.

Una finestra di token da 1 milione per ore di contenuti multimediali

La finestra di contesto unificata da 1 milione di token è probabilmente la caratteristica più pratica della versione. Poiché audio e video consumano token molto più velocemente del testo, la maggior parte dei modelli multimodali in produzione gestiscono solo pochi minuti di contenuti multimediali alla volta. Una finestra di contesto a sette cifre consente al modello di conservare ore di registrazioni di riunioni, riprese video estese o documenti multimediali misti di grandi dimensioni in un'unica sessione senza suddivisione.

Qwen osserva che il modello mantiene le prestazioni del testo paragonabili a un modello di solo testo delle stesse dimensioni, affrontando il compromesso comune in cui la formazione omnimodale degrada la pura abilità linguistica.

Riduzioni di prezzo del 98% sull'ingresso audio

Il prezzo è il settore in cui Alibaba esercita la maggiore pressione. Secondo il blog, il prezzo API per ora di input audio è diminuito di oltre il 98% rispetto a Qwen3.5-Omni-Plus, mentre il prezzo per ora di input audiovisivo è sceso di oltre il 93%. La nota metodologica dell'azienda afferma che i prezzi orari sono stimati come 30 volte il costo di input di due minuti di materiale sorgente, con input audiovisivo calcolato a 720p e 1 fotogramma al secondo.

Per gli sviluppatori che creano agenti vocali, riassunti di riunioni o pipeline di analisi dei media, il costo di input è spesso il vincolo vincolante sulla scala. Un calo dei prezzi di due ordini di grandezza cambia quali prodotti sono economicamente sostenibili, la stessa dinamica che ha guidato la prima ondata di API economiche per l’inferenza del testo.

Disponibilità ed ecosistema

Qwen3.8-Omni-Flash è ora disponibile sulla piattaforma AI Qianwen, con accesso API tramite Alibaba Cloud Model Studio, incluso un endpoint in tempo reale dedicato per casi d'uso conversazionali. Il team ha anche pubblicato strumenti open source di supporto su GitHub, tra cui il cablaggio di valutazione Qwen-Live-Harness e Qwen-MM-Plugins, offrendo agli sviluppatori un punto di partenza per creare agenti nativi dei media sul modello.

Il lancio è avvenuto in sordina all'inizio della settimana, ma negli ultimi giorni ha guadagnato notevole interesse nella comunità degli sviluppatori, suscitando un'ampia discussione su Hacker News e la copertura da parte dei punti vendita tecnologici che monitorano l'ecosistema del modello aperto.

Cosa significa per la corsa omnimodale

Il rilascio prosegue la strategia di Alibaba di abbinare prezzi aggressivi a benchmark competitivi in tutta la sua famiglia Qwen, che è stata più volte tra le linee di modelli aperti più scaricate in tutto il mondo. Con Qwen3.8-Omni-Flash, l'azienda scommette che il prossimo campo di battaglia non sarà la chat di testo ma gli agenti in grado di guardare, ascoltare e agire, modificando filmati, riassumendo riunioni e tenendo conversazioni vocali in tempo reale come un'unica funzionalità integrata.

Per Google, il cui Gemini 3.8 Flash è il punto di confronto esplicito, il messaggio è che la frontiera omnimodale non è più una corsa a due cavalli tra i laboratori statunitensi. Per gli sviluppatori, la combinazione di una finestra multimodale di token da 1 milione e un input audio quasi libero abbassa la barriera verso una classe di prodotti con agenti audiovisivi che solo pochi mesi fa era poco pratico da servire su larga scala.

Se le affermazioni sui benchmark di Qwen reggeranno sotto una valutazione indipendente determinerà la serietà con cui l'industria tratterà quella scommessa. Ma la direzione del viaggio è chiara: i team che costruiscono modelli di frontiera ora vedono orecchie e occhi – non solo una casella di testo – come interfaccia predefinita per gli agenti IA.

Stai al passo con l'intelligenza artificiale

La corsa omnimodale sta accelerando di settimana in settimana. Per ulteriori notizie dell'ultima ora sull'intelligenza artificiale, un'analisi approfondita delle versioni di nuovi modelli e una copertura degli strumenti che plasmano il settore, leggi altre notizie sull'intelligenza artificiale →.

---

Rimani Aggiornato sull'IA

Le ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.

Leggi altre notizie sull'IA →