Inception Labs lancia Mercury 2.5, richiedendo 1.107 token al secondo da un LLM di diffusione

Martedì Inception Labs ha rilasciato Mercury 2.5, una nuova versione del suo modello di linguaggio di diffusione commerciale che l'azienda descrive come il LLM di diffusione più capace sul mercato e, a sua conoscenza, il più grande modello di linguaggio di diffusione mai formato. Secondo l'annuncio dell'azienda, il modello offre un aumento del 40% dell'intelligenza rispetto al suo predecessore, Mercury 2, pur mantenendo lo stesso profilo di servizio a bassa latenza e basso costo che ha reso l'architettura di diffusione attraente per carichi di lavoro ad alto volume.

La società, guidata dal CEO Stefano Ermon, afferma che Mercury 2.5 è paragonabile ai modelli di frontiera ottimizzati in termini di costi tra cui GPT-5.6 Luna (Low), Gemini 3.5 Flash-Lite e Claude Haiku 4.5. Tali confronti sono riportati dai fornitori e non sono stati ancora verificati da benchmark indipendenti, ma posizionano un modello di diffusione – a lungo una curiosità di ricerca – come alternativa di produzione agli operatori storici autoregressivi. Per le ultime novità sui modelli di intelligenza artificiale, segui la copertura dei modelli in corso di AI Buzz Wire. ultime novità sul modello AI

Velocità, Contesto e Prezzo

I numeri dei titoli sono aggressivi. Inception Labs afferma che Mercury 2.5 genera 1.107 token al secondo su GPU NVIDIA ampiamente disponibili, con una finestra di contesto di 260.000 token. Il prezzo è fissato a 0,20 dollari per milione di token di input e 0,75 dollari per milione di token di output, con una promozione di lancio che sconta il modello dell’80% a 0,04 dollari per milione di input e 0,15 dollari per milione di output.

Dal punto di vista delle capacità, il modello viene fornito con un ragionamento sintonizzabile, che consente agli sviluppatori di scambiare la latenza con la profondità in base alla richiesta, insieme a chiamate di strumenti paralleli e output JSON allineato allo schema per la generazione strutturata. L'azienda considera il rilascio come il primo risultato di un ciclo di formazione guidato dalla telemetria di produzione: da quando è stato lanciato Mercury 2, migliaia di sviluppatori lo hanno utilizzato, decine di aziende lo hanno implementato e l'utilizzo è cresciuto di oltre un ordine di grandezza.

Perché i modelli di diffusione generano testo più velocemente

Gli LLM tradizionali di OpenAI, Google e Anthropic sono autoregressivi: generano testo un token alla volta, con ciascun token condizionato da tutto ciò che è stato generato prima. Questa dipendenza sequenziale mette un terreno duro sotto la velocità della generazione. I modelli del linguaggio di diffusione invece iniziano con un blocco di rumore e perfezionano iterativamente tutti i token in parallelo, il che consente un throughput molto più elevato sull'hardware GPU convenzionale una volta che il modello è addestrato a convergere in modo pulito.

Storicamente il compromesso è stato quello della qualità: i modelli di diffusione hanno seguito quelli autoregressivi sui parametri di ragionamento e di rispetto delle istruzioni. La scommessa principale di Inception Labs - e l'affermazione alla base di Mercury 2.5 - è che questo divario si è ridotto al punto in cui la diffusione vince sull'asse percepito dalla maggior parte dei clienti: latenza e costi a volume di produzione.

Reclami sulla produzione da parte dei primi clienti

L'annuncio si basa fortemente sulle implementazioni dei clienti piuttosto che sulle tabelle di benchmark. OpenCall, che crea agenti telefonici AI per le chiamate dei clienti dal vivo, ha riferito che il passaggio a Mercury ha portato la latenza mediana di risposta del modello a circa 170 millisecondi. Oliver Silverstein, co-fondatore e CEO di OpenCall, ha affermato che il tempo di risposta del P99 dell'azienda è sceso da diversi minuti a un secondo, e la sua media da 0,4 secondi a meno di 0,2: cifre che ha descritto come significativamente più veloci di qualsiasi altro provider che l'azienda aveva testato, anche con il ragionamento abilitato.

Augment Code, un produttore di assistenti di codifica AI, utilizza Mercury per la compattazione del contesto, l'instradamento dei modelli e la ricerca di strumenti MCP. Secondo Inception Labs, lo spostamento dei carichi di lavoro di compattazione su Mercury ha ridotto la latenza di tale passaggio dell'82%, da circa 150 secondi a 27 secondi, e ha ridotto i costi del 90% mantenendo la qualità. Il caso d'uso illustra dove gli aspetti economici incidono: gli agenti di codifica effettuano molte piccole chiamate modello di supporto attorno a ciascuna generazione primaria e la latenza e i costi si accumulano in tali chiamate.

Anche NVIDIA, il cui hardware esegue il modello, ha dato il suo contributo. Shruti Koparkar, senior manager del prodotto nell'Accelerated Computing Group di NVIDIA, ha affermato che Inception ha modelli linguistici avanzati basati sulla diffusione sull'infrastruttura AI di NVIDIA e che il miglioramento della qualità di Mercury 2.5 con velocità sostenute mostra quanto velocemente le nuove architetture possono maturare in sistemi pronti per la produzione.

Anteprime di Mercury Voice e Mercury Router

Oltre al modello, Inception Labs ha annunciato le anteprime di due nuovi prodotti. Mercury Voice è un LLM a diffusione ottimizzato per agenti vocali con i budget di latenza più ristretti, con tempi di pubblicità del primo token inferiori a 170 millisecondi. Mercury Router utilizza un modello di diffusione per comprendere le richieste in arrivo e indirizzarle a qualsiasi modello, aperto o chiuso, offra il miglior mix di qualità, velocità e costo, posizionando Inception come un livello superiore ai suoi concorrenti e uno di loro.

Mercury 2.5 è disponibile tramite l'API di Inception, nonché tramite Baseten e OpenRouter. Le implementazioni aziendali aggiungono capacità dedicata, scalabilità automatica, controlli di conformità e conservazione dei dati configurabile. L'azienda offre 100 milioni di token gratuiti agli sviluppatori che provano l'API.

La società ha inoltre affermato di aver già iniziato la formazione del suo prossimo modello, il più grande finora, il cui rilascio è previsto nei prossimi mesi, che descrive come un salto di capacità che non rinuncia alla velocità di diffusione o all'efficienza dei token. Se questa affermazione è valida, la pressione sugli operatori storici autoregressivi si farà sentire innanzitutto sui livelli delle materie prime del mercato, dove prezzo e latenza decidono la maggior parte dei contratti.

Stai al passo con l'intelligenza artificiale

Segui gli ultimi sviluppi dell'intelligenza artificiale e le ultime notizie sull'intelligenza artificiale mentre le nuove architetture dei modelli entrano in produzione.

Leggi altre notizie sull'AI →