Perplexity ha pubblicato un post dettagliato su Decider v1.3, la versione più recente della sua famiglia di modelli decisionali, intitolato "Perplexity Decider v1.3: Training, eval, and use cases." Il post è arrivato sulla prima pagina di Hacker News venerdì e ha raccolto più di 140 punti in poche ore, con gli sviluppatori che si scambiavano i risultati dei benchmark e discutevano su dove effettivamente si adattassero questi modelli. Per ulteriori informazioni su questa e altre ultime notizie sull'intelligenza artificiale, seguiamo ogni lancio del modello man mano che arriva.
L'attenzione non è tanto su un aggiornamento quanto su ciò che il thread rivela: in appena un anno, i modelli decisionali sono passati da una curiosità a una categoria affollata con i propri benchmark, la propria logica di prezzo e un campo competitivo che ora include Perplexity, TypeSafe, Microsoft, Google, Cloudflare e OpenAI.
Cosa fa realmente un modello decisionale
La definizione più chiara arriva da Artificial Analysis, il laboratorio di valutazione indipendente il cui Decision Index v2.1 è diventato la leaderboard di riferimento della categoria. Nella sua spiegazione, un modello decisionale prende una domanda con una serie fissa di opzioni - ad esempio, un ticket di supporto che chiede se passare alla fatturazione o al tecnico, se è urgente e quanto è turbato il cliente - e restituisce una risposta per ogni opzione con una probabilità allegata, il tutto in un'unica chiamata.
Un modello linguistico generico, al contrario, genera un output strutturato che deve poi essere analizzato, mentre un modello di ragionamento richiede un ulteriore calcolo prima di rispondere. I modelli decisionali lo ignorano. Sono addestrati a scegliere, non a spiegare, il che li rende sufficientemente veloci ed economici da gestire ogni documento, ogni richiesta, ad alto volume.
Come viene misurata la categoria
Artificial Analysis Decision Index v2.1, aggiornato con una pagina di metodologia pubblica, combina sei valutazioni con pesi pubblicati: AA-Paperclip al 30%, che analizza 1.500 curriculum, ricevute, fatture e documenti di ricerca attraverso decisioni ed estrazione di fatti; EvalSafe-ONET-AA al 15%, sulla base del benchmark ONET di TypeSafe relativo ai giudizi sui documenti sul posto di lavoro; When2Call al 10%, la valutazione delle chiamate agli strumenti di NVIDIA; AA-Omniscience-Decision v1.1 al 15% per conoscenza e allucinazioni; HLE-MultiChoice v1.1 al 15%, le domande a scelta multipla di solo testo di Humanity's Last Exam con un'opzione per rifiutare; e AA-Symmetry v1.1 al 15%, che verifica che una decisione sia valida quando le sue opzioni vengono spostate, riformulate o negate.
Quest'ultimo test è il risultato. Un modello che inverte la risposta quando si inverte l’ordine delle opzioni in realtà non è una decisione, ma un pattern-matching. Calibrazione, invarianza e sapere quando rifiutare sono trattati come requisiti di prima classe, non come bonus.
Cosa aggiunge il thread Hacker News
Perplexity ha analizzato per la prima volta un membro della famiglia con 27 miliardi di parametri, pplx-decider-v1-27b, su Hugging Face all'inizio di ottobre, quindi la comunità ha messo le mani su questi modelli per settimane. La reazione alla v1.3 è stata mista in un modo che sembra un mercato sano piuttosto che un ciclo di hype.
Uno sviluppatore ha riferito che Decider v1.3 ha mostrato miglioramenti sia rispetto alla versione 1.2 che rispetto a Jev 1.14 di TypeSafe nelle loro valutazioni interne per un'attività di estrazione e corrispondenza di entità. Un altro ha affermato che funziona bene rispetto al benchmark locale e ha un prezzo competitivo, sottolineando che un’architettura di attenzione bidirezionale può essere adatta al lavoro decisionale. Altri si sono opposti: un commentatore ha trovato la v1.3 un passo indietro per il loro caso d'uso e ha detto che l'indice pubblico era d'accordo, e un altro si è chiesto se le varianti flash diluiscono la promessa principale della categoria di decisioni collettive economiche e accurate.
Il thread ha anche fatto emergere l'ecosistema circostante: i modelli decisionali Clef di Cloudflare e il modello di estrazione Clairic, l'API ScaleDown, D1 di Liquid e il modello decisionale di OpenAI — con diversi sviluppatori che hanno notato che l'indice di Artificial Analysis, che include costo per attività e calibrazione insieme all'accuratezza, è l'unico confronto tra fornitori di cui si fidano.
Perché è importante
Abbiamo coperto l'ascesa di questa categoria passo dopo passo: il modello Jev system-one di TypeSafe, Decision-1 di Microsoft basato su Qwen e Decisions API di Google con il suo modello Gemini Decision-1. La spedizione di Perplexity v1.3 conferma lo schema: ogni principale piattaforma di intelligenza artificiale ora vuole possedere il livello in cui vengono effettuate le scelte strutturate, perché quel livello si trova davanti a tutto: supporto triage, elaborazione dei documenti, chiamata degli strumenti, moderazione, controlli di conformità.
Il punto è l’economia. Un modello di ragionamento può superare un modello decisionale in termini di accuratezza, ma ad alti volumi la sua latenza e i suoi costi lo rendono lo strumento sbagliato per milioni di classificazioni quotidiane. I modelli decisionali scambiano l’intelligenza generale con risposte calibrate, invarianti, a chiamata singola e, come mostra il dibattito su Hacker News, gli acquirenti stanno ora valutando tale scambio con parametri di riferimento reali e carichi di lavoro reali.
Decider v1.3 vivrà o morirà su quelle scorecard. Ma la categoria stessa è chiaramente arrivata.
---
Stai al passo con l'intelligenza artificialeRicevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
