Perplexity har publicerat ett detaljerat inlägg om Decider v1.3, den senaste versionen av sin beslutsmodellfamilj, med titeln "Perplexity Decider v1.3: Training, eval, and use cases." Inlägget kom till förstasidan av Hacker News i fredags och drog mer än 140 poäng inom några timmar, där utvecklare handlade benchmarkresultat och bråkade om var dessa modeller faktiskt passar. För mer om detta och andra nyheter om AI, följer vi varje modellsläpp när den landar.
Uppmärksamheten handlar mindre om en uppdatering och mer om vad tråden avslöjar: på knappt ett år har beslutsmodeller gått från en kuriosa till en fullsatt kategori med sina egna riktmärken, sin egen prissättningslogik och ett konkurrenskraftigt område som nu inkluderar Perplexity, TypeSafe, Microsoft, Google, Cloudflare och OpenAI.
Vad en beslutsmodell faktiskt gör
Den tydligaste definitionen kommer från Artificiell analys, det oberoende utvärderingslabbet vars beslutsindex v2.1 har blivit referenslistan för kategorin. I sin förklaring tar en beslutsmodell en fråga med en fast uppsättning alternativ – till exempel en supportbiljett som frågar om den ska dirigeras till fakturering eller teknisk, om det är brådskande och hur upprörd kunden är – och returnerar ett svar för varje alternativ med en sannolikhet bifogad, allt i ett enda samtal.
En språkmodell för allmänt bruk genererar däremot en strukturerad utdata som sedan måste analyseras, och en resonemangsmodell spenderar extra beräkningstänkande innan den svarar. Beslutsmodeller hoppar över det. De är tränade att välja, inte att förklara, vilket är det som gör dem snabba och billiga nog att köras på varje dokument, varje begäran, med hög volym.
Hur kategorin mäts
Artificiell analys av beslutsindex v2.1, uppdaterad med en offentlig metodsida, kombinerar sex utvärderingar med publicerade vikter: AA-Paperclip på 30 procent, som kör 1 500 CV, kvitton, fakturor och forskningsrapporter genom beslut och faktaextraktion; EvalSafe-ONET-AA på 15 procent, baserat på TypeSafes ONET-riktmärke för bedömningar om arbetsplatsdokument; When2Call på 10 procent, NVIDIAs verktygsanropsutvärdering; AA-Allvetenskap-Beslut v1.1 på 15 procent för kunskap och hallucinationer; HLE-MultiChoice v1.1 på 15 procent, flervalsfrågorna endast text från Humanity's Last Exam med möjlighet att avböja; och AA-Symmetry v1.1 på 15 procent, som kontrollerar att ett beslut håller när dess alternativ flyttas, omformuleras eller förnekas.
Det sista testet är berättelsen. En modell som vänder på sitt svar när du vänder på ordningen på alternativen bestämmer faktiskt inte – den är mönstermatchande. Kalibrering, invarians och att veta när man ska tacka nej behandlas som förstklassiga krav, inte bonusar.
Vad Hacker News-tråden lägger till
Förvirring öppnade först en 27-miljarder-parameter-medlem i familjen, pplx-decider-v1-27b, på Hugging Face i början av oktober, så samhället har haft händerna på dessa modeller i flera veckor. Reaktionen på v1.3 var blandad på ett sätt som läser som en sund marknad snarare än en hypecykel.
En utvecklare rapporterade att Decider v1.3 visade vinster jämfört med både v1.2 och TypeSafes Jev 1.14 på sina interna evals för en enhetsextraktion och matchningsuppgift. En annan sa att den presterar bra på deras lokala riktmärke och är konkurrenskraftig prissatt, och noterade att en dubbelriktad uppmärksamhetsarkitektur kan passa beslutsarbete. Andra tryckte tillbaka: en kommentator fann v1.3 ett steg tillbaka för deras användningsfall och sa att det offentliga indexet höll med, och en annan ifrågasatte om flashvarianter späder på kategorins kärnlöfte om billiga, korrekta bulkbeslut.
Tråden dök också upp det omgivande ekosystemet – Cloudflares Clef-beslutsmodeller och Clairic-extraktionsmodell, ScaleDown API, Liquids D1 och OpenAI:s egen beslutsmodell – med flera utvecklare som noterade att Artificial Analysis index, som inkluderar kostnad per uppgift och kalibrering tillsammans med noggrannhet, är den enda jämförelsen mellan olika leverantörer.
Varför det är viktigt
Vi har täckt denna kategoris uppgång steg för steg: TypeSafes Jev system-one-modell, Microsofts Decision-1 byggd på Qwen och Googles Decisions API med sin Gemini Decision-1-modell. Perplexity shipping v1.3 bekräftar mönstret – alla större AI-plattformar vill nu äga lagret där strukturerade val görs, eftersom det lagret sitter framför allt: supporttriage, dokumentbearbetning, verktygsanrop, moderering, efterlevnadskontroller.
Ekonomin är poängen. En resonemangsmodell kan överträffa en beslutsmodell om noggrannhet, men vid hög volym gör dess latens och kostnad den till fel verktyg för miljontals dagliga klassificeringar. Beslutsmodeller byter ut allmän intelligens mot kalibrerade, oföränderliga svar med enstaka samtal, och som Hacker News-debatten visar, betygsätter köpare nu handeln med riktiga riktmärken och verklig arbetsbelastning.
Decider v1.3 kommer att leva eller dö på dessa styrkort. Men själva kategorin har helt klart kommit.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
