Perplexity heeft een gedetailleerd bericht gepubliceerd over Decider v1.3, de nieuwste versie van zijn beslissingsmodelfamilie, getiteld "Perplexity Decider v1.3: Training, eval, and use cases." Het bericht bereikte vrijdag de voorpagina van Hacker News en scoorde binnen enkele uren meer dan 140 punten, waarbij ontwikkelaars benchmarkresultaten verhandelden en ruzie maakten over waar deze modellen eigenlijk passen. Voor meer informatie over dit en ander breaking AI news volgen we elke modelrelease zodra deze arriveert.
De aandacht gaat minder over één update en meer over wat de draad onthult: in amper een jaar tijd zijn beslissingsmodellen van een curiosum uitgegroeid tot een overvolle categorie met hun eigen benchmarks, hun eigen prijslogica en een competitief veld dat nu Perplexity, TypeSafe, Microsoft, Google, Cloudflare en OpenAI omvat.
Wat een beslissingsmodel eigenlijk doet
De duidelijkste definitie komt van Artificial Analysis, het onafhankelijke evaluatielaboratorium waarvan de Decision Index v2.1 het referentieklassement voor de categorie is geworden. In zijn uitleg neemt een beslissingsmodel een vraag met een vaste reeks opties – bijvoorbeeld een supportticket waarin wordt gevraagd of de vraag moet worden doorgestuurd naar facturering of technisch, of het dringend is en hoe overstuur de klant is – en geeft een antwoord terug voor elke optie met een daaraan verbonden waarschijnlijkheid, allemaal in één enkel gesprek.
Een taalmodel voor algemene doeleinden genereert daarentegen een gestructureerde uitvoer die vervolgens moet worden geparseerd, en een redeneermodel besteedt extra computerdenken voordat het antwoordt. Beslismodellen slaan dat over. Ze zijn getraind om te kiezen, niet om uit te leggen, wat ze snel en goedkoop genoeg maakt om elk document, elk verzoek, in hoog volume te verwerken.
Hoe de categorie wordt gemeten
Artificial Analysis Decision Index v2.1, bijgewerkt met een openbare methodologiepagina, combineert zes evaluaties met gepubliceerde gewichten: AA-Paperclip op 30 procent, die 1.500 cv's, kwitanties, facturen en onderzoeksdocumenten verwerkt via beslissingen en feitenextractie; EvalSafe-ONET-AA van 15 procent, gebaseerd op TypeSafe's ONET-benchmark van oordelen over werkplekdocumenten; When2Call met 10 procent, NVIDIA's tool-calling-evaluatie; AA-Alwetendheid-Decision v1.1 op 15 procent voor kennis en hallucinatie; HLE-MultiChoice v1.1 met 15 procent, de meerkeuzevragen met alleen tekst uit het Laatste Examen van de Mensheid met een optie om te weigeren; en AA-Symmetry v1.1 op 15 procent, dat controleert of een beslissing standhoudt wanneer de opties ervan worden verplaatst, geherformuleerd of ontkend.
Die laatste test is de boodschap. Een model dat het antwoord omdraait als je de volgorde van de opties omdraait, is feitelijk niet beslissend; het is patroonmatching. Kalibratie, onveranderlijkheid en weten wanneer je moet weigeren, worden behandeld als eersteklas vereisten, geen bonussen.
Wat de Hacker News Thread toevoegt
Perplexity heeft begin oktober voor het eerst een open gewogen lid van de familie met 27 miljard parameters, pplx-decider-v1-27b, op Hugging Face, dus de gemeenschap heeft deze modellen al weken in handen. De reacties op v1.3 waren gemengd op een manier die eerder leest als een gezonde markt dan als een hype-cyclus.
Eén ontwikkelaar meldde dat Decider v1.3 winst liet zien ten opzichte van zowel v1.2 als TypeSafe's Jev 1.14 op hun interne evaluaties voor een taak voor het extraheren en matchen van entiteiten. Een ander zei dat het goed presteert op hun lokale benchmark en concurrerend geprijsd is, en merkt op dat een architectuur met bidirectionele aandacht geschikt kan zijn voor besluitvorming. Anderen trokken zich terug: één commentator vond v1.3 een stap terug voor hun gebruiksscenario en zei dat de publieke index het daarmee eens was, en een ander vroeg zich af of flashvarianten de kernbelofte van de categorie van goedkope, nauwkeurige bulkbeslissingen verwateren.
De draad kwam ook naar voren in het omringende ecosysteem – Cloudflare's Clef-beslissingsmodellen en Clairic-extractiemodel, de ScaleDown API, Liquid's D1 en OpenAI's eigen beslissingsmodel – waarbij verschillende ontwikkelaars opmerkten dat de index van Artificial Analysis, die naast nauwkeurigheid ook kosten per taak en kalibratie omvat, de enige vergelijking tussen leveranciers is die ze vertrouwen.
Waarom het ertoe doet
We hebben de opkomst van deze categorie stap voor stap besproken: TypeSafe's Jev system-one-model, Microsoft's Decision-1 gebouwd op Qwen, en Google's Decisions API met zijn Gemini Decision-1-model. Perplexity shipping v1.3 bevestigt het patroon: elk groot AI-platform wil nu eigenaar zijn van de laag waar gestructureerde keuzes worden gemaakt, omdat die laag vóór alles zit: ondersteuningstriage, documentverwerking, tool-oproep, moderatie, nalevingscontroles.
De economie is het punt. Een redeneermodel kan op het gebied van nauwkeurigheid een beslissingsmodel overtreffen, maar bij een hoog volume maken de latentie en de kosten het tot het verkeerde instrument voor miljoenen dagelijkse classificaties. Beslissingsmodellen ruilen algemene informatie in voor gekalibreerde, onveranderlijke, eenmalige antwoorden, en zoals het Hacker News-debat laat zien, beoordelen kopers die handel nu met echte benchmarks en echte werklasten.
Beslisser v1.3 zal leven of sterven op deze scorekaarten. Maar de categorie zelf is duidelijk gearriveerd.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
