Een nieuw soort AI-model heeft deze week zijn debuut gemaakt en doet iets ongebruikelijks voor een model dat is gebouwd op transformatorarchitectuur: het produceert nooit een woord tekst. Jev, uitgebracht door de twee jaar oude startup TypeSafe AI, levert in plaats daarvan gekalibreerde waarschijnlijkheden op – wat het bedrijf getypte, gekalibreerde beslissingen noemt – en positioneert zichzelf als een goedkoop, snel alternatief voor grote taalmodellen voor classificatie, routing en automatiseringswerk, aldus TechCrunch.

Het bedrijf werd opgericht door Diogo Almeida, een OpenAI-onderzoeker die heeft geholpen bij het bouwen van ChatGPT en heeft bijgedragen aan de uitvinding van versterkend leren door menselijke feedback (RLHF), de trainingstechniek die algemeen wordt gecrediteerd voor het vormgeven van de huidige generatie AI-assistenten. De vraag naar het nieuwe model was zo groot dat TypeSafe na de lancering kortstondig de mogelijkheid verloor om sommige API-gebruikers te bedienen. Voor meer context over dit verhaal, zie ons AI-nieuws.

Waarom een ChatGPT-pionier de taal heeft verlaten

Almeida's route naar een niet-tekstmodel begon met teleurstelling bij OpenAI. "We hebben bliksem in een fles, en toch is het niet nuttig", vertelde Almeida aan TechCrunch, waarin hij zijn frustratie beschreef dat de technologie ondanks de mogelijkheden van ChatGPT niet voldeed aan echte automatisering. "Sindsdien kamp ik met dat probleem. Het kostte me een tijdje om tot de conclusie te komen: het probleem is dat we optimaliseren voor menselijke taal... We zijn al vier jaar supergoed in menselijke taal, maar het is niet bruikbaar voor automatisering omdat computers een andere taal spreken."

Twee jaar geleden verliet Almeida OpenAI om TypeSafe AI op te richten en dat proefschrift voort te zetten. Het resultaat is Jev, een op transformatoren gebaseerd model waarvan het bedrijf volhoudt dat het geen groot taalmodel is. Waar een LLM tekst met een open einde genereert, retourneert Jev waarschijnlijkheden over een reeks resultaten die de gebruiker van tevoren definieert – een ontwerp dat volgens het bedrijf hallucinaties structureel onmogelijk maakt, omdat het model alleen kan antwoorden met de opties die het heeft gekregen.

De efficiëntiewinst is een kernonderdeel van het veld. Uitvoertokens van Jev zijn gratis, en volgens TechCrunch worden invoertokens per miljard gemeten in plaats van per miljoen. Het bedrijf beschrijft Jev als een 'System One-model', gericht op intuïtie in plaats van op redeneren, en zegt dat het uitsluitend is getraind op synthetische gegevens met behulp van een techniek die Almeida 'versterkend leren van gekalibreerde beslissingen' noemt.

TypeSafe heeft de architectuur van Jev geheim gehouden, hoewel waarnemers van buitenaf vermoeden dat het systeem bovenop een LLM met open gewicht is gebouwd. "De helft van [ons bedrijf] is een laboratorium dat feitelijk eigenaar is van dit hele subveld van statistisch goed begrepen synthetische gegevens, en dat is nu mijn levensvreugde", vertelde Almeida aan TechCrunch.

Vroege ontwikkelaarsresultaten: sneller en goedkoper

Early adopters rapporteerden opmerkelijke winsten bij het testen. Pranit Sharma, een software-ingenieur bij Vercel, vertelde TechCrunch dat zijn bedrijf OpenAI's ChatGPT Luna 5.6 gebruikte om een ​​classifier uit te voeren die commando's beoordeelt op veiligheid. Nadat hij die werklast naar Jev had overgeschakeld, zag Vercel vijf tot achttien keer sneller en met grotere nauwkeurigheid resultaten.

Nikhil Mudholkar, CTO van Bryo AI, maakte een andere vergelijking: zakelijke e-mails met Jev classificeren tegen Google's Gemini. In zijn test was Gemini iets nauwkeuriger, maar 10 tot 20 keer duurder. Voor Mudholkar was het meest waardevolle bezit van Jev het omgaan met onzekerheid. "Het is de enige die een reële waarschijnlijkheid teruggeeft, wat het ideaal maakt voor het automatiseren van workflows", vertelde hij aan TechCrunch.

Agenten kijken naar agenten, zonder de rekening

Naast het vervangen van LLM's bij classificatietaken, beweert TypeSafe dat Jev er toezicht op kan houden. Het gebruik van AI-agenten om andere agenten te monitoren wordt snel duur, maar Almeida beweert dat Jev's snelheid en kostenprofiel het praktisch maken om de sporen van LLM-agenten te volgen en jailbreaks in realtime te voorkomen.

Armin Ronacher, CTO van Earendil en bouwer van het open source-modelharnas Pi, vertelde TechCrunch dat de aanpak de verantwoordelijkheid voor onzekerheid verschuift naar de ontwikkelaar. "Het delegeert het hallucinatieprobleem een ​​beetje naar de gebruiker", zei Ronacher. "De gebruiker moet zeggen: oké, als dit maar met een waarschijnlijkheid van 50% terugkomt, is dit misschien een toss, en ik negeer het. Maar als het 95% is, zeker, dan kan ik er iets mee doen."

Ronacher noemde modelrouting ook een veelbelovende use case: voorspellen of een bepaalde werklast een specifiek, duurder model vereist. Dat sorteren met een LLM zou kostbaar zijn, maar de lage latentie en prijs van Jev zouden realtime routering haalbaar kunnen maken.

Een naam ontleend aan de economie

Het model is vernoemd naar William Stanley Jevons, de 19e-eeuwse econoom achter de Jevons-paradox: de observatie dat naarmate een goed goedkoper wordt, de consumptie ervan de neiging heeft te stijgen. Almeida verwacht dat de dalende kosten van beslissingsintelligentie ertoe zullen leiden dat deze overal zal worden ingezet, en niet alleen in vlaggenschip-chatbots.

"We denken dat er overal slimme software zal zijn op een manier die opkomt en wordt gedistribueerd... veel meer zoals het vroege internet dan je weet, zoals de mega-apps die mensen nu proberen te bouwen", vertelde Almeida aan TechCrunch.

Of concurrenten volgen blijft een open vraag. "We hadden dit in veel opzichten eerder moeten zien, maar vermoedelijk omdat de LLM's zo goedkoop en gesubsidieerd zijn, hoef je vaak nog niet creatief te zijn", vertelde Ronacher aan TechCrunch. TypeSafe plant aanvullende versies van Jev in nieuwe modaliteiten.

Op de vraag of TypeSafe als een grenslaboratorium geldt, gaf Almeida een scherp antwoord: "Het belangrijkste product van grenslaboratoria is angst of hype. Ik zou graag willen dat ons belangrijkste product intelligentie is... [maar wij zijn] geen laboratorium in de zin van, weet je, zoals wedden op oneindige rijkdom, of een religie, of het bouwen van God in een datacenter, of wat er ook maar aan de hand is."

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →