En ny typ av AI-modell gjorde sin debut den här veckan, och den gör något ovanligt för en modell byggd på transformatorarkitektur: den producerar aldrig ett ord av text. Jev, släppt av två år gamla startupen TypeSafe AI, matar istället ut kalibrerade sannolikheter – vad företaget kallar typade, kalibrerade beslut – positionerar sig som ett billigt, snabbt alternativ till stora språkmodeller för klassificering, routing och automationsarbete, enligt TechCrunch.
Företaget grundades av Diogo Almeida, en OpenAI-forskare som hjälpte till att bygga ChatGPT och bidrog till uppfinningen av förstärkningsinlärning från mänsklig feedback (RLHF), träningstekniken som allmänt är krediterad för att forma den nuvarande generationen av AI-assistenter. Efterfrågan på den nya modellen var tillräckligt intensiv för att TypeSafe kort tappade möjligheten att betjäna vissa API-användare efter lanseringen. For more context on this story, see our ongoing AI news.
Varför ett ChatGPT Pioneer övergivet språk
Almeidas väg till en icke-textmodell började med besvikelse på OpenAI. "Vi har blixten i en flaska, och ändå är den inte användbar," sa Almeida till TechCrunch och beskrev sin frustration över att trots ChatGPT:s möjligheter, saknade tekniken sann automatisering. "Jag har kämpat med det problemet sedan dess. Det tog mig ett tag att komma till slutsatsen: Problemet är att vi optimerar för mänskligt språk... Vi har varit superduktiga på mänskligt språk i fyra år, men det är inte användbart för automatisering eftersom datorer talar ett annat språk."
För två år sedan lämnade Almeida OpenAI för att grunda TypeSafe AI och fortsätta den avhandlingen. Resultatet är Jev, en transformatorbaserad modell som företaget insisterar på inte är en stor språkmodell. Där en LLM genererar öppen text, returnerar Jev sannolikheter över en uppsättning utdata som användaren definierar i förväg - en design som företaget säger gör hallucinationer strukturellt omöjliga, eftersom modellen bara kan svara med de alternativ som den gavs.
Effektivitetsvinsterna är en central del av planen. Output-tokens från Jev är gratis, och input-tokens mäts med miljarden snarare än miljonen, enligt TechCrunch. Företaget beskriver Jev som en "System One-modell", fokuserad på intuition snarare än resonemang, och säger att den tränades uteslutande på syntetisk data med en teknik som Almeida kallar förstärkningsinlärning från kalibrerade beslut.
TypeSafe har hållit Jevs arkitektur hemlig, även om externa observatörer misstänker att systemet är byggt ovanpå en LLM med öppen vikt. "Hälften av [vårt företag] är ett labb som i princip äger hela det här underområdet av statistiskt välförstådd syntetisk data, och det är nu min livsglädje", sa Almeida till TechCrunch.
Tidiga utvecklarresultat: Snabbare och billigare
Tidiga användare rapporterade anmärkningsvärda vinster i testning. Pranit Sharma, en mjukvaruingenjör på Vercel, berättade för TechCrunch att hans företag hade använt OpenAI:s ChatGPT Luna 5.6 för att köra en klassificerare som granskar kommandon för säkerhet. Efter att ha bytt den arbetsbelastningen till Jev såg Vercel resultat fem till 18 gånger snabbare och med större noggrannhet.
Nikhil Mudholkar, CTO för Bryo AI, gjorde en annan jämförelse: klassificerade affärse-postmeddelanden med Jev mot Googles Gemini. I sitt test var Gemini något mer exakt, men 10 till 20 gånger dyrare. För Mudholkar var Jevs mest värdefulla egendom dess osäkerhetshantering. "Det är den enda som lämnar tillbaka en verklig sannolikhet som gör den idealisk för att automatisera arbetsflöden," sa han till TechCrunch.
Agenter som tittar på agenter, utan räkningen
Förutom att ersätta LLM i klassificeringsuppgifter, hävdar TypeSafe att Jev kan polisera dem. Att använda AI-agenter för att övervaka andra agenter blir snabbt dyrt, men Almeida hävdar att Jevs hastighet och kostnadsprofil gör det praktiskt att spåra LLM-agenter och förhindra jailbreaks i realtid.
Armin Ronacher, CTO för Earendil och byggare av modellen med öppen källkod Pi, sa till TechCrunch att tillvägagångssättet flyttar ansvaret för osäkerhet till utvecklaren. "Det delegerar hallucinationsproblemet lite till användaren," sa Ronacher. "Användaren måste säga, okej, om detta bara kommer tillbaka med 50% sannolikhet, kanske det här är en myntkastning, och jag bortser från det. Men om det är 95%, visst, då kan jag göra något med det."
Ronacher flaggade också modellrouting som ett lovande användningsfall: att förutsäga om en given arbetsbelastning kräver en specifik, dyrare modell. Att göra den sorteringen med en LLM skulle bli kostsamt, men Jevs låga latens och pris kan göra realtidsdirigering lönsam.
Ett namn lånat från ekonomi
Modellen är uppkallad efter William Stanley Jevons, 1800-talsekonomen bakom Jevons paradox – observationen att när en vara blir billigare tenderar konsumtionen av den att öka. Almeidas satsning är att fallande kostnader för intelligens i beslutsgrad kommer att leda till att den distribueras överallt, inte bara i flaggskepps chatbots.
"Vi tror att det bara kommer att finnas smart mjukvara överallt på ett sätt som är framväxande och distribuerat... mycket mer som det tidiga internet än du vet som de megaappar som folk försöker bygga just nu," sa Almeida till TechCrunch.
Huruvida konkurrenter följer med är fortfarande en öppen fråga. "Vi borde ha sett det här tidigare på många sätt, men förmodligen eftersom LLM:erna är så billiga och subventionerade behöver du ofta inte vara kreativ ännu," sa Ronacher till TechCrunch. TypeSafe planerar ytterligare versioner av Jev i nya modaliteter.
När det gäller huruvida TypeSafe räknas som ett gränslabb erbjöd Almeida ett spetsigt svar: "Huvudprodukten av gränslaboratorier är rädsla eller hype. Jag skulle vilja att vår huvudprodukt skulle vara intelligens... [men vi är] inte ett labb i betydelsen, du vet, som att satsa på oändlig rikedom, eller en religion, eller att bygga Gud i ett datacenter, eller vad som är dagens sak."
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
