Cloudflare v úterý oznámila náhled Clairicu, extrakčního modelu, který společnost popisuje jako první z nové třídy modelů „System One“ navržených k vytahování strukturovaných hodnot z nestrukturovaných dat bez jakéhokoli generování tokenu po tokenu, které definuje velké jazykové modely. Model je nyní k dispozici v náhledu na platformě Cloudflare Workers AI jako @cf/cloudflare/clairic a společnost říká, že má v úmyslu v blízké budoucnosti otevřeně uvolnit závaží modelu.
Uvedení Cloudflare přímo do jedné z nejzajímavějších diskusí, které nyní přetvářejí trh infrastruktury AI: zda každý úkol přidělený LLM skutečně potřebuje LLM. For more context on this story, see our ongoing AI news.
Co Clairic dělá – a co záměrně nedělá
Clairic je vytvořen pro úzkou, ale nesmírně běžnou práci: čtení chaotických, nestrukturovaných vstupů a vracení zadaných hodnot. Podle oznámení Cloudflare může model extrahovat, vypočítat, odhadovat a předpovídat hodnoty z nestrukturovaných vstupů, vracet čísla s 80% rozsahem, typované hodnoty, jako jsou jména, data, časy a seznamy, a úplné rozdělení pravděpodobnosti – každé s kalibrovanou spolehlivostí.
Co nedělá, je generování textu. Dotaz na Clairic vrací buď hodnotu typu, který vývojář deklaroval, nebo nulový výsledek spárovaný se skóre p_null, které odhaduje pravděpodobnost, že odpověď prostě není přítomna ve vstupu. Každá odpověď je dodávána se skóre spolehlivosti, takže následné systémy se mohou rozhodnout, zda jí budou důvěřovat nebo zda ji označí ke kontrole člověkem.
Cloudflare jasně hovoří o kompromisu. Protože Clairic negeneruje žádné tokeny, nemůže produkovat poškozený JSON, špatně číst číslici střední generace nebo halucinovat odpověď tak, jak to umí LLM. Stále může dělat chyby – společnost je v tomto ohledu opatrná – ale její selhání jsou typická a měřitelná spíše než ve volné formě.
Označení 'System One', vysvětleno
Terminologie pochází od AI startupu TypeSafe, který zhruba před měsícem oznámil své vlastní modely System One a rychle se stal jedním z nejdiskutovanějších launchů ve vývojářské komunitě. Rámování si vypůjčilo z knihy psychologa Daniela Kahnemana „Myšlení, rychlé a pomalé“: Myšlení systému 1 je rychlé, automatické a přesné, zatímco myšlení systému 2 je pomalé a záměrné. TypeSafe mapoval tento rozdíl na modely umělé inteligence a tvrdil, že mnoho produkčních úloh vyžaduje rychlé, dobře napsané odpovědi spíše než otevřené uvažování.
TypeSafe's Jev, rozhodovací model účelově vytvořený pro konkrétní doménu, vzal pravděpodobnosti jako vstupy a vrátil pravděpodobnosti přes pevný seznam možných odpovědí. Až dosud to byla celá kategorie: každý model System One byl modelem rozhodování.
Clairic rozšiřuje koncept. Tam, kde si rozhodovací model vybírá z předdefinovaných možností, model extrakce odpovídá hodnotami – čísly získanými přímo ze vstupu, vypočítaným z něj nebo předpovědí mimo něj. Cloudflare říká, že obě rodiny modelů spolu s konvenčními LLM nyní tvoří třívrstvý zásobník: extrakční modely přeměňují nezpracovaný vstup na typizované hodnoty, rozhodovací modely mění hodnoty na rozhodnutí a LLM mění rozhodnutí na slova.
Proč je těžba zralá na přehodnocení
Argument Cloudflare spočívá na tom, kolik dnešního provozu LLM je vynaloženo na práci, která nevypadá jako konverzace. Společnost nazývá extrakci „pravděpodobně nejběžnější úlohou dnešních LLM“ – vytažení celkové faktury, data dodání nebo čísla dílu z dokumentu.
Problém podle Cloudflare spočívá v tom, že LLM tuto práci zvládají pomocí strojů stavěných pro něco jiného. Výstup nemusí být platný JSON. Při generování tokenů může být číslice špatně přečtena. Vrácený úryvek textu nelze zpětně vysledovat k jeho umístění ve zdrojovém dokumentu. Týmy reagují zabalením modelů do obranných kanálů: validátory schémat, logika opakování, analýza vrstev a náhodné kontroly. A protože LLM účtují za uvažování a výstupní tokeny, každé pole každého dokumentu nese generační náklady, které se škálují s podrobností spíše než s obtížností úkolu.
Model extrakce System One tuto ekonomiku převrací. Cloudflare říká, že Clairic zpracovává vstup jediným dopředným průchodem, účtuje pouze vstupní tokeny a obvykle odpovídá za méně než sekundu – zatímco uvažování LLM pracující přes stejná pole může trvat několik sekund. Pro zpracování velkoobjemových dokumentů se rozdíl rychle srovná.
Jak ve skutečnosti žádost funguje
Vývojáři pošlou Clairicovi stav – text ke čtení a až čtyři volitelné obrázky – spolu s mapou napsaných polí. Každé pole nese název, typ a volitelné instrukce v otevřeném jazyce. Model vrací jednu typovanou odpověď na pole, vypočítanou v jediném paralelním průchodu. Pokud se seznam polí nevejde vedle vstupu v jednom průchodu, server rozdělí práci do paralelních průchodů, z nichž každý vidí celý vstup, a poté sloučí odpovědi.
U úloh odhadu přicházejí odpovědi jako rozdělení: medián s 80% intervalem zahrnujícím 10. až 90. percentil, přičemž všech 99 percentilů je k dispozici na vyžádání. Díky tomu je model použitelný pro otázky ve stylu prognózy – očekávané náklady na opravy, dodací lhůty, provoz v průběhu následujícího dne – kde by jediný bodový odhad převýšil jistotu modelu.
Signál pro trh infrastruktury
To, zda uspěje samotná Clairic, je téměř vedlejší. Uvedení na trh je dalším datovým bodem v rychle se pohybujícím posunu mezi poskytovateli infrastruktury směrem k modelům správné velikosti k úkolům: malé, rychlé, levné modely pro úzce strukturovanou práci s hraničními LLM vyhrazenými pro skutečně otevřené uvažování. Vlastní umístění Cloudflare – že extrakce, rozhodování a jazykové modely by měly fungovat jednotně – se čte jako plán toho, jak si myslí, že budou sestaveny produkční sady AI.
Společnost neoznámila datum slíbeného vydání otevřených vah. Prozatím je Clairic k dispozici ve verzi Preview na Workers AI, kde ji vývojáři mohou otestovat proti své vlastní extrakční zátěži – a zjistit, kolik z jejich účtu za LLM bylo kdy skutečně nutné.
_Tento článek je založen na oficiálním oznámení Cloudflare o náhledu modelu extrakce Clairic._
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
