У вівторок Cloudflare оголосила про попередній перегляд Clairic, моделі вилучення, яку компанія описує як першу з нового класу моделей «System One», призначених для отримання структурованих значень із неструктурованих даних без генерації маркерів за маркерами, які визначають великі мовні моделі. Модель доступна в попередній версії на платформі Workers AI Cloudflare як @cf/cloudflare/clairic, і компанія каже, що має намір відкрито оприлюднити ваги моделі найближчим часом.
Запуск ставить Cloudflare прямо в одну з найцікавіших дебатів, які зараз змінюють ринок інфраструктури штучного інтелекту: чи дійсно кожне завдання, призначене LLM, потребує LLM. For more context on this story, see our ongoing artificial intelligence updates.
Що Clairic робить — і чого він свідомо не робить
Clairic створено для вузької, але надзвичайно поширеної роботи: читання безладного, неструктурованого введення та повернення введених значень. Згідно з оголошенням Cloudflare, модель може витягувати, обчислювати, оцінювати та прогнозувати значення з неструктурованих вхідних даних, повертаючи числа з діапазоном 80%, введені значення, такі як імена, дати, час і списки, а також повні розподіли ймовірностей — кожне з відкаліброваною впевненістю.
Чого він не робить, так це генерує текст. Запит до Clairic повертає або значення того типу, який оголосив розробник, або нульовий результат у поєднанні з оцінкою p_null, яка оцінює ймовірність того, що відповіді просто немає у вхідних даних. Кожна відповідь має оцінку достовірності, щоб подальші системи могли вирішити, довіряти їй чи позначати її для перевірки людиною.
Cloudflare чітко говорить про компроміс. Оскільки Clairic не генерує токенів, він не може створювати неправильний JSON, неправильно прочитати цифру в середині покоління або галюцинувати відповідь так, як це може зробити LLM. Вона все ще може робити помилки — компанія обережна з цим, — але її невдачі є надрукованими та вимірними, а не у довільній формі.
Мітка «System One», пояснення
Термінологія походить від стартапу AI TypeSafe, який анонсував власні моделі System One близько місяця тому і швидко став одним із найбільш обговорюваних запусків у спільноті розробників. Формування запозичено з книги психолога Даніеля Канемана «Мислення, швидке й повільне»: мислення Системи Один швидке, автоматичне й точне, тоді як мислення Системи Два є повільним і обдуманим. TypeSafe відобразив цю різницю на моделях штучного інтелекту, стверджуючи, що багато виробничих робочих навантажень потребують швидких, добре введених відповідей, а не відкритих міркувань.
Jev від TypeSafe, модель прийняття рішень, спеціально розроблена для конкретної області, брала ймовірності як вхідні дані та повертала ймовірності за фіксованим списком можливих відповідей. Досі це була ціла категорія: кожна модель System One була моделлю прийняття рішення.
Кларік розширює концепцію. Коли модель прийняття рішень вибирає серед попередньо визначених варіантів, модель вилучення відповідає значеннями — числами, отриманими безпосередньо з вхідних даних, обчисленими з них або прогнозованими за ними. Cloudflare каже, що два сімейства моделей разом із звичайними LLM тепер утворюють трирівневий стек: моделі вилучення перетворюють необроблені вхідні дані на введені значення, моделі рішень перетворюють значення на рішення, а LLM перетворюють рішення на слова.
Чому видобуток дозрів для переосмислення
Аргумент Cloudflare базується на тому, скільки сьогоднішнього трафіку LLM витрачається на роботу, яка зовсім не схожа на розмову. Компанія називає витяг «ймовірно, найпоширенішою роботою, яку сьогодні доручають магістрам права» — витягування з документа загальної суми рахунку-фактури, дати доставки або номера деталі.
За словами Cloudflare, проблема полягає в тому, що магістратури виконують цю роботу за допомогою обладнання, створеного для чогось іншого. Результат може бути недійсним JSON. Під час генерації маркерів цифру можна неправильно прочитати. Повернений уривок тексту не можна відстежити до його розташування у вихідному документі. Команди реагують, загортаючи моделі в захисні конвеєри: валідатори схем, логіка повторів, аналіз шарів і вибіркові перевірки. І оскільки LLM виставляє рахунки за міркування та маркери виведення, кожне поле кожного документа несе вартість створення, яка залежить від багатослівності, а не від складності завдання.
Модель видобутку System One змінює цю економіку. У Cloudflare кажуть, що Clairic обробляє вхідні дані за допомогою одного прямого проходу, стягує плату лише за токени введення та зазвичай відповідає менше ніж за секунду — у той час як обґрунтований LLM, який обробляє ті самі поля, може зайняти кілька секунд. Для обробки великих обсягів документів різниця швидко зростає.
Як насправді працює запит
Розробники надсилають Clairic стан — текст для читання, а також до чотирьох додаткових зображень — разом із картою введених полів. Кожне поле має назву, тип і необов’язкові інструкції простою мовою. Модель повертає одну введену відповідь на поле, обчислену за один паралельний прохід. Якщо список полів не вміщується поруч із введенням за один прохід, сервер розбиває роботу на паралельні проходи, кожен з яких переглядає повний вхід, а потім об’єднує відповіді.
Для завдань оцінювання відповіді надаються як розподіл: медіана з 80% інтервалом, що охоплює 10-90-й процентиль, з усіма 99 процентилями, доступними за запитом. Це робить модель придатною для запитань у стилі прогнозування — очікувані витрати на ремонт, терміни доставки, трафік протягом наступного дня — де одноточкова оцінка перевищить достовірність моделі.
Сигнал для ринку інфраструктури
Майже неважливо, чи вдасться самому Клеріку. Запуск є ще однією точкою даних у стрімкому переході постачальників інфраструктури до моделей потрібного розміру для завдань: невеликих, швидких, дешевих моделей для вузькоструктурованої роботи, із передовими LLM, зарезервованими для справді відкритих міркувань. Власне позиціонування Cloudflare — те, що моделі вилучення, рішень і мови повинні працювати в унісон — читається як план того, як, на його думку, будуть зібрані стеки штучного інтелекту.
Компанія не оголосила дату обіцяного випуску відкритих ваг. Наразі Clairic доступний у попередній версії на Workers AI, де розробники можуть перевірити його на власному робочому навантаженні видобутку — і дізнатися, яка частина рахунку для LLM була колись справді необхідною.
_Ця стаття заснована на офіційному оголошенні Cloudflare про попередній перегляд моделі вилучення Clairic._
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
