Firma Perplexity opublikowała szczegółowy post na temat Decider v1.3, najnowszej wersji rodziny modeli decyzyjnych, zatytułowany „Perplexity Decider v1.3: Trening, ewaluacja i przypadki użycia”. Post trafił w piątek na pierwszą stronę Hacker News i w ciągu kilku godzin zebrał ponad 140 punktów, a programiści wymieniali się wynikami testów porównawczych i spierali się, do czego faktycznie pasują te modele. Aby uzyskać więcej informacji na temat tego i innych najświeższych wiadomości o sztucznej inteligencji, śledzimy każdą premierę modelu.
Uwaga nie skupia się na jednej aktualizacji, a bardziej na tym, co ujawnia wątek: w ciągu zaledwie roku modele decyzyjne przekształciły się z ciekawostki w zatłoczoną kategorię z własnymi benchmarkami, własną logiką cenową i konkurencyjną dziedziną, która obejmuje obecnie Perplexity, TypeSafe, Microsoft, Google, Cloudflare i OpenAI.
Co właściwie robi model decyzyjny
Najbardziej przejrzysta definicja pochodzi od Artificial Analysis, niezależnego laboratorium ewaluacyjnego, którego indeks decyzyjny w wersji 2.1 stał się referencyjną tabelą liderów w tej kategorii. W swoim wyjaśnieniu model decyzyjny zadaje pytanie ze stałym zestawem opcji — na przykład zgłoszenie do pomocy technicznej z pytaniem, czy skierować sprawę do działu rozliczeniowego lub technicznego, czy jest to pilne i jak bardzo zdenerwowany jest klient — i zwraca odpowiedź dla każdej opcji z powiązanym prawdopodobieństwem, a wszystko to w ramach jednego połączenia.
Z kolei model języka ogólnego przeznaczenia generuje ustrukturyzowane dane wyjściowe, które należy następnie przeanalizować, a model rozumowania wymaga dodatkowego myślenia obliczeniowego, zanim udzieli odpowiedzi. Modele decyzyjne to pomijają. Są przeszkoleni, aby wybierać, a nie wyjaśniać, co czyni je wystarczająco szybkimi i tanimi, aby móc przetwarzać każdy dokument, każde żądanie i przy dużych nakładach.
Jak mierzona jest kategoria
Indeks decyzyjny sztucznej analizy v2.1, zaktualizowany o publiczną stronę z metodologią, łączy sześć ocen z opublikowanymi wagami: AA-Paperclip na poziomie 30 procent, który analizuje 1500 CV, rachunków, faktur i dokumentów badawczych poprzez decyzje i ekstrakcję faktów; EvalSafe-ONET-AA na poziomie 15 procent w oparciu o benchmark ONET firmy TypeSafe dotyczący oceny dokumentów w miejscu pracy; When2Call na poziomie 10 procent, ocena wywołań narzędzi firmy NVIDIA; Decyzja AA-Omniscience v1.1 na poziomie 15 procent dla wiedzy i halucynacji; HLE-MultiChoice v1.1 przy 15 procentach, składające się wyłącznie z tekstu pytania wielokrotnego wyboru z ostatniego egzaminu ludzkości z możliwością odrzucenia; oraz AA-Symmetry v1.1 na poziomie 15 procent, które sprawdza, czy decyzja jest aktualna, gdy jej opcje zostaną przesunięte, przeformułowane lub zanegowane.
Ten ostatni test jest rozstrzygający. Model, który odwraca odpowiedź po odwróceniu kolejności opcji, tak naprawdę nie decyduje – lecz dopasowuje do wzorca. Kalibracja, niezmienność i wiedza, kiedy odmówić, są traktowane jako wymagania najwyższej klasy, a nie premie.
Co dodaje wątek Hacker News
Perplexity po raz pierwszy przetestowało członka rodziny o 27 miliardach parametrów, pplx-decider-v1-27b, w Hugging Face na początku października, więc społeczność miała te modele w rękach od tygodni. Reakcja na wersję 1.3 była mieszana i przypominała zdrowy rynek, a nie cykl szumu.
Jeden z programistów poinformował, że Decider v1.3 wykazał poprawę w porównaniu z wersją 1.2 i Jev 1.14 TypeSafe w wewnętrznych ewaluacjach zadania wyodrębniania i dopasowywania jednostek. Inny stwierdził, że dobrze radzi sobie w lokalnych testach porównawczych, a jego cena jest konkurencyjna, zauważając, że architektura skupiająca uwagę dwukierunkowo może być przydatna w procesie podejmowania decyzji. Inni się wycofali: jeden z komentatorów uznał wersję 1.3 za krok wstecz w ich przypadku użycia i stwierdził, że indeks publiczny się z tym zgadza, a inny kwestionował, czy warianty flash osłabiają podstawową obietnicę tej kategorii dotyczącą tanich i dokładnych decyzji masowych.
Wątek ujawnił także otaczający ekosystem — modele decyzyjne Clef firmy Cloudflare i model ekstrakcji Clairic, API ScaleDown, D1 firmy Liquid i własny model decyzyjny OpenAI — a kilku programistów zauważyło, że indeks Sztucznej Analizy, który obejmuje koszt zadania i kalibrację wraz z dokładnością, jest jedynym porównaniem między dostawcami, któremu ufają.
Dlaczego to ma znaczenie
Omówiliśmy krok po kroku rozwój tej kategorii: systemowy model Jev firmy TypeSafe, decyzji-1 firmy Microsoft oparty na Qwen oraz interfejs API decyzji firmy Google z modelem Gemini Decision-1. Wysyłka w wersji 1.3 potwierdza ten schemat — każda większa platforma sztucznej inteligencji chce teraz posiadać warstwę, w której dokonywane są ustrukturyzowane wybory, ponieważ ta warstwa ma przed sobą wszystko: selekcję wsparcia, przetwarzanie dokumentów, wywoływanie narzędzi, moderację, kontrole zgodności.
Chodzi o ekonomię. Model rozumowania może przewyższać model decyzyjny pod względem dokładności, ale przy dużej objętości jego opóźnienia i koszty sprawiają, że jest to niewłaściwe narzędzie w przypadku milionów codziennych klasyfikacji. Modele decyzyjne zamieniają ogólną inteligencję na skalibrowane, niezmienne, pojedyncze odpowiedzi, a jak pokazuje debata Hacker News, kupujący oceniają obecnie tę transakcję na podstawie rzeczywistych punktów odniesienia i rzeczywistego obciążenia pracą.
Decyder v1.3 będzie żył lub umrze na tych kartach wyników. Ale sama kategoria wyraźnie nadeszła.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
