Το Perplexity δημοσίευσε μια λεπτομερή ανάρτηση για το Decider v1.3, τη νεότερη έκδοση της οικογένειας μοντέλων αποφάσεων του, με τίτλο "Perplexity Decider v1.3: Training, eval, and use case." Η ανάρτηση βρέθηκε στην πρώτη σελίδα του Hacker News την Παρασκευή και συγκέντρωσε περισσότερους από 140 πόντους μέσα σε λίγες ώρες, με τους προγραμματιστές να διαπραγματεύονται τα αποτελέσματα αναφοράς και να διαφωνούν για το πού ταιριάζουν πραγματικά αυτά τα μοντέλα. Για περισσότερα σχετικά με αυτό και άλλες έκτακτες ειδήσεις τεχνητής νοημοσύνης, παρακολουθούμε κάθε έκδοση μοντέλου καθώς προσγειώνεται.
Η προσοχή στρέφεται λιγότερο σε μια ενημέρωση και περισσότερο σε αυτό που αποκαλύπτει το νήμα: σε μόλις ένα χρόνο, τα μοντέλα αποφάσεων έχουν μετατραπεί από μια περιέργεια σε μια πολυσύχναστη κατηγορία με τα δικά τους σημεία αναφοράς, τη δική τους λογική τιμολόγησης και ένα ανταγωνιστικό πεδίο που περιλαμβάνει πλέον τα Perplexity, TypeSafe, Microsoft, Google, Cloudflare και OpenAI.
Τι κάνει στην πραγματικότητα ένα μοντέλο απόφασης
Ο πιο σαφής ορισμός προέρχεται από το Artificial Analysis, το ανεξάρτητο εργαστήριο αξιολόγησης του οποίου το Decision Index v2.1 έχει γίνει το leaderboard αναφοράς για την κατηγορία. Στην επεξήγηση του, ένα μοντέλο απόφασης λαμβάνει μια ερώτηση με ένα σταθερό σύνολο επιλογών - για παράδειγμα, ένα δελτίο υποστήριξης που ρωτά εάν θα δρομολογηθεί σε χρέωση ή τεχνική, εάν είναι επείγον και πόσο αναστατωμένος είναι ο πελάτης - και επιστρέφει μια απάντηση για κάθε επιλογή με συνημμένη πιθανότητα, όλα σε μια κλήση.
Ένα γλωσσικό μοντέλο γενικής χρήσης, αντίθετα, παράγει ένα δομημένο αποτέλεσμα που στη συνέχεια πρέπει να αναλυθεί και ένα συλλογιστικό μοντέλο ξοδεύει επιπλέον υπολογιστική σκέψη πριν απαντήσει. Τα μοντέλα αποφάσεων το παραλείπουν. Εκπαιδεύονται να επιλέγουν, όχι να εξηγούν, αυτό είναι που τους κάνει αρκετά γρήγορους και φθηνούς ώστε να εκτελούνται σε κάθε έγγραφο, κάθε αίτημα, σε υψηλή ένταση.
Πώς μετριέται η κατηγορία
Το ευρετήριο απόφασης τεχνητής ανάλυσης v2.1, ενημερωμένο με μια δημόσια σελίδα μεθοδολογίας, συνδυάζει έξι αξιολογήσεις με δημοσιευμένες σταθμίσεις: AA-Clip στο 30 τοις εκατό, το οποίο εκτελεί 1.500 βιογραφικά, αποδείξεις, τιμολόγια και ερευνητικά έγγραφα μέσω αποφάσεων και εξαγωγής γεγονότων. EvalSafe-ONET-AA στο 15 τοις εκατό, με βάση το σημείο αναφοράς ONET του TypeSafe για τις κρίσεις σχετικά με τα έγγραφα στο χώρο εργασίας. When2Call στο 10 τοις εκατό, η αξιολόγηση εργαλείων της NVIDIA. AA-Omniscience-Decision v1.1 στο 15 τοις εκατό για γνώση και παραισθήσεις. HLE-MultiChoice v1.1 σε 15 τοις εκατό, οι ερωτήσεις πολλαπλής επιλογής μόνο κειμένου από το Humanity's Last Exam με επιλογή απόρριψης. και AA-Symmetry v1.1 στο 15 τοις εκατό, το οποίο ελέγχει ότι μια απόφαση ισχύει όταν οι επιλογές της μετακινούνται, αναδιατυπώνονται ή ακυρώνονται.
Αυτό το τελευταίο τεστ είναι το αποκαλυπτικό. Ένα μοντέλο που αντιστρέφει την απάντησή του όταν αντιστρέφετε τη σειρά των επιλογών στην πραγματικότητα δεν αποφασίζει — είναι αντιστοίχιση προτύπων. Η βαθμονόμηση, η αμετάβλητη και η γνώση πότε πρέπει να απορρίπτονται αντιμετωπίζονται ως απαιτήσεις πρώτης κατηγορίας, όχι ως μπόνους.
Τι προσθέτει το νήμα ειδήσεων Hacker
Το Perplexity άνοιξε για πρώτη φορά ένα μέλος της οικογένειας με 27 δισεκατομμύρια παραμέτρους, pplx-decider-v1-27b, στο Hugging Face στις αρχές Οκτωβρίου, επομένως η κοινότητα έχει στα χέρια της αυτά τα μοντέλα εδώ και εβδομάδες. Η αντίδραση στο v1.3 ήταν ανάμεικτη με τρόπο που μοιάζει με μια υγιή αγορά και όχι ως κύκλος διαφημιστικής εκστρατείας.
Ένας προγραμματιστής ανέφερε ότι το Decider v1.3 παρουσίασε κέρδη τόσο έναντι του v1.2 όσο και του Jev 1.14 του TypeSafe στις εσωτερικές τους αξιολογήσεις για μια εργασία εξαγωγής και αντιστοίχισης οντοτήτων. Ένας άλλος είπε ότι αποδίδει καλά στο τοπικό σημείο αναφοράς και έχει ανταγωνιστική τιμή, σημειώνοντας ότι μια αρχιτεκτονική αμφίδρομης προσοχής μπορεί να ταιριάζει στην εργασία λήψης αποφάσεων. Άλλοι απώθησαν: ένας σχολιαστής βρήκε το v1.3 ένα βήμα πίσω για την περίπτωση χρήσης του και είπε ότι το δημόσιο ευρετήριο συμφωνούσε και ένας άλλος αμφισβήτησε εάν οι παραλλαγές flash αραιώνουν την βασική υπόσχεση της κατηγορίας για φθηνές, ακριβείς μαζικές αποφάσεις.
Το νήμα εμφανίστηκε επίσης στο περιβάλλον οικοσύστημα - τα μοντέλα απόφασης Clef του Cloudflare και το μοντέλο εξαγωγής Clairic, το ScaleDown API, το Liquid's D1 και το ίδιο το μοντέλο απόφασης του OpenAI - με αρκετούς προγραμματιστές να σημειώνουν ότι ο δείκτης Τεχνητής Ανάλυσης, ο οποίος περιλαμβάνει κόστος ανά εργασία και βαθμονόμηση σε συνδυασμό με τη σύγκριση μεταξύ πωλητών, είναι η μόνη αξιοπιστία.
Γιατί έχει σημασία
Καλύψαμε την άνοδο αυτής της κατηγορίας βήμα προς βήμα: το μοντέλο Jev system-one του TypeSafe, το Decision-1 της Microsoft που βασίζεται στο Qwen και το Decisions API της Google με το μοντέλο Gemini Decision-1. Το Perplexity Shipping v1.3 επιβεβαιώνει το μοτίβο — κάθε μεγάλη πλατφόρμα AI θέλει τώρα να κατέχει το επίπεδο όπου γίνονται δομημένες επιλογές, επειδή αυτό το επίπεδο βρίσκεται μπροστά από τα πάντα: υποστήριξη διαλογής, επεξεργασία εγγράφων, κλήση εργαλείου, εποπτεία, έλεγχοι συμμόρφωσης.
Τα οικονομικά είναι το ζητούμενο. Ένα μοντέλο συλλογιστικής μπορεί να μην απαντήσει σε ένα μοντέλο απόφασης ως προς την ακρίβεια, αλλά σε μεγάλο όγκο η καθυστέρηση και το κόστος του το καθιστούν λάθος εργαλείο για εκατομμύρια καθημερινές ταξινομήσεις. Τα μοντέλα αποφάσεων ανταλλάσσουν τη γενική ευφυΐα με βαθμονομημένες, αμετάβλητες απαντήσεις μίας κλήσης και, όπως δείχνει η συζήτηση των Hacker News, οι αγοραστές ταξινομούν τώρα αυτές τις συναλλαγές με πραγματικούς δείκτες αναφοράς και πραγματικούς φόρτους εργασίας.
Το Decider v1.3 θα ζήσει ή θα πεθάνει σε αυτές τις κάρτες αποτελεσμάτων. Αλλά η ίδια η κατηγορία έχει σαφώς φτάσει.
---
Μείνετε μπροστά από την τεχνητή νοημοσύνηΛάβετε τα πιο πρόσφατα νέα, αναλύσεις και ανακαλύψεις για την τεχνητή νοημοσύνη — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
