Τα σημεία αναφοράς της τεχνητής νοημοσύνης αποφασίζουν ποια μοντέλα είναι πρωτοσέλιδα — και οι εταιρείες που κατασκευάζουν αυτά τα μοντέλα έχουν μάθει πώς να τα ξεπερνούν. Μια startup που ονομάζεται Vals, που ιδρύθηκε το 2024, στοιχηματίζει ότι η βιομηχανία χρειάζεται έναν διαιτητή του οποίου οι δοκιμές δεν μπορούν να παιχτούν και οι επενδυτές απλώς υποστήριξαν αυτό το στοίχημα σε μεγάλο βαθμό: ο Vals συγκέντρωσε μια σειρά 40 εκατομμυρίων δολαρίων με επικεφαλής τον Andreessen Horowitz τον περασμένο μήνα, μετά από έναν πρώτο γύρο με επικεφαλής τους 8VC και Bloomberg Beta.
Η άνοδος της εταιρείας έρχεται εν μέσω αυξανόμενης ανησυχίας για το πώς μετρώνται οι δυνατότητες AI και τι συμβαίνει όταν το κριτήριο γίνεται εργαλείο μάρκετινγκ. Για περισσότερα σχετικά με τις επιχειρήσεις της τεχνητής νοημοσύνης, ακολουθήστε την κάλυψη βιομηχανίας AI.
Όταν τα σημεία αναφοράς γίνονται μάρκετινγκ
Η συγκριτική αξιολόγηση έχει γίνει ο κανόνας του κλάδου για την επικύρωση των δυνατοτήτων των μοντέλων τεχνητής νοημοσύνης — και, όταν οι αριθμοί αλλάζουν τον δρόμο της εταιρείας, για τη διαφημιστική υπεροχή έναντι των αντιπάλων. Καλά σημεία αναφοράς σημαίνουν καλές δημόσιες σχέσεις.
Το πρόβλημα, σύμφωνα με τον συνιδρυτή και διευθύνοντα σύμβουλο της Vals, Rayan Krishnan, είναι ότι πολλά πρότυπα αναφοράς παλαιού τύπου κατασκευάστηκαν για μια προηγούμενη γενιά μοντέλων και οι εταιρείες έχουν βρει πώς να βελτιστοποιήσουν σε σχέση με αυτά. Όταν τα υλικά δοκιμών είναι δημόσια, ένα μοντέλο μπορεί να εκπαιδευτεί αποτελεσματικά για να περάσει τις εξετάσεις - μια πρακτική που ο κλάδος έχει περιγράψει ποικιλοτρόπως ως μόλυνση, υπερβολική τοποθέτηση ή απόλυτη εξαπάτηση.
«Βλέπαμε μια δέσμη νέων, πολύ ικανών μοντέλων να έρχονται γρήγορα στην αγορά και τα ακαδημαϊκά σημεία αναφοράς [δεν ανταποκρίνονταν] σε αυτήν την πρόοδο», είπε ο Krishnan σε συνέντευξή του στο TechCrunch.
Ιδιωτικές δοκιμές, Εργασίες πραγματικού κόσμου
Ο Vals ακολουθεί μια διαφορετική προσέγγιση σε δύο μέτωπα. Πρώτον, δεν αποκαλύπτει δημόσια τα συγκεκριμένα υλικά δοκιμών της, γεγονός που καθιστά πολύ πιο δύσκολο για μια εταιρεία να εκπαιδεύσει τα μοντέλα της ενάντια στις εξετάσεις. Δεύτερον, αντί να μετράει την αφηρημένη γνώση - εάν ένα μοντέλο μπορεί να απαντήσει σε ερωτήσεις τύπου bar-exam - ο Vals αξιολογεί τον τρόπο με τον οποίο τα μοντέλα εκτελούν σύνθετες εργασίες σε συγκεκριμένους κλάδους όπως η νομοθεσία, η χρηματοδότηση και η κωδικοποίηση.
«Αυτό που κάνουμε είναι στην πραγματικότητα να δούμε ποιες είναι οι πραγματικές επιπτώσεις των μοντέλων», είπε ο Krishnan. «Μπορούν να κάνουν δουλειά που παράγει ένα προϊόν της ίδιας ποιότητας με τον άνθρωπο σε κάθε τομέα;»
Η εταιρεία μετρά επίσης τους τρόπους αποτυχίας, όχι μόνο τις επιτυχίες. Ο Krishnan είπε ότι ο Vals στοχεύει να αναλύσει "εάν αυτά τα μοντέλα λειτουργούσαν άγρια στον κόσμο, ποιες θα ήταν οι αρνητικές επιπτώσεις" - μια φιλοσοφία αξιολόγησης που αντιμετωπίζει τον κίνδυνο μειονέκτημα ως μετρήσιμο αποτέλεσμα και όχι ως μεταγενέστερη σκέψη.
Από το δίκαιο και τα οικονομικά στις συμβάσεις της Γενεύης και την αναδρομική αυτοβελτίωση
Το εύρος των αξιολογήσεων της Vals συνεχίζει να επεκτείνεται πέρα από τις ρίζες των επαγγελματικών υπηρεσιών. Παράλληλα με τα σημεία αναφοράς νόμου, χρηματοδότησης και κωδικοποίησης, ο Krishnan είπε ότι η εταιρεία τρέχει τώρα δοκιμές στην ψυχική υγεία, την ασφάλεια στον κυβερνοχώρο και τη βιοασφάλεια, ακόμη και ένα σημείο αναφοράς για την αναδρομική αυτοβελτίωση - ένα θέμα που συζητείται πιο συχνά σε κύκλους ασφάλειας AI παρά σε εμπορικές σουίτες αξιολόγησης.
Ίσως το πιο εντυπωσιακό είναι το έργο του για το δίκαιο των ένοπλων συγκρούσεων, όπου ο Vals δοκιμάζει πώς τα μοντέλα κατανοούν και εφαρμόζουν τη Σύμβαση της Γενεύης. Το εύρος σηματοδοτεί από πού προέρχεται η ζήτηση: όχι μόνο εργαστήρια που αγωνίζονται σε κορυφαίους πίνακες κατάταξης, αλλά επιχειρήσεις και ιδρύματα που χρειάζονται αποδείξεις για το πώς συμπεριφέρονται τα μοντέλα σε τομείς υψηλού πονταρίσματος πριν τα αναπτύξουν.
Το επιχειρηματικό μοντέλο: Πληρώστε για να κάνετε το τεστ
Οι εταιρείες πληρώνουν τη Vals για να αξιολογήσει τα μοντέλα τους — μια συμφωνία που μπορεί να φαίνεται αντιφατική. Γιατί να πληρώσει μια εταιρεία για αποτελέσματα που μπορεί να την φέρουν σε δύσκολη θέση; Ο Krishnan συγκρίνει το μοντέλο με έναν μαθητή που πληρώνει το Διοικητικό Συμβούλιο του Κολλεγίου για να λάβει το SAT: μια ανεξάρτητη μέτρηση, ακόμη και μη κολακευτική, βοηθά μια εταιρεία να αντιμετωπίσει προβλήματα και να βελτιώνεται με την πάροδο του χρόνου.
Η αγορά φαίνεται να ανταποκρίνεται. Η Vals λέει ότι τα έσοδά της είναι επί του παρόντος οκταπλάσια από ό,τι ήταν πέρυσι και η ομάδα της έχει τριπλασιαστεί από την αρχή του έτους, αυξάνοντας από οκτώ άτομα σε 25. Η εταιρεία λειτουργεί από ένα διώροφο γραφείο στην Folsom Street του Σαν Φρανσίσκο — ένα πρώην κτήριο ζυθοποιίας που τώρα στεγάζει πολλές νεοφυείς επιχειρήσεις.
Οι αξιολογήσεις γίνονται επίσης παράγοντες λήψης αποφάσεων για τις επιχειρήσεις που αγοράζουν μοντέλα τεχνητής νοημοσύνης, σύμφωνα με την εταιρεία, δίνοντας στα σημεία αναφοράς έναν ρόλο πιο κοντά στη δέουσα επιμέλεια παρά στο μάρκετινγκ.
Ένας 25χρονος ιδρυτής με κάθισμα στην μπροστινή σειρά
Ο Κρίσναν, 25 ετών, έκανε πρακτική στο Palantir και ως προπτυχιακός στο Στάνφορντ, εργάστηκε για τη Microsoft και το γνωστό εργαστήριο τεχνητής νοημοσύνης του πανεπιστημίου. Λέει ότι ο Vals γεννήθηκε παρακολουθώντας την αξιολόγηση να μένει πίσω από τον κλάδο που υποτίθεται ότι μετρούσε - ένα χάσμα που διευρύνθηκε μόνο καθώς τα νέα μοντέλα φτάνουν πιο γρήγορα από ό,τι μπορούν να σχεδιαστούν, να επικυρωθούν και να δημοσιευτούν τα ακαδημαϊκά σημεία αναφοράς.
Η startup εντάσσεται τώρα σε μια μικρή αλλά αυξανόμενη ομάδα εταιρειών που προσπαθούν να θεσμοθετήσουν την αξιολόγηση της τεχνητής νοημοσύνης, έναν χώρο που περιλαμβάνει ακαδημαϊκές προσπάθειες, έργα ανοιχτού κώδικα leaderboard και ινστιτούτα ασφάλειας. Αυτό που διακρίνει τη Vals είναι το μοντέλο ιδιωτικών δοκιμών και η εστίασή της σε πληρωμένες, ειδικές για τον κλάδο αξιολογήσεις και όχι σε δημόσιες ταξινομήσεις.
Γιατί έχει σημασία
Το πρόβλημα αξιοπιστίας του κλάδου της τεχνητής νοημοσύνης με τα σημεία αναφοράς είναι καλά τεκμηριωμένο: σύνολα δοκιμών που διέρρευσαν, ύποπτα άλματα βαθμολογιών και ισχυρισμοί μάρκετινγκ που ξεπερνούν τις πραγματικές επιδόσεις. Εάν οι αγοραστές - ειδικά οι επιχειρήσεις και οι κυβερνήσεις - αρχίσουν να βασίζονται σε ιδιωτικές αξιολογήσεις που βασίζονται σε εργασίες όπως η Vals', τα κίνητρα για τους προγραμματιστές μοντέλων θα μπορούσαν να μετατοπιστούν από τη διδασκαλία στη δοκιμή προς την πραγματική ικανότητα.
Αυτό είναι πολύ μακριά από την τακτοποίηση. Ένα ιδιωτικό σημείο αναφοράς εξακολουθεί να ζητά από τους αγοραστές να εμπιστεύονται τον διαιτητή και οι πελάτες της Vals είναι οι ίδιες εταιρείες που βαθμολογούνται. Αλλά με μια Series A 40 εκατομμυρίων δολαρίων, οκταπλάσια αύξηση εσόδων και ζήτηση που εκτείνεται από τη χρηματοδότηση στη βιοασφάλεια, το στοίχημα είναι ότι η αξιολόγηση με ανεξάρτητη αίσθηση γίνεται υποδομή - μια υπηρεσία που θα πληρώσει η οικονομία της τεχνητής νοημοσύνης για το αν τα αποτελέσματα την κολακεύουν ή όχι.
Μείνετε μπροστά από την τεχνητή νοημοσύνη
Ποιος μετρά τους μετρητές; Ακολουθήστε την αξιολόγηση της τεχνητής νοημοσύνης και τις νεοσύστατες επιχειρήσεις που την αναδιαμορφώνουν στο AI Buzz Wire, την πηγή σας για έκτακτες ειδήσεις AI.
Διαβάστε τα τελευταία νέα AI →
