Οι βαθμολογικοί πίνακες τεχνητής νοημοσύνης λένε μια εξαιρετικά λεπτομερή ιστορία σχετικά με το πόσο καλά τα μοντέλα γράφουν κώδικα, λύνουν μαθηματικά προβλήματα και απαντούν σε εξετάσεις μεταπτυχιακού επιπέδου. Αυτό που σχεδόν ποτέ δεν σας λένε είναι πόσο καλά τα μοντέλα κάνουν τη δουλειά για την οποία πληρώνονται οι περισσότεροι Αμερικανοί.
Ένα νέο ερευνητικό έργο από την αγορά ταλέντων τεχνητής νοημοσύνης Mercor δίνει έναν αριθμό σε αυτό το κενό. Σύμφωνα με το Benchmark Map της εταιρείας, που δημοσιεύτηκε αυτή την εβδομάδα, περίπου το 90% των ωρών εργασίας στις ΗΠΑ δαπανάται σε εργασίες με μικρή ή καθόλου κάλυψη από τα υπάρχοντα σημεία αναφοράς AI. For more context on this story, see our ongoing artificial intelligence updates.
«Αυτό καθιστά πολύ δύσκολο να γνωρίζουμε πόσο καλά είναι τα μοντέλα τεχνητής νοημοσύνης στη δουλειά που κάνουν οι Αμερικανοί», γράφει η εταιρεία στα ευρήματά της.
Μετρώντας τα σημεία αναφοράς που χάνονται
Για τη δημιουργία του χάρτη, η Mercor συνέταξε ένα ευρετήριο 29 σημείων αναφοράς που επιλέχθηκαν για ποιότητα και οικονομική συνάφεια και, στη συνέχεια, χαρτογράφησε τις προτροπές τους με την επαγγελματική βάση δεδομένων O*NET της κυβέρνησης των ΗΠΑ - την τυπική ταξινόμηση 923 επαγγελμάτων και 18.797 διακριτών εργασιών που αποτελούν το αμερικανικό εργατικό δυναμικό.
Οι αριθμοί κάλυψης είναι έντονοι. Μόνο 208 από τα 923 επαγγέλματα O*NET έχουν καμία κάλυψη αναφοράς και μόλις 924 από τις 18.797 επαγγελματικές εργασίες αντιπροσωπεύονται σε ολόκληρο τον δείκτη.
Η μεθοδολογία, που τεκμηριώνεται στον ιστότοπο του έργου, βασίζεται στην ίδια την τεχνητή νοημοσύνη: μετά από πρόσφατη έρευνα, ένας κριτής LLM επισημαίνει κάθε μήνυμα αναφοράς με τις εργασίες ONET στις οποίες αντιστοιχεί, με την επικύρωση ετικετών σε σχέση με ετικέτες ανθρώπινων ειδικών στο υποσύνολο σημείων αναφοράς APEX της Mercor. Μια εργασία θεωρείται ότι καλύπτεται μόνο εάν ο κριτής την αντιστοιχίσει σε τουλάχιστον πέντε προτροπές από τον δείκτη αναφοράς 29. Για να μεταφράσει την κάλυψη σε οικονομικούς όρους, η Mercor συνδύασε τις εκτιμήσεις της με πρόσφατα δημοσιευμένες εκτιμήσεις που προέρχονται από το LLM για το μερίδιο του χρόνου εργασίας για κάθε εργασία ONET.
Η κάλυψη ακολουθεί τα χρήματα
Τα κενά δεν κατανέμονται τυχαία. Η ανάλυση της Mercor υποδηλώνει ότι η κοινότητα της τεχνητής νοημοσύνης συγκρίνει πρώτα τις μεγαλύτερες αγορές εργασίας - τα επαγγέλματα με τους μεγαλύτερους συνολικούς μισθούς, που υπολογίζονται από τις εκτιμήσεις μισθών και απασχόλησης του Γραφείου Στατιστικών Εργασίας.
Η κατανομή εργασίας-οικογένειας δείχνει πόσο άνιση είναι η προσοχή. Τα επαγγέλματα των υπολογιστών και των μαθηματικών, που αποτελούν το βασικό πεδίο της δημιουργίας σημείων αναφοράς, είναι τα καλύτερα καλυμμένα σε 29 από 36 επαγγέλματα. Ακολουθούν επιχειρηματικές και οικονομικές δραστηριότητες σε 33 από 48. Αλλά η υποστήριξη γραφείου και διοικητικής υποστήριξης - μια οικογένεια που απασχολεί εκατομμύρια - έχει μόνο 21 από τα 51 επαγγέλματα που καλύπτονται και διοικητικούς ρόλους 21 από 56.
Ακόμη και στα καλύτερα καλυμμένα επαγγέλματα, το βάθος είναι λεπτό. Όταν η Mercor επιχείρησε βαθμολόγηση με βάση το ONET για τέσσερα επαγγέλματα με βαρύ επίπεδο αναφοράς — επενδυτική τραπεζική, νομική, λογιστική και μηχανική λογισμικού — διαπίστωσε ότι λιγότερο από το ένα τρίτο των εργασιών ONET που σχετίζονται με αυτές τις θέσεις εργασίας είχαν αρκετή κάλυψη αναφοράς για να συμπεριληφθούν σε μια σταθμισμένη βαθμολογία.
Γιατί τα Τυφλά Σημεία έχουν σημασία
Το εύρημα προσγειώνεται σε μια στιγμή που οι βαθμολογίες αναφοράς οδηγούν σε πραγματικές αποφάσεις. Οι επιχειρήσεις επιλέγουν επίπεδα μοντέλων με βάση αξιολογήσεις. Τα διοικητικά συμβούλια ακούν για την πρόοδο του προτύπου συνόρων όσον αφορά τα άλματα αναφοράς. Οι υπεύθυνοι χάραξης πολιτικής αναφέρουν τροχιές ικανοτήτων όταν σταθμίζουν τη ρύθμιση. Εάν το 90% των ωρών εργασίας βρίσκεται έξω από αυτά που μετρούν τα κριτήρια αναφοράς, όλες αυτές οι αποφάσεις βασίζονται σε ένα δείγμα που στρέφεται προς το γραφείο, το τεχνικό και το ακαδημαϊκό.
Υπάρχουν δομικοί λόγοι που συγκεντρώνονται τα σημεία αναφοράς εκεί που το κάνουν. Οι εργασίες μηχανικής λογισμικού είναι φθηνές για τον καθορισμό, φθηνό να βαθμολογηθούν αυτόματα και εύκολο να σχεδιαστούν για τους συγγραφείς συγκριτικής αξιολόγησης — οι οποίοι κυρίως γράφουν λογισμικό. Είναι πιο δύσκολο να τυποποιηθεί ο τρόπος αξιολόγησης του ιατρικού βοηθού δίπλα στο κρεβάτι, η κρίση ενός συντονιστή logistics υπό μεταβαλλόμενους περιορισμούς ή η διαγνωστική διαδικασία ενός ηλεκτρολόγου, είναι πιο δύσκολο να επαληθευτεί εξ αποστάσεως και σε πολλές περιπτώσεις αδύνατο να δοκιμαστεί χωρίς φυσική παρουσία.
Η Mercor, της οποίας η βασική επιχείρηση συνδυάζει ειδικούς τομέα με εργαστήρια τεχνητής νοημοσύνης για εργασίες εκπαίδευσης και αξιολόγησης, έχει προφανές εμπορικό ενδιαφέρον να επισημάνει ότι η κάλυψη αξιολόγησης είναι μικρή — η εταιρεία πουλάει πρόσβαση ακριβώς στους ειδικούς που θα μπορούσαν να καλύψουν αυτό το κενό. Αλλά το υποκείμενο πρόβλημα μέτρησης είναι πραγματικό και αναγνωρίζεται όλο και περισσότερο σε όλο το πεδίο, και η εταιρεία δημοσίευσε τη μεθοδολογία της και την πλήρη λίστα αναφοράς για έλεγχο.
Η εταιρεία λέει ότι ο Benchmark Map της είναι ένα πρώτο βήμα προς έναν συνεχώς ενημερωμένο πόρο για την κατανόηση των δυνατοτήτων τεχνητής νοημοσύνης σε ολόκληρη την οικονομία και εργάζεται για τις βαθμολογίες μοντέλων με στάθμιση O*NET που σταθμίζουν εξίσου κάθε επαγγελματική εργασία αντί να αφήνει τις συχνά συγκριτικές εργασίες να κυριαρχούν στον μέσο όρο.
Η δεκαετία των μετρήσεων
Το τι θα συμβεί στη συνέχεια εξαρτάται από το εάν οι κατασκευαστές σημείων αναφοράς ακολουθούν τον οικονομικό χάρτη. Τα δεδομένα της Mercor υποδεικνύουν πού λείπει η κάλυψη — και, σιωπηρά, πού τα νέα σημεία αναφοράς θα έχουν τη μεγαλύτερη αξία πληροφοριών. Τα επαγγέλματα με μεγάλη απασχόληση, υψηλούς μισθούς και μηδενική κάλυψη αναφοράς είναι, στην πραγματικότητα, ανοικτή περιοχή αξιολόγησης.
Προς το παρόν, η πρακτική λύση για οποιονδήποτε καταναλώνει νέα του leaderboard AI είναι μια προειδοποίηση: το προφίλ αναφοράς ενός μοντέλου περιγράφει τα δυνατά του σημεία στο κομμάτι της οικονομίας που τυγχάνει να καλύπτουν τα σημεία αναφοράς. Το υπόλοιπο 90% των ωρών εργασίας - η εργασία του διαχειριστή, η φροντίδα, η υπηρεσία πεδίου, η διαχείριση ορόφων - παραμένει σε μεγάλο βαθμό αμέτρητη περιοχή και οι ισχυρισμοί ότι η τεχνητή νοημοσύνη το μετασχηματίζει αυτή τη στιγμή βασίζονται περισσότερο σε ανέκδοτο παρά σε αποδείξεις.
Όπως το θέτει το πλαίσιο της ίδιας της εταιρείας, τα σημεία αναφοράς έχουν πολλαπλασιαστεί τα τελευταία χρόνια, αλλά η κάλυψη οικονομικά πολύτιμης εργασίας παραμένει περιορισμένη. Ο χάρτης κάνει ορατό αυτόν τον περιορισμό, πλακίδιο με πλακίδιο, επάγγελμα ανά επάγγελμα.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
