Το GPT-6 Astra του OpenAI μπορεί να παλεύει με προβλήματα εμπιστοσύνης χρηστών στο μέτωπο κωδικοποίησης, αλλά σε ένα νέο σημείο αναφοράς ρομποτικής δημοσιεύει αριθμούς που κάνουν τους ερευνητές να μιλούν για ένα ποιοτικό άλμα. Στο StationeryBench, μια δοκιμή που χτίστηκε γύρω από συνηθισμένα αντικείμενα γραφείου, το Astra ολοκλήρωσε πλήρως 7 από τις 100 εργασίες ενώ το MolmoAct2 του Ai2, το μοντέλο με το οποίο αντιμετώπισε, ολοκλήρωσε το μηδέν.

Το σημείο αναφοράς, το οποίο περιγράφεται από το The Decoder, φέρνει τα δύο μοντέλα το ένα απέναντι στο άλλο σε πέντε εργασίες γραφείου-αντικειμένου - ξεκλείδωμα ενός μαρκαδόρου, έκχυση συνδετήρων ή περνώντας έναν χάρακα ανάμεσα σε δύο βραχίονες ρομπότ. Και τα δύο μοντέλα έλεγχαν τα ίδια ρομπότ YAM διπλού βραχίονα σε 200 δοκιμές, ένα σχέδιο ελέγχου που αποσκοπούσε στην απομόνωση της ικανότητας του μοντέλου από τις διαφορές υλικού. Όλα τα αποτελέσματα, τα βίντεο και ο κώδικας έχουν δημοσιευτεί στο GitHub. Για περισσότερη κάλυψη έρευνας όπως αυτή, ανατρέξτε στο [ AI news hub] (https://aibuzzwire.news).

Μια «Βήμα Αλλαγή», Σύμφωνα με Ερευνητές

Ο Yoav Artzi, ερευνητής τεχνητής νοημοσύνης στο Cornell και στο Google DeepMind, χαρακτήρισε την απόδοση του Astra μια "βήμα αλλαγή στη χωρική λογική" - το είδος των αποτελεσμάτων αναφοράς γλώσσας που σπάνια κερδίζουν. Σε ένα ακόμη αδημοσίευτο σημείο αναφοράς που ονομάζεται REMAP, το Astra αγγίζει την ακρίβεια κοντά στο ανθρώπινο επίπεδο, αν και ο Artzi σημείωσε ότι «ακόμη και το Astra δεν φτάνει σε αυτό που κάνουν οι άνθρωποι σε άλλα σενάρια».

Η μέση βαθμολογία προόδου του Astra έφτασε τα 46 στα 100, σε σύγκριση με 12 για το MolmoAct2 — ένα κενό που έχει μεγαλύτερη σημασία από ό,τι υποδηλώνουν οι αριθμοί ολοκλήρωσης των επικεφαλίδων. Οι εργασίες ρομποτικής βαθμολογούνται με βάση τη μερική πρόοδο καθώς και με την πλήρη επιτυχία, και ο τριπλασιασμός της διάμεσης βαθμολογίας ενός αντιπάλου υποδηλώνει ότι το μοντέλο προχωρά σταθερά περισσότερο μέσω των ακολουθιών χειραγώγησης αντί να τα καταφέρνει από τύχη σε μερικές δοκιμές.

Γιατί ο χωρικός συλλογισμός μετράει ξαφνικά

Το αποτέλεσμα δείχνει πώς εκπαιδεύτηκε το Astra. Ο Artzi υποπτεύεται ότι το OpenAI εκπαίδευσε το μοντέλο σε μεγάλες ποσότητες τρισδιάστατων δεδομένων, όπως σκηνές Blender, οι οποίες θα ανταποκρίνονταν στην ιδιαίτερη δύναμη του μοντέλου σε εργασίες 3D. Αν αυτή η ανάγνωση είναι σωστή, υποδηλώνει ότι τα συνθετικά τρισδιάστατα περιβάλλοντα - φθηνότερα και ασφαλέστερα από τη συλλογή δεδομένων του πραγματικού κόσμου - γίνονται μια βιώσιμη πορεία προς την ικανότητα του φυσικού κόσμου, ένα από τα μακροβιότερα σημεία συμφόρησης στη ρομποτική.

Ο σχεδιασμός του σημείου αναφοράς λέει επίσης κάτι για το πού κατευθύνεται η αξιολόγηση της ρομποτικής. Οι εργασίες του StationeryBench είναι σκόπιμα κοσμικές — το ξεπώμα του μαρκαδόρου, το ρίξιμο των συνδετήρων, η παράδοση ενός χάρακα — επειδή η καθημερινή χειραγώγηση, όχι τα κινηματογραφικά επιτεύγματα, είναι αυτό που διαχωρίζει τις επιδείξεις εργαστηρίου από τις χρήσιμες μηχανές. Η βαθμολόγηση και των δύο μοντέλων στο ίδιο υλικό YAM διπλού βραχίονα σε 200 δοκιμές και η δημοσίευση κάθε βίντεο είναι μια ασυνήθιστα διαφανής ρύθμιση για μια αξίωση ικανότητας που αφορά τη ναυαρχίδα ενός συνοριακού εργαστηρίου.

Το MolmoAct2, το μοντέλο σύγκρισης από το Allen Institute for AI (Ai2), η ολοκλήρωση καμίας από τις εργασίες δεν είναι το δικό του δεδομένο: υποδηλώνει ότι το χάσμα μεταξύ μοντέλων συνόρων γενικής χρήσης και ρομποτικών μοντέλων ειδικά σχεδιασμένων δεν κλείνει πλέον αλλά αναστρέφεται, τουλάχιστον σε βαρείς συλλογισμούς.

Ταιριάζει επίσης με τις δηλωμένες φιλοδοξίες του OpenAI: η εταιρεία έχει μακροπρόθεσμα σχέδια να κατασκευάσει τα δικά της ρομπότ καταναλωτών, σύμφωνα με ρεπορτάζ που επικαλείται το The Decoder. Ένα μοντέλο γλώσσας συνόρων που μπορεί να συλλογιστεί αντικείμενα, χέρια και τροχιές είναι το μισό του λογισμικού αυτού του τόνου. Το μισό υλικό παραμένει άλυτο, αλλά σημεία αναφοράς όπως το StationeryBench είναι το πώς μετριέται αυτή η ιστορία.

Πλαίσιο: Ένα μοντέλο με μια περίπλοκη εβδομάδα

Το αποτέλεσμα προσγειώνεται σε έναν περίεργο κύκλο ειδήσεων για το OpenAI. Το ίδιο μοντέλο στο επίκεντρο αυτού του σημείου αναφοράς πέρασε την εβδομάδα αντιμετωπίζοντας παράπονα χρηστών ότι είχε γίνει πιο χαζό από την κυκλοφορία — καταγγελίες OpenAI που εντοπίστηκαν σε τρία επώνυμα ελαττώματα, από δεξιότητες λανθασμένης ενεργοποίησης έως πείραμα περιβάλλοντος κακής συμπεριφοράς, πριν από την επαναφορά των ορίων χρήσης του Codex. Ένα μοντέλο που παραπαίει στην παραγωγή, ενώ δημοσιεύει αποτελέσματα σταδιακής αλλαγής στο εργαστήριο είναι μια ακρίβεια της τρέχουσας βιομηχανίας τεχνητής νοημοσύνης: η ικανότητα και η αξιοπιστία προχωρούν σε διαφορετικά ρολόγια.

Προσγειώνεται επίσης εν μέσω μιας συζήτησης για την ασφάλεια στην οποία εντάχθηκε η ίδια η ηγεσία του OpenAI. Ο επικεφαλής επιστήμονας της εταιρείας έχει προειδοποιήσει ότι κανένα εργαστήριο δεν έχει λύσει τον έλεγχο των όλο και πιο αυτόνομων συστημάτων και ο Διευθύνων Σύμβουλος της Anthropic ζήτησε από τη βιομηχανία να επιβραδύνει εντελώς την ανάπτυξη των συνόρων. Τα σημεία αναφοράς που δείχνουν μοντέλα που χειρίζονται τον φυσικό κόσμο - ακόμα κι αν ο κόσμος είναι απλώς ένα γραφείο καλυμμένο με χαρτικά - είναι ακριβώς το είδος του αποτελέσματος που αναφέρουν και τα δύο στελέχη όταν υποστηρίζουν ότι ο ρυθμός της προόδου ξεπερνά την επίβλεψη.

Η κατώτατη γραμμή

Επτά πλήρως ολοκληρωμένες εργασίες από τις 100 δεν θα βάλουν ένα ρομπότ στο γραφείο σας αύριο. Αλλά η μετάβαση από το μηδέν ενός αντιπάλου στο επτά, με μέση βαθμολογία προόδου τρεις φορές υψηλότερη, είναι το είδος της ασυνέχειας που επανέφερε τα γραφήματα ικανοτήτων στην κατανόηση της γλώσσας πριν από δύο χρόνια. Το ανοιχτό ερώτημα είναι εάν το ίδιο μοντέλο μπορεί να προσφέρει αυτήν την ικανότητα αξιόπιστα, εκτός του σημείου αναφοράς, σε τιμή που είναι διατεθειμένοι να πληρώσουν οι προγραμματιστές.

Μείνε μπροστά από την τεχνητή νοημοσύνη

Τα σημεία αναφοράς, οι ανακαλύψεις και ο αγώνας προς τις μηχανές που δρουν — ακολουθούσαν καθημερινά.

Διαβάστε περισσότερα νέα AI →