Το Google DeepMind έχει επιδείξει μια τεχνική εκπαίδευσης ρομποτικής κατά την οποία το μοντέλο Gemini 4 Argon μαθαίνει μια φυσική εργασία βλέποντας συνηθισμένο βίντεο και στη συνέχεια μεταφέρει τη συμπεριφορά που έχει μάθει σε ένα πραγματικό ανθρωποειδές ρομπότ. Στο demo, που δημοσιεύτηκε παράλληλα με την κυκλοφορία του μοντέλου, το ανθρωποειδές Apollo που κατασκευάστηκε από την Apptronik παρακολούθησε πλάνα ενός ατόμου που έπαιζε καλαμπόκι — και στη συνέχεια προσγείωσε επτά διαδοχικές λήψεις σε μια πραγματική δοκιμή, σύμφωνα με το Robotics & Automation News.
Από ακατέργαστο βίντεο σε πραγματικό ρομπότ For more context on this story, see our ongoing latest AI developments.
Η επίδειξη επικεντρώθηκε σε ένα μόνο εσωτερικό τεστ. Το Argon εμφανίστηκε ακατέργαστο βίντεο ενός ανθρώπου να παίζει cornhole, το παιχνίδι πετάγματος στην πίσω αυλή. Το μοντέλο στη συνέχεια ανέλυσε το περιβάλλον, χαρτογράφησε τις χωρικές του συντεταγμένες και υπολόγισε τις κινήσεις των αρθρώσεων ολόκληρου του σώματος που απαιτούνται για την αναπαραγωγή της εργασίας σε μια ανθρωποειδή πλατφόρμα.
Το αξιοσημείωτο βήμα είναι αυτό που ακολούθησε: αντί να βασίζεται σε μηχανικούς για να κατασκευάσουν με το χέρι μια προσομοίωση φυσικής, το Argon δημιούργησε αυτόνομα τον ίδιο τον κώδικα προσομοίωσης. Η μαθημένη συμπεριφορά μεταφέρθηκε στη συνέχεια από αυτήν την προσομοίωση που δημιουργήθηκε από μόνος του στον ανθρωποειδή Apollo του Apptronik, ο οποίος την εκτέλεσε στον φυσικό κόσμο.
Σύμφωνα με το Google DeepMind, ο Απόλλων προσγειώθηκε στη συνέχεια επτά ευθείες βολές κατά τη διάρκεια της δοκιμής του πραγματικού κόσμου - μια καθαρή διαδρομή για μια εργασία που απαιτεί από το ρομπότ να συντονίζει την ισορροπία, την τροχιά του βραχίονα και το χρόνο απελευθέρωσης.
Εβδομάδες εργασίας προσομοίωσης συμπιεσμένες σε ώρες
Το Google DeepMind περιγράφει την προσέγγιση ως αγωγό "Video-to-Sim-to-Real" και το βήμα αφορά τόσο τον χρόνο μηχανικής όσο και με τις δυνατότητες.
"Αυτός ο αγωγός "Video-to-Sim-to-Real" συμπιέζει εβδομάδες χειροκίνητης μοντελοποίησης προσομοίωσης σε λίγες ώρες, μετατρέποντας τα συνηθισμένα βίντεο σε ένα επεκτάσιμο, άπειρο έδαφος εκπαίδευσης για τη ρομποτική", δήλωσε η εταιρεία, σύμφωνα με το Robotics & Automation News.
Παραδοσιακά, η διδασκαλία μιας νέας φυσικής δεξιότητας σε ένα ρομπότ μέσω της προσομοίωσης απαιτούσε από ειδικούς να μοντελοποιήσουν το περιβάλλον, τη φυσική των αντικειμένων και το σώμα του ρομπότ με το χέρι — μια διαδικασία που μετράται σε εβδομάδες για κάθε νέα εργασία. Εάν το βίντεο μπορεί να υποκαταστήσει αυτή τη χειροκίνητη μοντελοποίηση, το σημείο συμφόρησης για τη διδασκαλία νέων δεξιοτήτων στα ρομπότ μετατοπίζεται από την εργασία μηχανικής στη διαθεσιμότητα βίντεο επίδειξης, η οποία είναι ουσιαστικά απεριόριστη στο Διαδίκτυο.
Τι κάνει το Video-to-Sim-to-Real διαφορετικό
Οι περισσότεροι αγωγοί εκμάθησης ρομπότ στη βιομηχανία χρησιμοποιούν μία από τις δύο διαδρομές: τηλελειτουργία, όπου οι άνθρωποι επιδεικνύουν χειροκίνητα εργασίες που μιμείται το ρομπότ ή εκπαίδευση προσομοίωσης, όπου οι μηχανικοί κατασκευάζουν εικονικά περιβάλλοντα στα οποία οι πολιτικές ελέγχου εξασκούν εκατομμύρια επαναλήψεις πριν από την ανάπτυξη. Και οι δύο λειτουργούν, και οι δύο κλιμακώνονται ελάχιστα — η τηλελειτουργία απαιτεί ένταση εργασίας ανά εργασία και η μοντελοποίηση προσομοίωσης απαιτεί ένταση εργασίας ανά περιβάλλον.
Το demo του cornhole στοχεύει στο δεύτερο σημείο συμφόρησης. Στην αφήγηση της δοκιμής του DeepMind, κανένας μηχανικός δεν κατασκεύασε το περιβάλλον κορν τρύπας: ο Argon κατανάλωσε το ακατέργαστο βίντεο, ερμήνευσε τη χωρική διάταξη της σκηνής, επεξεργάστηκε τις τροχιές άρθρωσης ολόκληρου του σώματος που απαιτούσε η ρίψη και έγραψε τον ίδιο τον κώδικα προσομοίωσης. Ο ανθρώπινος ρόλος στο βρόχο, ουσιαστικά, περιορίστηκε στο να έχει μαγνητοσκοπήσει κάποτε κάποιον να παίζει το παιχνίδι.
Το Cornhole είναι μια σκόπιμα καλά επιλεγμένη περίπτωση δοκιμής. Φαίνεται ασήμαντο, αλλά η προσγείωση ενός σάκου φασολάδας σε έναν ανυψωμένο στόχο απαιτεί ακριβώς τον συνδυασμό που βρίσκουν δύσκολα τα ανθρωποειδή ρομπότ: σταθερή ισορροπία ολόκληρου του σώματος κατά τη διάρκεια της περιέλιξης, δυναμική λεπτού βραχίονα, χρονομετρημένη απελευθέρωση και ανοχή στα βαλλιστικά ενός χαλαρού βλήματος. Επτά διαδοχικές επιτυχίες στον πραγματικό κόσμο υποδεικνύουν ότι η μεταβιβασθείσα πολιτική ήταν ισχυρή παρά τυχερή, αν και ένα μόνο εσωτερικό τεστ είναι μια στενή βάση αποδεικτικών στοιχείων.
Αποτελέσματα αναφοράς ενσωματωμένης συλλογιστικής
Παράλληλα με την επίδειξη του cornhole, η DeepMind δοκίμασε το Argon στο σημείο αναφοράς ενσωματωμένης λογικής (ERQA), το οποίο μετρά την ικανότητα ενός μοντέλου να αιτιολογεί φυσικά και χωρικά προβλήματα σε περιβάλλοντα 3D. Η εταιρεία λέει ότι το Argon πέτυχε βαθμολογία 87% στο σημείο αναφοράς.
Ο φυσικός και χωρικός συλλογισμός θεωρείται ευρέως ως ένα από τα κενά που διαχωρίζουν τα μοντέλα γλώσσας συνόρων από συστήματα που μπορούν να λειτουργήσουν χρήσιμα στον φυσικό κόσμο, γι' αυτό και τα σημεία αναφοράς ρομποτικής όπως το ERQA έχουν τραβήξει την προσοχή των μεγάλων εργαστηρίων.
Μέρος του Broader Gemini 4 Argon Launch
Το έργο της ρομποτικής είναι μια εφαρμογή σε ένα ευρύτερο λανσάρισμα. Η Google τοποθετεί το Gemini 4 Argon ως ένα μοντέλο συνόρων που συνδυάζει οπτικο-σημασιολογικό συλλογισμό, φυσική κατανόηση και αυτόνομη δημιουργία κώδικα, που στοχεύει σε πολύπλοκες μηχανικές, επιστημονικές, κωδικοποιητικές και επιχειρηματικές εργασίες. Η εταιρεία λέει ότι έχει ήδη χρησιμοποιήσει το μοντέλο εσωτερικά σε έργα που κυμαίνονται από τη βελτιστοποίηση μεγάλων βάσεων κώδικα λογισμικού έως τους κβαντικούς υπολογιστές, την πυρηνική σύντηξη και την έρευνα για τις βιοεπιστήμες.
Το μοντέλο διατίθεται μέσω των προϊόντων AI της Google και του Gemini API, με την επίδειξη ρομποτικής να παρουσιάζεται ως απόδειξη της φυσικής κατανόησης του μοντέλου και όχι ως προϊόν αποστολής για χειριστές ρομπότ.
Γιατί έχει σημασία για τη βιομηχανία ανθρωποειδών
Για τον αναπτυσσόμενο τομέα των ανθρωποειδών ρομπότ - όπου η Apptronik είναι ένας από τους πιο εξέχοντες παίκτες - το αποτέλεσμα δείχνει μια συγκεκριμένη πρόταση βραχυπρόθεσμης αξίας: μοντέλα τεχνητής νοημοσύνης γενικής χρήσης που μπορούν να μετατρέψουν το παθητικό βίντεο σε εκπαιδεύσιμες προσομοιώσεις θα μπορούσαν να μειώσουν δραματικά το κόστος διδασκαλίας νέων εργασιών στα ρομπότ, το βασικό εμπόδιο μεταξύ των σημερινών εντυπωσιακών επιδείξεων και της οικονομικά χρήσιμης ανάπτυξης.
Το ίδιο το καδράρισμα του DeepMind τονίζει το ίδιο σημείο. Η επίδειξη, λέει η εταιρεία, δείχνει πώς τα μοντέλα γενικής χρήσης θα μπορούσαν να μειώσουν τον όγκο της χειρωνακτικής μηχανικής που απαιτείται για να διδάξουν στα ρομπότ νέες φυσικές δεξιότητες.
Επτά βολές από καλαμπόκι δεν θα μετακινήσουν τα πακέτα σε μια αποθήκη. Αλλά ο αγωγός που τα παρήγαγε - δείτε ένα βίντεο, κατανοήστε τη φυσική, γράψτε την προσομοίωση, μεταφέρετε στο υλικό - είναι το μέρος που θα παρακολουθήσουν οι εταιρείες ρομποτικής και οι επενδυτές τους.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
