Η ομάδα AI Frontiers της Microsoft Research - η μονάδα περίπου 50 ατόμων πίσω από το πλαίσιο ενορχήστρωσης πρακτόρων AutoGen και τον παράγοντα χρήσης υπολογιστή Fara - έφτασε στο τέλος της, σύμφωνα με έναν ειλικρινή λογαριασμό πρώτου προσώπου που δημοσιεύθηκε αυτή την εβδομάδα από τον ερευνητή μηχανικής μάθησης John Langford, ο οποίος οργάνωσε την ομάδα στο MSR το 2023. δεν υπάρχει χώρος για την ερευνητική της ατζέντα. Η ανάρτηση χτύπησε τα νεύρα: ξεπέρασε τα Hacker News με περισσότερους από 300 βαθμούς μέσα σε λίγες ώρες και προσφέρει έναν από τους πιο λεπτομερείς εμπιστευτικούς λογαριασμούς ακόμα για το πώς εξελίσσεται η στροφή του κλάδου από την έρευνα στην κλιμάκωση μέσα σε ένα μεγάλο εργαστήριο. Παρακολουθούμε τις συνέπειες στην [κάλυψη επιχειρηματικών ειδήσεων AI] (https://aibuzzwire.news).

Τι κατασκεύασε η AI Frontiers

Ο Λάνγκφορντ εντοπίζει την προέλευση της ομάδας στους μήνες μετά την κυκλοφορία του ChatGPT, όταν κατέληξε στο συμπέρασμα ότι η ουσιαστική έρευνα τεχνητής νοημοσύνης εντός της Microsoft χρειαζόταν περισσότερη δομή από το παραδοσιακό μοντέλο του MSR. «Η υποστήριξη και η εστίαση που εφάρμοζαν άλλες ερευνητικές ομάδες ήταν αρκετά μεγάλη ώστε ακόμη και με μια έξυπνη ιδέα που ακολουθούσε ένα άτομο, ήταν πιθανό να φτάσει αργά και μη πειστική», γράφει, εξηγώντας ότι ένας μόνος ερευνητής δεν μπορούσε να συγκεντρώσει βασικές γραμμές αρκετά ισχυρές για να αποδείξει ότι μια ιδέα άξιζε να συνεχιστεί.

Έτσι ο Λάνγκφορντ και οι ομοϊδεάτες συνάδελφοί του οργάνωσαν το AI Frontiers ως μια υποοργάνωση περίπου 50 ατόμων, σκόπιμα δομημένη ούτε από πάνω προς τα κάτω ούτε από κάτω προς τα πάνω, αλλά «κάπου στη βρώμικη μέση». Εφαρμόστηκε το πιο ορατό αποτέλεσμα της ομάδας: το AutoGen, το ευρέως χρησιμοποιούμενο πλαίσιο ανοιχτού κώδικα της Microsoft για την ενορχήστρωση πολλών πρακτόρων τεχνητής νοημοσύνης και ο Fara, ένας παράγοντας χρήσης υπολογιστή. Σύμφωνα με την αφήγηση του Λάνγκφορντ, «μεγάλο μέρος της δουλειάς της AIF ήταν να βρει πώς να κάνει τους πράκτορες να λειτουργούν».

Λιγότερο ορατή ήταν η θεμελιώδης έρευνα της ομάδας. Ένα σώμα της Νέας Υόρκης ακολούθησε αυτό που ο Λάνγκφορντ περιγράφει ως νέες βασικές δυνατότητες: έναν στόχο "Επόμενος λανθάνον" που επιτρέπει στα μοντέλα να προεκτείνουν, έναν βελτιστοποιητή που ονομάζεται Dion3 που βελτιώνει το Muon και έναν "Μετασχηματιστή πλήρους εύρους ζώνης" που έχει σχεδιαστεί για να κάνει τα μοντέλα σημαντικά πιο ισχυρά μέσω αναδρομής.

Η ομάδα προσπάθησε επίσης να μοιραστεί την υποδομή με την υπόλοιπη Microsoft Research, διατηρώντας ένα monorepo ανοιχτό σε όλους τους ερευνητές MSR. Αυτό το αποθετήριο περιελάμβανε μια βάση κώδικα προεκπαίδευσης αιχμής που παρουσιάστηκε στο συνέδριο COLM του περασμένου μήνα - μια λεπτομέρεια που την αποκαλεί δευτερεύουσα, αλλά χρησιμοποιεί για να υπογραμμίσει πόση προσπάθεια χρειάζεται για να χτίσει ένας αγωγός εκπαίδευσης μοντέλων, σημειώνοντας ότι τρεις άλλες εσωτερικές ομάδες προσπαθούσαν το ίδιο πράγμα χωρίς κοινή βάση.

Η αναδιοργάνωση του Σεπτεμβρίου

Στις αρχές Σεπτεμβρίου, η Microsoft δίπλωσε το AI Frontiers στο Microsoft AI, το πολύ μεγαλύτερο τμήμα προϊόντων που στεγάζει τις προσπάθειες καταναλωτικής και επιχειρηματικής τεχνητής νοημοσύνης της εταιρείας. Στα χαρτιά, παραδέχεται ο Λάνγκφορντ, η κίνηση ήταν λογική: ο συνδυασμός δύο οργανισμών τεχνητής νοημοσύνης συγκεντρώνει την προσπάθεια και ο καθένας είχε πλεονεκτήματα που του έλειπαν.

Στην πράξη, γράφει, η συγχώνευση βασίστηκε στη φιλοσοφία. «Η βασική φιλοσοφία είναι η κλιμάκωση και επιθετικά όχι η έρευνα», λέει ο Λάνγκφορντ για την πρώην ηγεσία της Microsoft AI στο Inflection - μια αναφορά στην ομάδα που εντάχθηκε στη Microsoft από την startup Inflection AI, η οποία τώρα διαμορφώνει την κατεύθυνση του τμήματος υπό την ηγεσία της. Το πλαίσιο των οικονομικών που προκύπτουν είναι αμβλύ: τα μεγαλύτερα μοντέλα παράγουν καλύτερες προβλέψεις και «οι επιστροφές στην κλίμακα είναι πολύ πιο προβλέψιμες από τις επιστροφές στην έρευνα», έτσι ένας οργανισμός που κλιμακώνει πρώτα επικεντρώνεται στην απόκτηση και τη βελτίωση δεδομένων παρά σε νέες μεθόδους.

Αυτή η εστίαση, υποστηρίζει, είναι «ένα πολύ βήμα μακριά» από το θεμελιώδες έργο που έκανε η AI Frontiers – και πέρα ​​από τη φιλοσοφική αναντιστοιχία, λέει ότι το καλωσόρισμα ήταν χλιαρό στην καλύτερη περίπτωση. «Υπήρχαν πολλά στοιχεία ότι απλώς δεν μας ήθελαν πραγματικά», γράφει ο Λάνγκφορντ, αποκαλώντας την κατάσταση «δύσκολη για να βρεθείς». Δεν φείδεται της δικής του άποψης για την αντιστάθμιση, περιγράφοντας την προσέγγιση μόνο κλιμάκωσης ως εσφαλμένης κατεύθυνσης, αν και το πλήρες επιχείρημα εκτείνεται πέρα ​​από το σημείο που αναφέρει ρητά στη δημοσίευση.

Έρευνα εναντίον κλιμάκωσης, πέρα ​​από τη Microsoft

Το δοκίμιο προσγειώνεται εν μέσω μιας ευρύτερης βιομηχανικής συζήτησης σχετικά με το εάν τα συνοριακά εργαστήρια μπορούν να διατηρήσουν τους γνήσιους ερευνητικούς οργανισμούς παράλληλα με τα χρονοδιαγράμματα των προϊόντων. Η Microsoft δεν είναι καθόλου μόνη στην εδραίωση της έρευνας για την τεχνητή νοημοσύνη υπό την ηγεσία με επίκεντρο το προϊόν, αλλά ο λογαριασμός του Λάνγκφορντ είναι ασυνήθιστα συγκεκριμένος σχετικά με τους μηχανισμούς: μια μικρή, παραγωγική ομάδα που δεν δόθηκε ούτε εντολή ούτε καλωσόρισε μετά από μια εταιρική αναδιοργάνωση, με τις συνεισφορές της στην υποδομή να απορροφάται αθόρυβα.

Η συζήτηση στο Hacker News, όπου η ανάρτηση συγκέντρωσε εκατοντάδες σχόλια, επικεντρώθηκε σε μεγάλο βαθμό σε αυτή την ένταση - είτε αυτοψίες όπως αυτή περιγράφουν μια αναπόφευκτη ωρίμανση της έρευνας της εταιρικής τεχνητής νοημοσύνης είτε ένα στρατηγικό σφάλμα στο οποίο τα εργαστήρια ανταλλάσσουν ανθεκτικά μεθοδολογικά πλεονεκτήματα για προβλέψιμα κέρδη κλιμάκωσης. Οι σχολιαστές επισήμαναν επίσης την ειρωνεία ότι το AutoGen, ένα από τα έργα υπογραφής της AI Frontiers, βοήθησε στον καθορισμό της κατηγορίας ενορχήστρωσης πράκτορα που κυριαρχεί πλέον στους οδικούς χάρτες τεχνητής νοημοσύνης των επιχειρήσεων.

Για τη Microsoft, το επεισόδιο είναι μια υποσημείωση φήμης με πρακτικές συνέπειες. Η εταιρεία έχει ποντάρει τη στρατηγική της για την τεχνητή νοημοσύνη στον ρυθμό αποστολής της Microsoft AI και ο Λάνγκφορντ δεν ισχυρίζεται ότι ο συγχωνευμένος οργανισμός θα δημιουργήσει χειρότερα προϊόντα. Η ανησυχία του είναι στενότερη και πιο έντονη: ότι ο αγωγός για νέες ιδέες - οι άνθρωποι, οι υποδομές, η ανοχή σε αναπόδεικτες προσεγγίσεις - είναι ακριβώς αυτό για το οποίο έχει λιγότερο χρήση μια κλιμάκωση, μέχρι τη στιγμή που τη χρειάζεται.

Ούτε η ανάρτηση του Λάνγκφορντ ούτε η αναδιοργάνωση που περιγράφει αλλάζουν αυτό που βλέπουν οι χρήστες σήμερα, αλλά διευκρινίζουν πώς η Microsoft ταξινομεί τώρα τα στοιχήματά της σε τεχνητή νοημοσύνη. Έρευνα που μπορεί να μετατραπεί σε κλίμακα είναι σε? έρευνα που θα μπορούσε να αλλάξει το τι σημαίνει η κλίμακα είναι, στην καλύτερη περίπτωση, υπό δοκιμασία. Όπως το θέτει ο Λάνγκφορντ στον τίτλο της ανάρτησης, αυτό είναι το τέλος του AI Frontiers — και ένα σημείο δεδομένων στη διαμάχη σχετικά με το τι εξυπηρετεί η εταιρική έρευνα τεχνητής νοημοσύνης.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Η επιχείρηση της τεχνητής νοημοσύνης ξαναγράφεται σε πραγματικό χρόνο και οι αποφάσεις που λαμβάνονται μέσα σε εργαστήρια όπως η Microsoft διαμορφώνουν τα εργαλεία που κληρονομούν όλοι οι άλλοι. Ακολουθήστε κάθε εξέλιξη στην [κάλυψη ειδήσεων AI] (https://aibuzzwire.news).

Διαβάστε περισσότερα νέα AI →