Ένα ερευνητικό εργαστήριο δύο ατόμων εκπαίδευσε ένα μοντέλο κειμένου σε εικόνα για περίπου 21.000$ — και το κυκλοφόρησε με μια πλήρως επιτρεπτή άδεια. Η Linum, η οποία ιδρύθηκε από τους συν-CEOs Sahil Chopra και Manu Chopra, δημοσίευσε τα αποτελέσματα στις 4 Νοεμβρίου σε μια δημοσίευση τεχνικών σημειώσεων, περιγράφοντας λεπτομερώς ένα μοντέλο Pixel-JiT (P-JiT) 2 δισεκατομμυρίων παραμέτρων εκπαιδευμένο σε 660 εκατομμύρια δείγματα ως απόδειξη της ιδέας στο δρόμο προς μεγαλύτερα μοντέλα βίντεο. Τόσο ο κωδικός μοντέλου όσο και τα βάρη είναι διαθέσιμα στο Apache 2.0, μια άδεια που επιτρέπει την εμπορική χρήση χωρίς περιορισμούς. Είναι ένα εντυπωσιακό σημείο δεδομένων στη συζήτηση σχετικά με το πόσο κοστίζει πραγματικά η έρευνα τεχνητής νοημοσύνης αιχμής, ένα θέμα που παρακολουθούμε στην [ερευνητική κάλυψη AI] (https://aibuzzwire.news).

Γιατί να παραλείψετε το VAE;

Οι περισσότεροι σύγχρονοι αγωγοί δημιουργίας εικόνων συμπιέζουν εικόνες χρησιμοποιώντας έναν ξεχωριστό μεταβλητό αυτόματο κωδικοποιητή (VAE): το VAE συμπιέζει μια εικόνα σε έναν συμπαγή λανθάνοντα χώρο και ένα μοντέλο διάχυσης δημιουργεί μέσα σε αυτόν τον συμπιεσμένο χώρο. Η ομάδα του Linum υποστηρίζει ότι αυτός ο καταμερισμός της εργασίας έχει φτάσει στο ανώτατο όριο. Στην έγγραφή τους, σημειώνουν ότι τα VAE "φαίνεται να έχουν ένα εμπειρικό ανώτατο όριο για την ποσότητα συμπίεσης που μπορούν να επιτύχουν", ότι η περαιτέρω ώθηση της συμπίεσης απαιτεί ουσιαστική χειρουργική επέμβαση στην παραδοσιακή αρχιτεκτονική και ότι η βελτίωση της ανακατασκευής ενός VAE μπορεί πραγματικά να επιδεινώσει τις γενιές του μοντέλου διάχυσης κατάντη.

Η απάντησή τους είναι να καταργηθεί εντελώς η VAE. Το P-JiT είναι ένα μοντέλο χώρου εικονοστοιχείων — το μοντέλο διάχυσης λειτουργεί απευθείας σε εικονοστοιχεία και μαθαίνει μια λανθάνουσα ειδικά σχεδιασμένη περίπτωση για δική του χρήση, συμπίεση και δημιουργία ταυτόχρονα. Το στοίχημα είναι ότι ένα μεμονωμένο μοντέλο που έχει εκπαιδευτεί από άκρο σε άκρο μπορεί να αποσπάσει περισσότερα από τον ίδιο υπολογισμό παρά ένα hand-off μεταξύ δύο εξειδικευμένων δικτύων.

Η τεχνική πληρωμή

Το όνομα της αρχιτεκτονικής αναφέρεται στην πυραμιδοειδή μορφή της. Όπου τα περισσότερα τρέχοντα μοντέλα — το Linum αναφέρει το FLUX-2 ως τυπικό παράδειγμα — χρησιμοποιούν μείωση διακριτικού 16×16, το P-JiT επιτυγχάνει μείωση διακριτικού 32×32, που αντιπροσωπεύει μια εικόνα 512×512 στον προϋπολογισμό διακριτικού που απαιτούνταν προηγουμένως για μια εικόνα 256×256. Αυτό μεταφράζεται σε 4× μείωση του παραθύρου περιβάλλοντος προσοχής και η προσοχή είναι ακριβώς το O(n²) σημείο συμφόρησης που καθιστά ακριβή τόσο την εκπαίδευση όσο και την εξαγωγή συμπερασμάτων για το δημιουργικό βίντεο.

Τα αποτελέσματα, από τις μετρήσεις της ίδιας της ομάδας: Το P-JiT συγκλίνει σε 11× λιγότερα δείγματα από το Linum v2, το προηγούμενο μοντέλο του εργαστηρίου που βασίστηκε στην πιο τυπική συνταγή διάχυσης Wan VAE συν DiT. Η διαδρομή των 21.000 δολαρίων - 660 εκατομμύρια δείγματα εκπαίδευσης - παρήγαγε ένα μοντέλο που η ομάδα περιγράφει ως εκπληκτικά ικανό δεδομένου του μεγέθους του.

Τι αγοράζει 21.000 $

Η κυκλοφορία περιλαμβάνει 249 δείγματα εικόνων με τις προτροπές τους, που καλύπτουν άτομα (57), ζώα (42), κτίρια (20), προϊόντα (43), τοπία (19) και στυλιζαρισμένες αποδόσεις (68). Η ομάδα είναι ειλικρινής σχετικά με την τοποθέτηση: αυτή είναι μια «πειραματική απελευθέρωση» και ένα «σκαλοπάτι» προς τον πραγματικό της στόχο, ένα μοντέλο βίντεο. Τα δείγματα αποδεικνύουν ότι η αρχιτεκτονική εκπαιδεύεται σταθερά και παράγει συνεκτικές εικόνες σε ένα κλάσμα των συμβατικών προϋπολογισμών εκπαίδευσης, όχι ότι ταιριάζει με μοντέλα εικόνας αιχμής ως προς την ποιότητα.

Η εγγραφή είναι επίσης αξιοσημείωτη για τον τρόπο με τον οποίο η ομάδα καταγράφει τους τρόπους αποτυχίας παράλληλα με τα αποτελέσματα. Απαριθμούν τους περιορισμούς του μοντέλου τους απευθείας στην ανάρτηση των σημειώσεων πεδίου αντί να τους θάψουν, μια ολοένα και πιο κοινή πρακτική μεταξύ μικρότερων εργαστηρίων των οποίων η φήμη εξαρτάται από την αξιοπιστία και όχι από τους προϋπολογισμούς μάρκετινγκ. Η ανάρτηση είναι η τέταρτη καταχώριση στη σειρά "Road to Linum v3" της ομάδας, βασισμένη σε μια προηγούμενη επανάληψη όπου περιγράφηκε για πρώτη φορά η αρχιτεκτονική P-JiT - ένα τρέχον τεχνικό αρχείο που επιτρέπει σε εξωτερικούς ερευνητές να ακολουθούν κάθε απόφαση σχεδιασμού, συμπεριλαμβανομένων αυτών που δεν λειτούργησαν.

Για το πλαίσιο σχετικά με το ποσό του κόστους: Τα 21.000 $ του Linum κάλυψαν τον υπολογισμό για μια περίοδο εκπαίδευσης 660 εκατομμυρίων δειγμάτων του μοντέλου παραμέτρων 2B. Αυτό δεν είναι άμεσα συγκρίσιμο με τους προϋπολογισμούς των εργαστηρίων συνόρων, οι οποίοι καλύπτουν την απόκτηση δεδομένων, τη στελέχωση και τον πειραματισμό σε πολλές ματαιωθείσες δοκιμές. Αυτό που καθιερώνει είναι το οριακό κόστος μιας επιτυχημένης, ανοιχτά τεκμηριωμένης πορείας εκπαίδευσης — ένας αριθμός μεμονωμένων ερευνητών και πανεπιστημιακών εργαστηρίων μπορούν τώρα να σχεδιάσουν ρεαλιστικά.

Η δεδηλωμένη φιλοδοξία του Linum είναι δημιουργικά εργαλεία που εκδημοκρατίζουν την πρόσβαση σε κινούμενα σχέδια. Η κριτική της ομάδας για το σημερινό δημιουργικό βίντεο είναι ότι είναι πολύ αργό και ακριβό και ότι δεν διαθέτει λεπτομερή χειριστήρια — ένας συνδυασμός που υποστηρίζουν το καθιστά "πρακτικά άχρηστο για αφήγηση", καθώς η δημιουργική εργασία είναι εγγενώς επαναλαμβανόμενη: φτιάχνεις, τροποποιείς, γίνεσαι καλύτερος. Η φθηνότερη εκπαίδευση και η ταχύτερη εξαγωγή συμπερασμάτων είναι, στο πλαίσιο τους, η προϋπόθεση για τη δημιουργία βίντεο που ταιριάζει πραγματικά σε μια ροή εργασιών επεξεργασίας.

Μικρά εργαστήρια, μεγάλα σήματα

Τα οικονομικά στοιχεία που εμφανίζονται εδώ έχουν σημασία πέρα από μία εκκίνηση. Οι προπονήσεις που κάποτε καθόριζαν τα σύνορα του γηπέδου —μετρούμενοι σε εκατομμύρια δολάρια— αντιστοιχίζονται τώρα, σε στενούς τομείς, από ομάδες των δύο ατόμων που ξοδεύουν λιγότερο από τον ετήσιο μισθό ενός τυπικού ανώτερου μηχανικού. Οι εκδόσεις ανοιχτού βάρους σε αυτήν την κλίμακα δίνουν σε ανεξάρτητους ερευνητές τη δυνατότητα να ελέγχουν, να τελειοποιούν και να βασίζονται σε αρχιτεκτονικές ποιότητας παραγωγής χωρίς θεσμική υποστήριξη.

Οι επιφυλάξεις είναι δίκαια να αναφερθούν: ένα μοντέλο κειμένου σε εικόνα 2Β απέχει πολύ από τα όρια της ποιότητας της εικόνας και οι ισχυρισμοί σύγκλισης του Linum αναφέρονται μόνοι τους και όχι ανεξάρτητα συγκριτικά στοιχεία. Αλλά η έκδοση είναι πλήρως αναπαραγώγιμη - κωδικός και βάρη στο Apache 2.0 - πράγμα που σημαίνει ότι οποιοσδήποτε δύσπιστος μπορεί να μετρήσει απευθείας τους ισχυρισμούς. Αυτό, περισσότερο από οποιοδήποτε μεμονωμένο σημείο αναφοράς, είναι που κάνει τις εκδόσεις σε μικρά εργαστήρια να αξίζει να παρακολουθήσετε: η απόδειξη μπορεί να γίνει λήψη.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Η έρευνα που κάποτε απαιτούσε ένα εταιρικό εργαστήριο τώρα χωράει σε πιστωτική κάρτα. Παρακολουθήστε κάθε σημαντική ανακάλυψη στις [ειδήσεις έρευνας AI] (https://aibuzzwire.news).

Διαβάστε περισσότερα νέα AI →