Σε μια στιγμή που τα συνοριακά εργαστήρια αγωνίζονται για την κατασκευή μοντέλων τρισεκατομμυρίων παραμέτρων που γεμίζουν κέντρα δεδομένων, ένας προγραμματιστής έχει προχωρήσει εντελώς στην άλλη κατεύθυνση: ένα μοντέλο γλώσσας που απαντά σε ερωτήσεις που ταιριάζει σε μια δισκέτα της δεκαετίας του 1980 και λειτουργεί σε μια CPU αρκετά παλιά ώστε να έχει αποσταλεί μέσα σε μια 486DX.

Το έργο, που ονομάζεται Tiny 2.1, εντοπίστηκε από τον Hackaday και λήφθηκε αυτή την εβδομάδα από το Futurism και το Tom's Hardware. Σύμφωνα με τη σελίδα του έργου GitHub, ολόκληρο το μοντέλο ζυγίζει περίπου 380 KB 8-bit βάρη — αρκετά μικρό ώστε να χωράει άνετα σε μία δισκέτα με μορφοποίηση MS-DOS — και χρειάζεται μόνο 540 KB μνήμης για να τρέξει. Το Tom's Hardware αναφέρει ότι εκφράζει τις απαντήσεις του ακόμη και μέσω του ταπεινού ηχείου του υπολογιστή. Αν σας αρέσουν οι ιστορίες σχετικά με την τεχνητή νοημοσύνη που ξεπερνά τις προσδοκίες μας, οι [τελευταίες εξελίξεις της τεχνητής νοημοσύνης] (https://aibuzzwire.news) καλύπτουν τα πάντα, από την εξαγωγή συμπερασμάτων ακμών έως τα συστήματα συνόρων τρισεκατομμυρίων παραμέτρων.

Ένας μετασχηματιστής ερωτήσεων και απαντήσεων με 367.000 παραμέτρους

Το Tiny 2.1 είναι μια μικρή αρχιτεκτονική μετασχηματιστή με περίπου 367.000 παραμέτρους — ένα κλάσμα του μεγέθους των "ελαφρών" μοντέλων που συνήθως υπολογίζονται σε χαμηλά δισεκατομμύρια. Γράφτηκε σε Turbo C 2.0 και τρέχει σε MS-DOS, το λειτουργικό σύστημα που κυριάρχησε στους προσωπικούς υπολογιστές τη δεκαετία του 1980 και τις αρχές της δεκαετίας του 1990, στοχεύοντας μηχανές τόσο παλιές όσο η Intel 486DX και οι πρώτες γενιές Pentium.

Τα δεδομένα εκπαίδευσής του είναι αντίστοιχα μικροσκοπικά: μόλις 3.500 γεγονότα. Αυτός ο περιορισμός ορίζει την εμπειρία χρήσης του. Σε ένα στιγμιότυπο οθόνης που κοινοποιήθηκε στη σελίδα του έργου, το μοντέλο απαντά σωστά ότι οι φάλαινες είναι θηλαστικά και όχι ψάρια και πιστώνει σωστά στον Alexander Graham Bell την εφεύρεση του τηλεφώνου. Ζητήθηκε να υπολογίσει 17 επί 23, ωστόσο, απαντά "96". Και στην ερώτηση ποιος είναι ο βασιλιάς της Γαλλίας, απαντά με σιγουριά «Ήταν ο Antarce Newton» — με επίπεδο εμπιστοσύνης 100 τοις εκατό.

Μην περιμένετε απόδοση όπως ο Claude

Όπως σημειώνει ευθαρσώς ο Futurism, το μοντέλο «φτιάχνει απαντήσεις σχεδόν όλη την ώρα», επειδή απλά δεν γνωρίζει πολλά για τον κόσμο. Δεν υπάρχει επίπεδο ανάκτησης, χρήση εργαλείων, αναζήτηση στον Ιστό — απλώς ένα συμπαγές νευρωνικό δίκτυο και όποια μοτίβα απορρόφησε από το σετ εκπαίδευσης 3.500 γεγονότων.

Αυτό που κάνει το έργο αξιοσημείωτο είναι λιγότερο αυτό που μπορεί να κάνει το μοντέλο παρά αυτό που δείχνει η ύπαρξή του. Το σύγχρονο συμπέρασμα LLM σχετίζεται με gigabyte μνήμης, επιτάχυνση GPU και κιλοβάτ ισχύος. Αντίθετα, το Tiny 2.1 αποδεικνύει την ιδέα ότι ένας μετασχηματιστής μπορεί να παράγει δομημένη αλληλεπίδραση ερωτήσεων και απαντήσεων σε υλικό, χωρίς μονάδα κινητής υποδιαστολής να μιλάμε, χωρίς απαιτήσεις σκληρού δίσκου πέρα ​​από μια δισκέτα και μια διαδρομή εξόδου ήχου τόσο πρωτόγονη όσο ένα ηχείο μητρικής πλακέτας.

AI κατασκευασμένο με AI

Υπάρχει επίσης μια μετατροπή. Σύμφωνα με τη σελίδα του έργου, ο προγραμματιστής δεν έγραψε κάθε γραμμή με το χέρι: χρησιμοποίησε το Anthropic's Fable 5.2 για να βοηθήσει στη σύνταξη του κώδικα του μοντέλου και το Opus 5.5 για να υποστηρίξει τη διαδικασία εκπαίδευσης. Με άλλα λόγια, ένα μοντέλο αρκετά μικρό για να χωράει σε μια δισκέτα δημιουργήθηκε και εκπαιδεύτηκε με τη βοήθεια συστημάτων τεχνητής νοημοσύνης συνοριακής κλίμακας - ένας μικροσκοπικός απόγονος πολύ μεγάλων γονέων.

Αυτή η ροή εργασίας αντικατοπτρίζει μια ευρύτερη τάση στη μηχανική τεχνητής νοημοσύνης, όπου τα μεγάλα μοντέλα δημιουργούν, διορθώνουν και βελτιστοποιούν όλο και περισσότερο τα συστήματα που λειτουργούν σε πολύ μικρότερο υλικό. Το ίδιο μοτίβο εμφανίζεται στις σύγχρονες αλυσίδες εργαλείων edge-AI, όπου τα μοντέλα κλίμακας cloud συμβάλλουν στη συμπίεση και την κβαντοποίηση δικτύων για τηλέφωνα, μικροελεγκτές και ενσωματωμένες συσκευές.

Γιατί τα μικροσκοπικά μοντέλα έχουν σημασία

Το Tiny 2.1 δεν θα απειλήσει κανένα εμπορικό chatbot. Ωστόσο, έργα σαν αυτό χρησιμεύουν ως χρήσιμη υπενθύμιση για το πόσο μακριά έχει φτάσει η συμπίεση του μοντέλου - και πόσο bloat είναι επιλογή και όχι ανάγκη. Οι λάτρεις των ρετρό υπολογιστών έχουν αφιερώσει χρόνια αποδεικνύοντας ότι το hardware δεκαετιών παραμένει ικανό για εκπληκτική δουλειά, από Amiga με δυνατότητα προγράμματος περιήγησης έως δικτυωμένες μηχανές 8-bit. Ένα γλωσσικό μοντέλο που ενώνει αυτή τη γενεαλογία είναι ένα πρώτο και παιχνιδιάρικο.

Οι μηχανικοί περιορισμοί που διαμόρφωσαν το Tiny 2.1 είναι επίσης μια ραγδαία πορεία στην απόδοση. Μια μορφή βάρους 8 bit, ένα λεξιλόγιο και μια αρχιτεκτονική ανάλογα με το μέγεθος της εργασίας και μια διαδρομή εξόδου σχεδιασμένη γύρω από περιορισμούς υλικού συνθέτουν ένα σύστημα όπου υπολογίζεται κάθε kilobyte. Σε αντίθεση με τις κύριες εφαρμογές, όπου η κβαντοποίηση, το κλάδεμα και η απόσταξη είναι αναδρομικές διορθώσεις που εφαρμόζονται σε μοντέλα που έχουν κατασκευαστεί σε πολύ μεγαλύτερη κλίμακα — και όπου μια μεμονωμένη συνεδρία συνομιλίας μπορεί να καταναλώσει περισσότερη μνήμη από ό,τι χρειάζεται ολόκληρος ο χρόνος εκτέλεσης του Tiny 2.1, συμπεριλαμβανομένων των βαρών.

Προσγειώνεται επίσης σε μια εποχή πραγματικού περιβαλλοντικού ελέγχου γύρω από την όρεξη ισχύος της τεχνητής νοημοσύνης, με τους ερευνητές και τις ρυθμιστικές αρχές να επικεντρώνονται όλο και περισσότερο στο ενεργειακό κόστος της μεγάλης κλίμακας εκπαίδευσης και εξαγωγής συμπερασμάτων, και μάχες για την τοποθεσία των κέντρων δεδομένων που παίζονται σε όλες τις Ηνωμένες Πολιτείες. Ένα μοντέλο που λειτουργεί με μνήμη 540 KB και τροφοδοτικό της δεκαετίας του 1980 δεν είναι λύση σε αυτό το πρόβλημα — αλλά είναι μια ζωντανή απεικόνιση του άλλου άκρου του φάσματος: συμπέρασμα με αποτύπωμα μετρημένο σε watt, όχι μεγαβάτ. Οι αναγνώστες που παρακολουθούν πόσο εκτείνεται το πεδίο, από δισκέτες έως πανεπιστημιουπόλεις γιγαβάτ, μπορούν να βρουν και τα δύο άκρα στις [έκτακτες ειδήσεις AI] (https://aibuzzwire.news).

Προς το παρόν, ο κατασκευαστής του Tiny 2.1 μπορεί να διεκδικήσει ένα πραγματικά σπάνιο επίτευγμα: ένα νευρωνικό δίκτυο που μπορείτε να εγκαταστήσετε από το ίδιο μέσο που θα χρησιμοποιούσατε για να αποθηκεύσετε ένα έγγραφο επεξεργαστή κειμένου, σε ένα μηχάνημα που προϋπήρχε του Ιστού. Έχει διαρκώς παραισθήσεις, παραθέτει λανθασμένα την ταυτότητα των γαλλικών δικαιωμάτων με απόλυτη σιγουριά και δεν μπορεί να πολλαπλασιάσει αξιόπιστα διψήφιους αριθμούς. Εκτελείται επίσης, εξ ολοκλήρου, σε δισκέτα.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Από τα μοντέλα δισκέτας μέχρι τα συνοριακά εργαστήρια, τα παρακολουθούμε όλα. Διαβάστε περισσότερα νέα AI →