Ένα σημείο αναφοράς που ζητά από τα μεγάλα γλωσσικά μοντέλα να γράφουν ανταγωνιστικά ρομπότ StarCraft σε μία ώρα έχει αποδώσει τα πιο λεπτομερή αποτελέσματά του και η ετυμηγορία είναι διχασμένη: το GPT-6 Astra του OpenAI κυριαρχεί στον τομέα της τεχνητής νοημοσύνης, αλλά τα ισχυρότερα ρομπότ που έχουν γραφτεί από τον άνθρωπο εξακολουθούν να κερδίζουν το καλύτερο μοντέλο στο 93% των περιπτώσεων.
Το StarSkirmish Bench v0.2, που κυκλοφόρησε στις 15 Οκτωβρίου από τον προγραμματιστή Kai McPheeters, αξιολογεί πόσο ισχυρό μπορεί να παράγει ένα ρομπότ StarCraft: Brood War κάθε LLM δεδομένης μιας ώρας ρολογιού τοίχου. Κάθε μοντέλο γράφει ένα Protoss bot σε C++, το οποίο στη συνέχεια παίζεται ενάντια σε bot γραμμένα από ανταγωνιστικά μοντέλα και ενάντια σε καθιερωμένους ανταγωνιστές που έχουν γραφτεί από τον άνθρωπο. Το τεστ έχει σχεδιαστεί για να διερευνά τη συλλογιστική μακροπρόθεσμης ορίζοντα και την αντιπροσωπευτική κωδικοποίηση, καθώς τα μοντέλα πρέπει να ενσωματώνουν μαθήματα από παιχνίδια εξάσκησης για να βελτιώσουν τις δημιουργίες τους. For more context on this story, see our ongoing breaking AI news.
Πώς λειτουργεί το σημείο αναφοράς
Οι κανόνες είναι σκόπιμα απλοί. Μία ώρα, μία γλώσσα, μία κούρσα. Η βαθμολογία κάθε μοντέλου είναι το μέσο ποσοστό νίκης σε πέντε σειρές έναντι ενός ρόστερ ανταγωνιστικών ρομπότ και επίδειξης που έχουν γραφτεί από τον άνθρωπο. Η έκδοση 0.2 πρόσθεσε μια ανατροπή: κάθε μοντέλο ναυαρχίδα τρέχει μέσα στην πλεξούδα κωδικοποίησης CLI πρώτου κατασκευαστή του δικού του εργαστηρίου, δοκιμάζοντας την πλήρη στοίβα αντιπροσώπων και όχι έναν βρόχο API που έχει αφαιρεθεί.
Υπάρχει μια ασυμμετρία, την οποία ο συγγραφέας του σημείου αναφοράς σημειώνει εκ των προτέρων: το Gemini 4 Argon τρέχει στο "υψηλό" - η υψηλότερη συλλογιστική προσπάθεια που έχει στη διάθεσή του - ενώ κάθε άλλο μοντέλο λειτουργεί στο μέγιστο.
Το GPT-6 Astra οδηγεί, το GPT-6.1 Sol κερδίζει στην αξία
Τα αποτελέσματα τοποθετούν το GPT-6 Astra στην κορυφή του βαθμολογικού πίνακα, το οποίο η εγγραφή περιγράφει ως ένα σαφές βήμα μπροστά από το GPT-6.1 Sol στη δεύτερη θέση. Το περιθώριο είναι σημαντικό για τους παρατηρητές συγκριτικής αξιολόγησης: στις περισσότερες σουίτες κωδικοποίησης αντιπροσώπων, τα μοντέλα ναυαρχίδα συγκεντρώνονται σε λίγα σημεία το ένα από το άλλο, επομένως ένας πίνακας κατάταξης που χωρίζει το πεδίο σε διακριτές βαθμίδες κάνει περισσότερη διαγνωστική εργασία από μια γεμάτη πρώτη δεκάδα. Το Gemini 4 Argon, το Claude Opus 5.5 και το Claude Fable 5.1 είναι λειτουργικά συνδεδεμένα πίσω από τα δύο μοντέλα OpenAI, όλα με βαθμολογία μεταξύ 37 και 39. Το Muse Wonder Full της Meta κατέλαβε την έβδομη θέση.
Η ανάλυση κόστους μπορεί να είναι το πιο εντυπωσιακό εύρημα. Σχεδιασμένο σε σχέση με το μέσο κόστος API μιας ώρας διαδρομής, το GPT-6.1 Sol βρίσκεται μόνο του στο πιο ελκυστικό τεταρτημόριο: τη δεύτερη θέση με λίγο περισσότερο από το ένα δέκατο του κόστους ανά διαδρομή του GPT-6 Astra. Για τις ομάδες που σταθμίζουν την απόδοση των πρακτόρων σε σχέση με τον προϋπολογισμό, το χάσμα μεταξύ των δύο μοντέλων OpenAI είναι ο πρακτικός τίτλος.
Τα ανθρώπινα ρομπότ παραμένουν πολύ μπροστά
Εναντίον των ισχυρότερων ρομπότ που έχουν γραφτεί από τον άνθρωπο — Stardust, PurpleWave και BananaBrain — το GPT-6 Astra κερδίζει μόνο το 7% των παιχνιδιών του. Ο συγγραφέας του σημείου αναφοράς σημειώνει ότι το όριο συλλογιστικής μιας ώρας είναι ένας παράγοντας και ότι οι συνθήκες τουρνουά για πραγματικά ρομπότ που έχουν γραφτεί από τον άνθρωπο είναι σημαντικά δυσκολότερες από τους τρεις χάρτες δύο παικτών που χρησιμοποιούνται στην αξιολόγηση.
Ωστόσο, το κενό είναι μια χρήσιμη διόρθωση στις αφηγήσεις επικείμενης κυριαρχίας της τεχνητής νοημοσύνης στο λογισμικό: σε μια εργασία με ξεκάθαρες συνθήκες νίκης, βαθιά στρατηγική και μακροχρόνιους ορίζοντες προγραμματισμού, οι δεκαετίες κοινοτικής μηχανικής εξακολουθούν να βρίσκονται πολύ πάνω από αυτό που μπορεί να παράγει μια ώρα κωδικοποίησης μοντέλων συνόρων.
Το StarCraft έχει χρησιμεύσει εδώ και καιρό ως αποδεικτικό έδαφος για την τεχνητή νοημοσύνη που παίζει παιχνίδι ακριβώς επειδή αντιστέκεται στην ωμή βία. Η στρατηγική σε πραγματικό χρόνο απαιτεί ταυτόχρονη διαχείριση της οικονομίας, του scouting και της μάχης υπό μερική πληροφόρηση και η κοινότητα Brood War διατηρεί ανταγωνιστικά τουρνουά bot εδώ και χρόνια. Αυτό το συσσωρευμένο οικοσύστημα είναι αυτό που κάνει την ανθρώπινη βάση αναφοράς του σημείου αναφοράς να έχει νόημα – το Stardust, το PurpleWave και το BananaBrain δεν είναι περιστασιακοί αντίπαλοι, αλλά εκλεπτυσμένα προγράμματα που σκληραίνουν τα τουρνουά.
Νέες ναυαρχίδες μπαίνουν στη μάχη
Η έκδοση 0.2 χρησίμευσε επίσης ως πρώιμος πίνακας αποτελεσμάτων για μοντέλα που κυκλοφόρησαν πρόσφατα. Το Gemini 4 Argon της Google αντικατέστησε το Gemini 3.8 Flash του v0.1 και κατέλαβε την τρίτη θέση στο ντεμπούτο, ενώ το Muse Wonder Full της Meta παρενέβη για το Muse Spark 1.3 και τερμάτισε έβδομο. Το GPT-6 Astra και το Claude Opus 5.5 μεταφέρθηκαν από την κάλυψη της προηγούμενης έκδοσης.
Το σημείο αναφοράς καταγράφει ένα ίχνος πράκτορα για κάθε εκτέλεση, καταγράφοντας πώς ξόδεψε κάθε μοντέλο την ώρα του — ένα σύνολο δεδομένων που μετατρέπει τον πίνακα κατάταξης σε μια μελέτη συμπεριφοράς του τρόπου με τον οποίο τα διαφορετικά μοντέλα εργαστηρίων προϋπολογίζουν χρόνο μεταξύ προγραμματισμού, κωδικοποίησης και δοκιμών αναπαραγωγής. Είτε ένα μοντέλο φορτώνει εκ των προτέρων αποφάσεις αρχιτεκτονικής είτε επαναλαμβάνει γρήγορα μέσω buggy drafts είναι ακριβώς το είδος της λεπτομέρειας της διαδικασίας που κρύβουν οι συγκεντρωτικές βαθμολογίες και εκεί τείνουν να εμφανίζονται οι πιο ενδιαφέρουσες διαφορές μεταξύ εργαστηρίων.
Γιατί έχει σημασία
Τα κριτήρια αξιολόγησης της αντιπροσωπευτικής κωδικοποίησης κορεστούν γρήγορα, με τα βασικά μοντέλα να συγκεντρώνονται κοντά στην κορυφή πολλών σουιτών μηχανικής λογισμικού. Το StarSkirmish προσφέρει μια εναλλακτική λύση: ένα περιβάλλον όπου το ανώτατο όριο ορίζεται από ειδικούς ανθρώπους, η πρόοδος μετριέται σε ποσοστά κέρδους και όχι σε ποσοστιαίες μονάδες επίλυσης εισιτηρίων και ο ωριαίος προϋπολογισμός αντικατοπτρίζει τους πραγματικούς περιορισμούς στην εργασία των πρακτόρων.
Τα αποτελέσματα χτύπησαν τη χορδή με τους προγραμματιστές. Η ανάρτηση Show HN συγκέντρωσε περισσότερες από 200 θετικές ψήφους, με τους σχολιαστές να σκάβουν τα ίχνη του πράκτορα και την πλοκή οικονομικής απόδοσης. Οι συζητήσεις συγκριτικής αξιολόγησης σχετικά με τα Hacker News τείνουν να χωρίζονται μεταξύ μεθοδολογικών συνθηκών και καυτών δυνατοτήτων. Αυτό το σχεδίασε και τα δύο, με την ασυμμετρία συλλογιστικής-προσπάθειας και το μέγεθος του δείγματος πέντε εκτελέσεων μεταξύ των πιο ελεγμένων σχεδιαστικών επιλογών. Καθώς τα επίπεδα συλλογιστικής προσπάθειας αυξάνονται και οι πλεξούδες βελτιώνονται, ο συγγραφέας του σημείου αναφοράς σχεδιάζει συνεχείς επαναλήψεις — και προς το παρόν, η ανθρώπινη κοινότητα ρομπότ StarCraft διατηρεί το άνετο προβάδισμά της.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
