Η εταιρεία συγκριτικής αξιολόγησης Artificial Analysis κυκλοφόρησε την έκδοση 5 του Intelligence Index της, χαρακτηρίζοντάς τη τη μεγαλύτερη αναβάθμιση στην κατάταξη σύνθετων μοντέλων της από την έκδοση 4 που έκανε το ντεμπούτο της τον Ιανουάριο. Η αλλαγή της επικεφαλίδας: για πρώτη φορά, το 60 τοις εκατό του Δείκτη βασίζεται σε αξιολογήσεις με ιδιωτικά σετ δοκιμών ή απαντήσεις που μένουν εκτός — μια άμεση απάντηση στα προβλήματα μόλυνσης των σημείων αναφοράς που έχουν διαβρώσει την εμπιστοσύνη στους δημόσιους πίνακες κατάταξης.

Ο ανασχηματισμός φτάνει με ξεκάθαρη ετυμηγορία στην κορυφή. Ο Claude Opus 5.5 (max) οδηγεί τον δείκτη v5 στο 58, μπροστά από το GPT-6 Astra (μέγιστο) στο 57 και το GPT-6.1 Sol (max) στο 55. Το Anthropic και το OpenAI μαζί κατέχουν τις πέντε πρώτες θέσεις, με το Gemini 4 Argon (υψηλό) της Google να ακολουθεί στο 50. For more context on this story, see our ongoing breaking AI news.

Τι άλλαξε στο v5

Ο δείκτης v5 είναι οργανωμένος σε τέσσερις εξίσου σταθμισμένες κατηγορίες — Εργασία γνώσης, Κωδικοποίηση, Επιστήμη και Γενικά — η καθεμία αξίας 25 τοις εκατό. Δύο σημεία αναφοράς είναι εντελώς νέα και τρία έλαβαν σημαντικές αναβαθμίσεις:

  • FrontierCode 2.0 (νέο). Το ιδιωτικό σημείο αναφοράς του Cognition με 132 εργασίες κωδικοποίησης πραγματικού κόσμου σε αποθετήρια ανοιχτού κώδικα, βαθμολογημένα ανάλογα με το αν ένας συντηρητής αποθετηρίου θα συγχωνεύσει πραγματικά την αλλαγή του πράκτορα. Οι εργασίες παραμένουν ιδιωτικές για να αποφευχθεί η μόλυνση και το Artificial Analysis εκτελεί κάθε εργασία τρεις φορές στην πλεξούδα πράκτορα Stirrup.
  • Terminal-Bench-Science (νέο). Εβδομήντα εργασίες επιστημονικής έρευνας με πράκτορες που εκτελούνται σε περιβάλλον τερματικού, όπου μια εργασία περνάει μόνο εάν περάσει κάθε δοκιμή της.
  • HLE-Diamond (αναβαθμισμένο). Μια εκλεπτυσμένη έκδοση 1.000 ερωτήσεων του Humanity's Last Exam από το Centre for AI Safety and Scale AI, χωρισμένη ομοιόμορφα μεταξύ ερωτήσεων συλλογισμού και γνώσεων, αντικαθιστώντας το αρχικό HLE.
  • AA-Omniscience v1.1 (αναβαθμισμένη). Καταργήθηκε ένα καθαρό σύνολο δεδομένων γνώσεων και παραισθήσεων με κορεσμένες και δημόσιες ερωτήσεις.
  • Σκληρό υποσύνολο CritPt v2 (αναβαθμισμένο). Ένα ιδιωτικό σκληρό υποσύνολο 40 ερωτήσεων του σημείου αναφοράς φυσικής σε επίπεδο έρευνας, το οποίο αναθεωρήθηκε από τους συγγραφείς του και εκτελείται με εκτέλεση κώδικα.

Έφυγε από το Ευρετήριο: GDPval-AA v2.1, SciCode και AA-LCR v1.1. Η Artificial Analysis κυκλοφόρησε επίσης ένα συνοδευτικό Progress Index v1, το οποίο παρακολουθεί την ικανότητα του μοντέλου με την πάροδο του χρόνου σε μια ενιαία συνεχή κλίμακα.

Ο Claude Opus 5.5 παίρνει το γενικό προβάδισμα

Το Claude Opus 5.5 (max) προηγείται σε τρεις από τις εννέα επιμέρους αξιολογήσεις: FrontierCode 2.0 στο 46 τοις εκατό, HLE-Diamond στο 68 τοις εκατό και AA-Omniscience v1.1 στο 48. Κανένα μοντέλο δεν προηγείται σε όλα — άλλα πέντε μοντέλα ξεπερνούν τα υπόλοιπα έξι σημεία αναφοράς.

Το GPT-6 Astra (μέγιστο) προηγείται στο Terminal-Bench-Science με 63 τοις εκατό και το σκληρό υποσύνολο CritPt v2 με 72 τοις εκατό, επιβεβαιώνοντας τη δύναμη του OpenAI στην επιστημονική εργασία μεγάλου ορίζοντα. Ο Claude Sonnet 5.5 βρίσκεται στην κορυφή του AA-Briefcase στο 1812 Elo, το Kimi's K3.1 Pro προηγείται στο Terminal-Bench 4.0 με 67 τοις εκατό, το Gemini 4 Argon προηγείται στο AutomationBench-AA με 78 τοις εκατό και το Muse Wonder Full προηγείται στο GDP.pdf με 33 τοις εκατό all-pass

Τα αποτελέσματα HLE-Diamond περιέχουν μια χαρακτηριστική λεπτομέρεια: τα κορυφαία μοντέλα έχουν πολύ καλύτερη βαθμολογία στη λογική παρά στη γνώση. Το Claude Opus 5.5 και το GPT-6 Astra σημείωσαν και τα δύο 78 τοις εκατό σε ερωτήσεις συλλογισμού, αλλά πέφτουν στο 58 και 50 τοις εκατό αντίστοιχα στη γνώση - απόδειξη ότι ακόμη και τα συνοριακά συστήματα εξακολουθούν να έχουν παραισθήσεις ή να στερούνται γεγονότων συχνότερα από ό,τι υποδηλώνουν οι βαθμολογίες συλλογισμού τους.

Το Open-Weights Gap Triples

Το πιο απογοητευτικό εύρημα για το οικοσύστημα ανοιχτών βαρών: η διαφορά μεταξύ του καλύτερου ανοιχτού μοντέλου και του γενικού ηγέτη τριπλασιάστηκε, διευρύνοντας από 3 βαθμούς στο v4.3 σε 12 βαθμούς στο v5.

Το K3.1 Pro της Kimi είναι το κορυφαίο μοντέλο με ανοιχτά βάρη στα 46 — αλλά τα βάρη του δεν έχουν ακόμη κυκλοφορήσει. Μεταξύ των μοντέλων με απελευθερωμένα βάρη, το V4.1 Flash 1017 (μέγιστο) του DeepSeek και το GLM-5.3 (μέγιστο) του Z.ai προηγούνται στις 32, 26 πόντους πίσω από τον Claude Opus 5.5 και κάτω από τον Claude Haiku 5.5 (μέγιστο) στις 36.

Το χάσμα είναι μεγαλύτερο στα πιο σκληρά πρακτορεία αναφοράς. Στο HLE-Diamond, το Kimi K3.1 Pro σημειώνει 37 τοις εκατό έναντι του 68 τοις εκατό του Opus 5.5. στο Terminal-Bench-Science, 34 τοις εκατό έναντι 63 τοις εκατό του GPT-6 Astra. Τα περισσότερα μοντέλα ανοικτών βαρών με συγκριτική αξιολόγηση σκοράρουν κάτω από 10 τοις εκατό στο επιστημονικό σημείο αναφοράς.

Η τιμή ανά εργασία ποικίλλει δεκατρία φορές

Το κόστος παραμένει μια καθοριστική μεταβλητή. Μεταξύ των δέκα μοντέλων με τις υψηλότερες βαθμολογίες, το GPT-6.1 Terra (μέγιστο) είναι το φθηνότερο με 0,96 $ ανά εργασία δείκτη ευφυΐας, ενώ το Claude Fable 5.1 (μέγιστο) είναι το πιο ακριβό με 13,04 $ — μια διαφορά μεγαλύτερη από 13 φορές.

Η ιστορία αποτελεσματικότητας είναι αναμφισβήτητα η πιο πρακτική λύση του v5: το GPT-6.1 Sol (μέγιστο) σκοράρει εντός 4 πόντων από τον Claude Opus 5.5 ενώ κοστίζει περίπου το ένα όγδοο ανά εργασία, στα 1,27 $ έναντι των 10,04 $ της Opus. Το GPT-6 Astra (μέγιστο) βρίσκεται μεταξύ τους στα 6,24 $.

Γιατί έχουν σημασία τα ιδιωτικά σημεία αναφοράς

Η στροφή προς τα ιδιωτικά σύνολα αξιολόγησης αντικατοπτρίζει ένα πρόβλημα σε ολόκληρο τον κλάδο: τα δημόσια σημεία αναφοράς διαρρέουν σε δεδομένα εκπαίδευσης και κορεστούν, καθιστώντας αδύνατη την εμπιστοσύνη των κερδών του leaderboard. Με το FrontierCode 2.0, οι εργασίες βαθμολογούνται ανάλογα με το εάν ένας συντηρητής θα συγχωνεύσει την αλλαγή — με μηδενική βαθμολογία αποτυχίας ελέγχου αποκλεισμού — και η λίστα εργασιών παραμένει ιδιωτική.

Αυτό καθιστά το v5 ένα από τα πιο δύσκολα σημεία αναφοράς για το παιχνίδι και η ετυμηγορία του έχει βάρος: τα σύνορα ηγούνται από τους Anthropic και OpenAI, οι ρυθμίσεις προσπάθειας έχουν μεγαλύτερη σημασία από ποτέ και τα μοντέλα ανοιχτού βάρους έχουν σοβαρό έδαφος για να ανακτήσουν τις αντιπροσωπευτικές εργασίες που καθορίζουν όλο και περισσότερο την πραγματική εργασία τεχνητής νοημοσύνης.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →