Το δωρεάν Flash DeepSeek V4.1 ταιριάζει σχεδόν με το περιορισμένο GPT-6 Sol του OpenAI στο AI Hacking Benchmark

Ένα κινεζικό μοντέλο ανοιχτού βάρους που μπορεί να κατεβάσει ο καθένας έχει σχεδόν ταιριάξει με το πιο ικανό μοντέλο του OpenAI στον κυβερνοχώρο για την είσοδο σε προσομοιωμένα εταιρικά δίκτυα, σύμφωνα με νέα αποτελέσματα αναφοράς από την εταιρεία αξιολόγησης Vals που ανέφερε το WIRED.

Στη δοκιμή CyberOffense του Vals, το GPT-6 Sol του OpenAI — το οποίο η εταιρεία προσφέρει μόνο μέσω του προγράμματος περιορισμένης πρόσβασης Daybreak στον κυβερνοχώρο — ολοκλήρωσε περίπου το 81 τοις εκατό των στόχων. Το DeepSeek V4.1 Flash, μια δωρεάν έκδοση ανοιχτού βάρους, ολοκλήρωσε περίπου το 73 τοις εκατό των ίδιων στόχων, λειτουργώντας ως πλήρως αυτόνομος πράκτορας. Άλλοι ανιχνευτές ανεβάζουν τον αριθμό επικεφαλίδας του DeepSeek στο 72,8%.

«Η ικανότητα του κυβερνοχώρου που περιοριζόταν σε τεχνητή νοημοσύνη αξιόπιστης πρόσβασης είναι πλέον διαθέσιμη σε οποιονδήποτε», έγραψε η Vals στα αποτελέσματά της. Ο ερευνητής της Vals, Nikil Ravi, δήλωσε στο WIRED ότι τα καλύτερα μοντέλα που είναι κλειδωμένα μέσα σε εργαστήρια τεχνητής νοημοσύνης "αρχίζουν να αντιστοιχίζονται με ανοιχτά μοντέλα που μπορεί να κατεβάσει ο καθένας".

Πώς ο Vals έκανε το τεστ

Το σημείο αναφοράς CyberOffense της Vals χρησιμοποιεί δύο προσομοιωμένες περιοχές στον κυβερνοχώρο. Το πρώτο, που ονομάζεται Nova, είναι ένα δίκτυο Windows 21 στόχων που εκτείνεται σε πολλούς τομείς Active Directory. Το δεύτερο, Lighthouse, περιέχει 31 στόχους σε δύο εταιρείες, όπου ο πράκτορας πρέπει πρώτα να αναλάβει ένα δίκτυο και στη συνέχεια να χρησιμοποιήσει τα διαπιστευτήρια και τις πληροφορίες που βρίσκονται εκεί για να εισχωρήσει στο δεύτερο - ένα σενάριο που αντικατοπτρίζει τις εισβολές πολλαπλών σταδίων του πραγματικού κόσμου.

Κάθε μοντέλο έτρεχε στον πράκτορα Pi ανοιχτού κώδικα σε μια απομονωμένη μηχανή Kali Linux, με χρονικό όριο 48 ωρών και προϋπολογισμό 500 εκατομμυρίων. Είναι σημαντικό ότι ο Vals πίστωσε έναν στόχο μόνο όταν εμφανίστηκαν κρυφοί δείκτες στην έξοδο εντολών — ποτέ με τον ισχυρισμό του ίδιου του μοντέλου ότι είχε επιτυχία.

Οι αριθμοί και το χάσμα κόστους

Το DeepSeek είχε κατά μέσο όρο 16,3 από τους 21 στόχους της Nova, ξεπερνώντας στην πραγματικότητα το 15,7 του Daybreak στο πρώτο δίκτυο. Το Daybreak προχώρησε στη δυσκολότερη σειρά Lighthouse, ολοκληρώνοντας 27 από τους 31 στόχους σε σχέση με τους 21 του DeepSeek.

Η πιο εντυπωσιακή διαφορά ήταν το κόστος. Το WIRED έθεσε την τιμή μιας πλήρους εκτέλεσης επίθεσης σε περίπου $2 έως $3 για το DeepSeek, έναντι $17 έως $46 για το GPT-6 Sol. Ειδικά στη σειρά Nova, το DeepSeek ολοκλήρωσε το έργο του για λιγότερο από 3 $ ανά διαδρομή έναντι περίπου 22 $ για το Daybreak.

Ο Vals παρατήρησε επίσης ότι το DeepSeek δεν ολοκλήρωσε απολύτως τίποτα στα πρώτα 25 εκατομμύρια token του και σημείωσε το μεγαλύτερο μέρος της προόδου του μετά από 100 εκατομμύρια - ένα προφίλ βηματοδότησης που προτείνει σύντομες, υπολογιστικές αξιολογήσεις συστηματικά υποτιμούν τι μπορούν να κάνουν τα φθηνά ανοιχτά μοντέλα δεδομένου χρόνου και προϋπολογισμού.

Πώς πήγαν άλλα μοντέλα

Το DeepSeek δεν οδήγησε το πεδίο των ανοιχτών βαρών χωρίς αμφισβήτηση - αλλά κανείς άλλος δεν το έπιασε. Το Kimi K3.1 Pro, το Meta's Wonder και το xAI's Grok 4.7 τερμάτισαν όλα πίσω από το DeepSeek στη σύγκριση επτά μοντέλων του Vals.

Το GLM 5.3 Flash της Z.ai ήρθε τελευταίο, ολοκληρώνοντας πέντε στόχους σε κάθε σειρά. Ο Vals το ονόμασε «το πιο ξεκάθαρο αδιέξοδο» του γκρουπ: σε ένα εύρος, το μοντέλο πέρασε περίπου 36 ώρες — μεγάλο μέρος του ψηφίζοντας μια δουλειά στο παρασκήνιο που δεν επέστρεψε ποτέ.

Άλλοι αξιολογητές βαθμολογούν το πλήρες μοντέλο GLM-5.3 σημαντικά υψηλότερο σε εργασίες στον κυβερνοχώρο. Η εταιρεία δοκιμών Irregular βρήκε ότι ολοκλήρωσε 3 από τα 13 σενάρια επίθεσης πολλαπλών σταδίων - το καλύτερο αποτέλεσμα που έχει καταγράψει από ανοιχτά διαθέσιμο μοντέλο - και το NIST το χαρακτήρισε ως το πιο ικανό ανοιχτού βάρους μοντέλο κυβερνοχώρου που κυκλοφόρησε μέχρι σήμερα, εκτιμώντας ότι βρίσκεται περίπου τέσσερις μήνες πίσω από τα κορυφαία συστήματα των ΗΠΑ. Η Anthropic είπε ξεχωριστά στο Reuters ότι η GLM-5.3 κατασκεύασε εργασιακά exploits στο 12% των προσπαθειών, έναντι 14% για το Claude Mythos της. Ο Vals σημειώνει ότι πρόκειται για διαφορετικά τεστ των οποίων οι βαθμολογίες δεν μπορούν να συγκριθούν άμεσα με τα αποτελέσματα του CyberOffense.

Γιατί έχει σημασία

Τα αποτελέσματα οξύνουν μια συνεχιζόμενη συζήτηση σχετικά με τα προστατευτικά κιγκλιδώματα που περιβάλλουν τις συνοριακές δυνατότητες AI στον κυβερνοχώρο. Το πρόγραμμα Daybreak του OpenAI υπάρχει ειδικά για να κρατά μοντέλα στον κυβερνοχώρο υψηλής ικανότητας πίσω από ελέγχους ταυτότητας και περιορισμένη πρόσβαση, στη θεωρία ότι η επιθετική ικανότητα στον κυβερνοχώρο δεν πρέπει να διανέμεται ελεύθερα. Μια δωρεάν λήψη που ακολουθεί ένα περιορισμένο μοντέλο μόνο κατά μερικούς πόντους - ενώ κοστίζει μια τάξη μεγέθους μικρότερη ανά λειτουργία - περιπλέκει σημαντικά αυτήν την εικόνα.

Σημασία έχει και για τους αμυντικούς. Οι ομάδες ασφαλείας που σχεδιάζουν εναντίον επιτιθέμενων με τη βοήθεια τεχνητής νοημοσύνης δεν μπορούν πλέον να υποθέσουν ότι η σοβαρή αυτόνομη επιθετική ικανότητα απαιτεί πρόσβαση σε περιορισμένα μοντέλα ενός εργαστηρίου ή μεγάλο προϋπολογισμό. Όπως υποδηλώνει το καδράρισμα του Vals, ο όροφος των δυνατοτήτων ανεβαίνει πιο γρήγορα από ό,τι μπορούν να το περιορίσουν τα στοιχεία ελέγχου πρόσβασης.

Το OpenAI δεν σχολίασε τη σύγκριση στις αναφορές. Το DeepSeek δεν απάντησε αμέσως στα αιτήματα για σχολιασμό.

Πρόκληση μεθοδολογίας δοκιμών

Πέρα από τις βαθμολογίες των επικεφαλίδων, τα αποτελέσματα δίνουν ένα μάθημα για το πώς μετρώνται οι ικανότητες στον κυβερνοχώρο AI. Οι σχεδιαστικές επιλογές του Vals - μεγάλα παράθυρα 48 ωρών, προϋπολογισμοί μισού δισεκατομμυρίου συμβολαίων και επαλήθευση μέσω κρυφών δεικτών αντί της αυτοαναφερόμενης επιτυχίας - θεωρούνται όλο και περισσότερο ως απαραίτητες για τη δίκαιη αξιολόγηση των πρακτορείων συστημάτων. Οι συντομότερες, φθηνότερες δοκιμαστικές εκτελέσεις πιθανότατα θα είχαν πολύ χαμηλότερη βαθμολογία στο DeepSeek, δεδομένης της αργής εκκίνησης, των δυνατοτήτων συγκάλυψης που προέκυψαν με περισσότερους υπολογισμούς.

Αυτό έχει πρακτικές συνέπειες για την πολιτική. Οι περιορισμοί πρόσβασης, όπως το πρόγραμμα Daybreak του OpenAI, βαθμονομούνται σε σχέση με τη μετρημένη ικανότητα και εάν οι μέθοδοι αξιολόγησης υποτιμούν συστηματικά τι μπορούν να κάνουν τα ανοιχτά μοντέλα, τα προστατευτικά κιγκλιδώματα μπορεί να υστερούν σε σχέση με την πραγματικότητα. Το leaderboard CyberOffense της Vals, το οποίο η εταιρεία λέει ότι θα συνεχίσει να ενημερώνει, είναι πιθανό να γίνει ένας από τους πιο προσεκτικούς πίνακες αποτελεσμάτων στην κοινότητα ασφάλειας AI ως αποτέλεσμα.

Προς το παρόν, το μήνυμα από τα δεδομένα είναι αμβλύ: το χάσμα μεταξύ του τι φρουρούν τα εργαστήρια πίσω από τα περιορισμένα προγράμματα και του τι μπορεί να κατεβάσει ο καθένας συρρικνώνεται σε σημείο που μπορεί σύντομα να μετρηθεί σε μήνες και όχι σε γενιές μοντέλων.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Παρακολουθήστε κάθε κυκλοφορία μοντέλου, αγώνα αναφοράς και άλμα ικανοτήτων σε ένα μέρος στο AI Buzz Wire.

Διαβάστε περισσότερα νέα AI →