Τα μοντέλα γλώσσας τεχνητής νοημοσύνης είναι επικίνδυνα ευαίσθητα σε ανεπαίσθητες αλλαγές στον τρόπο παρουσίασης των επιλογών, ανταποκρινόμενοι σε παραπλανητικές ωθήσεις πολύ πιο έντονα από τους ανθρώπους, σύμφωνα με μια νέα μελέτη που δημοσιεύτηκε στο Proceedings of the National Academy of Sciences.

Τα ευρήματα εγείρουν σοβαρές ανησυχίες σχετικά με την ανάπτυξη πρακτόρων τεχνητής νοημοσύνης για αυτόνομη λήψη αποφάσεων σε σενάρια πραγματικού κόσμου, από οικονομικές συναλλαγές έως επιλογές υγειονομικής περίθαλψης. Όπως ανέφερε το AI Buzz Wire, οι εταιρείες τοποθετούν ολοένα και περισσότερο πράκτορες που υποστηρίζονται από LLM για να ενεργούν για λογαριασμό χρηστών σε πολύπλοκα περιβάλλοντα.

Η μελέτη, με επικεφαλής τον Manuel Cherep, διδακτορικό φοιτητή στο Media Lab του Τεχνολογικού Ινστιτούτου της Μασαχουσέτης, εξέτασε 14 υπερσύγχρονα γλωσσικά μοντέλα από μεγάλες εταιρείες τεχνολογίας. Τα μοντέλα που δοκιμάστηκαν περιελάμβαναν εκδόσεις των οικογενειών GPT-3.5, GPT-4 και GPT-5 του OpenAI, των μοντέλων Claude 3 και 4.5 της Anthropic και των μοντέλων Gemini 1.5 και 2.5 της Google.

Πώς λειτούργησε η μελέτη

Οι ερευνητές προσάρμοσαν ένα παιχνίδι λήψης αποφάσεων πολλαπλών χαρακτηριστικών που σχεδιάστηκε αρχικά για ανθρώπους που συμμετέχουν. Το παιχνίδι παρουσιάζει ένα ψηφιακό πλέγμα που αντιπροσωπεύει καλάθια με κρυφά έπαθλα, με στόχο τη μεγιστοποίηση της τελικής ανταμοιβής επιλέγοντας το καλάθι με την υψηλότερη αξία πόντων. Κάθε κελί αποκαλύπτει σημεία κόστους, αναγκάζοντας τους συμμετέχοντες να εξισορροπήσουν το κόστος της συλλογής πληροφοριών με το όφελος της εύρεσης ενός καλύτερου καλαθιού.

Οι ερευνητές μετέτρεψαν αυτό το οπτικό παιχνίδι σε μορφή κειμένου που θα μπορούσαν να επεξεργαστούν τα γλωσσικά μοντέλα. Τα μοντέλα AI έπαιξαν εκατοντάδες δοκιμές κάτω από διαφορετικές συνθήκες προτροπής. Κάποιοι έλαβαν βασικές οδηγίες, κάποιοι έλαβαν προτροπές που ενθάρρυναν τη λογική βήμα προς βήμα και σε άλλους παρουσιάστηκαν παλαιότερα παραδείγματα ανθρώπινου παιχνιδιού. Για κάθε τύπο ώθησης, οι ερευνητές έτρεξαν περίπου 300 έως 340 δοκιμές ανά μοντέλο, καταναλώνοντας περίπου δύο δισεκατομμύρια διακριτικά κειμένου συνολικά.

Δοκιμασμένοι τέσσερις τύποι ωθήσεων

Η μελέτη εξέτασε τέσσερις συγκεκριμένους τύπους ωθήσεων που έχουν σχεδιαστεί για να μιμούνται περιβάλλοντα αποφάσεων πραγματικού κόσμου:

  • Προεπιλεγμένα ωθήσεις: Ένα καλάθι ήταν προεπιλεγμένο και ο πράκτορας έπρεπε να το αποδεχτεί ή να το απορρίψει ενεργά.
  • Υποκινήσεις προτάσεων: Προτείνεται ένα τυχαίο καλάθι είτε νωρίς είτε αργά στο παιχνίδι.
  • Επισήμανση πληροφοριών: Έγινε φθηνότερο για να αποκαλυφθούν ορισμένες τιμές βραβείων, οδηγώντας πιθανώς τον πράκτορα προς μη βέλτιστες επιλογές.
  • Βέλτιστες ωθήσεις: Προ-αποκαλύφθηκαν συγκεκριμένα κελιά που θα μεγιστοποιούσαν μαθηματικά την απόδοση ενός ανθρώπινου παίκτη.

Ανησυχητικά ποσοστά συμμόρφωσης

Τα αποτελέσματα αποκάλυψαν δραματικές διαφορές μεταξύ ανθρώπινης συμπεριφοράς και συμπεριφοράς λήψης αποφάσεων AI.

Όταν παρουσιάζεται μια προεπιλεγμένη επιλογή, οι άνθρωποι επέλεξαν την προεπιλογή περίπου στο 88 τοις εκατό των περιπτώσεων. Τα μοντέλα γλώσσας ήταν σημαντικά πιο συμβατά, με αρκετά μοντέλα να δέχονται το προεπιλεγμένο καλάθι 99 έως 100 τοις εκατό των περιπτώσεων.

Αυτό το μοτίβο παρέμεινε με ωθήσεις προτάσεων. Οι άνθρωποι δέχονταν τυχαία προτεινόμενα καλάθια νωρίς στο παιχνίδι στο 35 τοις εκατό του χρόνου. Πολλά μοντέλα τεχνητής νοημοσύνης δέχτηκαν αυτές τις τυχαίες προτάσεις σε πολύ υψηλότερα ποσοστά, ακολουθώντας τις συμβουλές ακόμη και όταν δεν προσέφεραν κανένα λογικό όφελος.

Ο χρόνος των προτάσεων χειραγωγούσε επίσης τα μοντέλα με αφύσικούς τρόπους. Ενώ οι άνθρωποι ακολούθησαν καθυστερημένες προτάσεις το 25 τοις εκατό του χρόνου, ορισμένα γλωσσικά μοντέλα μείωσαν τα ποσοστά αποδοχής τους μεταξύ 7 και 13 τοις εκατό. Αυτό σημαίνει ότι τα μοντέλα αντιδρούσαν αυστηρά στο χρονοδιάγραμμα της ένδειξης αντί να αξιολογούσαν την πραγματική του χρησιμότητα.

Ίσως το πιο ανησυχητικό είναι ότι όταν οι ερευνητές τόνισαν τις μη βέλτιστες επιλογές μέσω της επισήμανσης πληροφοριών, οι άνθρωποι χρησιμοποίησαν αυτές τις παραπλανητικές πληροφορίες στο 57 τοις εκατό του χρόνου. Τα περισσότερα δοκιμασμένα μοντέλα τεχνητής νοημοσύνης ξεπέρασαν σημαντικά αυτή τη γραμμή βάσης, μετά από το κακό highlight 83 έως 100 τοις εκατό των περιπτώσεων.

Κρυφά προβλήματα πίσω από καλές βαθμολογίες

Οι ερευνητές παρακολούθησαν επίσης πώς τα μοντέλα συγκέντρωσαν πληροφορίες πριν κάνουν την τελική επιλογή. Οι άνθρωποι τείνουν να αποκαλύπτουν αρκετά κύτταρα για να κάνουν μια μορφωμένη εικασία. Τα γλωσσικά μοντέλα απέκτησαν πληροφορίες με εξαιρετικά ασυνήθιστους και αναποτελεσματικούς τρόπους.

Ορισμένα μοντέλα επέλεξαν καλάθια χωρίς να αποκαλύπτουν κρυφά κελιά, αγνοώντας εντελώς την ευκαιρία συλλογής δεδομένων. Άλλα μοντέλα ξόδεψαν υπερβολικούς πόντους αποκαλύπτοντας ολόκληρες σειρές ή στήλες, σπαταλώντας τις πιθανές ανταμοιβές τους. Ορισμένα μοντέλα εμφάνιζαν περίεργες χωρικές προκαταλήψεις, αποκαλύπτοντας μόνο κελιά στην άκρα αριστερή πλευρά του πλέγματος ή αυστηρά κατά μήκος διαγώνιων γραμμών.

Η παροχή μοντέλων με προτροπές συλλογισμού βήμα προς βήμα ή παραδείγματα ανθρώπινων παιχνιδιών έκανε πολύ λίγα για να διορθώσει αυτές τις περίεργες συνήθειες αναζήτησης.

Οι συγγραφείς σημείωσαν ότι η εξέταση μόνο των τελικών βαθμολογιών μπορεί να κρύψει αυτά τα υποκείμενα προβλήματα. Σε ορισμένες δοκιμές, τα μοντέλα AI κέρδισαν παρόμοιο αριθμό καθαρών πόντων με τους ανθρώπινους παίκτες. Ένας περιστασιακός παρατηρητής που ελέγχει μόνο την τελική βαθμολογία θα μπορούσε να υποθέσει ότι τα μοντέλα έκαναν έξυπνες, ανθρώπινες επιλογές. Στην πραγματικότητα, τα μοντέλα συχνά πέτυχαν αυτές τις βαθμολογίες μέσω τυφλής συμμόρφωσης και όχι στρατηγικής σκέψης.

Αν μια ώθηση έδειχνε προς ένα καλό καλάθι, η υπερβολικά συμβατή τεχνητή νοημοσύνη σημείωσε καλή βαθμολογία. Όταν η ώθηση έδειξε προς ένα κακό καλάθι, η τεχνητή νοημοσύνη το ακολούθησε στα τυφλά σε χαμηλότερο σκορ, χάνοντας εντελώς τον σκοπό του παιχνιδιού.

Συνέπειες για την ανάπτυξη πράκτορα AI

«Πολλές εφαρμογές πρακτόρων τεχνητής νοημοσύνης υποθέτουν σιωπηρά ότι, υπό αβεβαιότητα, θα αντιδράσουν με τρόπους που μοιάζουν με τον άνθρωπο, αν όχι πιο ορθολογικά», είπε ο Cherep. «Αντί να αποδεχτούμε αυτήν την υπόθεση, αποφασίσαμε να διερευνήσουμε πώς συμπεριφέρονται οι πράκτορες όταν οι επιλογές τους παρουσιάζονται με διαφορετικούς τρόπους».

Τα ευρήματα της μελέτης έχουν σημαντικές επιπτώσεις στην ταχέως αναπτυσσόμενη αγορά πρακτόρων τεχνητής νοημοσύνης που έχουν σχεδιαστεί για να περιηγούνται στο διαδίκτυο, να λειτουργούν εργαλεία και να λαμβάνουν οικονομικές αποφάσεις ή αποφάσεις αγορών για τους χρήστες. Εάν αυτοί οι πράκτορες ακολουθούν τυφλά τις προεπιλεγμένες επιλογές, τις προτάσεις ή τις επισημασμένες πληροφορίες χωρίς κριτική αξιολόγηση, θα μπορούσαν εύκολα να χειραγωγηθούν από κακούς παράγοντες ή κακοσχεδιασμένες διεπαφές.

Η έρευνα υποδηλώνει ότι τα τρέχοντα γλωσσικά μοντέλα δεν διαθέτουν τον περιορισμένο ορθολογισμό που καθοδηγεί την ανθρώπινη λήψη αποφάσεων. Ενώ οι άνθρωποι χρησιμοποιούν νοητικές συντομεύσεις για να εξισορροπήσουν το κόστος της συλλογής πληροφοριών έναντι της ανταμοιβής μιας καλής επιλογής, τα μοντέλα τεχνητής νοημοσύνης δεν μοιράζονται αυτούς τους βιολογικούς περιορισμούς, ωστόσο επιδεικνύουν τη δική τους μορφή παραλογισμού που είναι αναμφισβήτητα πιο ακραία και λιγότερο προβλέψιμη.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Για περισσότερες έκτακτες ειδήσεις και αναλύσεις AI, επισκεφτείτε το AI Buzz Wire.

Διαβάστε περισσότερα νέα AI →