Καθώς τα νομικά έγγραφα συντάσσονται όλο και περισσότερο με μεγάλα γλωσσικά μοντέλα, οι παραποιημένες παραπομπές έχουν γίνει πραγματικό πρόβλημα για τα δικαστήρια και τους δικηγόρους που εμφανίζονται ενώπιόν τους. Οι ερευνητές της Georgia Tech έχουν δημιουργήσει ένα εργαλείο ανοιχτού κώδικα που έχει σχεδιαστεί για να συλλαμβάνει αυτές τις κατασκευασμένες αναφορές πριν φτάσουν σε δικαστή.
Το εργαλείο, που ονομάζεται Mellea Legal Requirements Checker (Mellea-LRC), μπορεί να εντοπίσει και να επαληθεύσει παραπομπές στη νομολογία, με ειδική εστίαση στις παραισθήσεις που προκαλούν ψευδαισθήσεις από AI. Δημιουργήθηκε μέσω ενός προγράμματος υποτροφιών στο Georgia Tech's Center for Scientific Software Engineering (CSSE) και Open Source Program Office (OSPO), που χρηματοδοτήθηκε από δωρεά της IBM, σύμφωνα με την ανακοίνωση του πανεπιστημίου. For more context on this story, see our ongoing artificial intelligence updates.
Οι μεταπτυχιακοί φοιτητές Adrian Lozada και Di Wu επιλέχθηκαν ως υπότροφοι για να κατασκευάσουν το εργαλείο με μέντορες από το CSSE και το OSPO. Στόχος τους, είπε το πανεπιστήμιο, ήταν να δώσουν στους δικηγόρους και σε άλλους στον νομικό τομέα έναν απλό τρόπο επαλήθευσης των νομικών παραπομπών.
Πώς λειτουργεί
Το Mellea-LRC συνδυάζει μοντέλα μεγάλων γλωσσών με το πλαίσιο ανοιχτού κώδικα Mellea της IBM, το οποίο είναι χτισμένο γύρω από ένα παράδειγμα "διδάξτε, επαληθεύστε, επιδιορθώστε": οι προγραμματιστές γράφουν τους κανόνες που πρέπει να ικανοποιεί η έξοδος ενός LLM ως συνηθισμένος κώδικας και το πλαίσιο επαναλαμβάνει τις κλήσεις του μοντέλου έως ότου η έξοδος τους πληροί.
"Το πλαίσιο Mellea της IBM ήταν το θεμέλιο πάνω στο οποίο το χτίσαμε. Η δουλειά του Mellea είναι να κάνει προβλέψιμες τις κλήσεις μοντέλων: γράφετε τους κανόνες που πρέπει να ικανοποιεί η έξοδος ως συνηθισμένος κώδικας και το πλαίσιο επαναλαμβάνει μέχρι να τους πληροί η έξοδος LLM. Η δουλειά μας ήταν να αξιοποιήσουμε το πλαίσιο για να δημιουργήσουμε τη νόμιμη εφαρμογή από άκρη σε άκρη", είπε ο Wu στην ανακοίνωση.
Το εργαλείο επεξεργάζεται ένα έγγραφο σε περίπου οκτώ λεπτά. Αρχικά εξάγει παραπομπές νομολογίας από ένα νομικό αρχείο και, στη συνέχεια, επαληθεύει ότι κάθε παραπομπή είναι αυθεντική και ότι υποστηρίζει πραγματικά το περιεχόμενο του εγγράφου — το δεύτερο μέρος είναι αυτό που διακρίνει μια παραισθησιολογική αναφορά από μια απλώς ψεύτικη. Μια κατασκευασμένη υπόθεση που δεν υπάρχει αποτυγχάνει στον πρώτο έλεγχο. μια πραγματική υπόθεση που δεν λέει τι ισχυρίζεται η κατάθεση αποτυγχάνει το δεύτερο.
Δοκιμασμένο ενάντια σε πραγματικά κατασκευασμένα ρινίσματα
Η ομάδα αξιολόγησε το Mellea-LRC σε 26 δημόσια έγγραφα κατάθεσης στο δικαστήριο που είναι γνωστό ότι περιέχουν παραποιημένες παραπομπές — την ίδια κατηγορία περιστατικών που έχει επισύρει κυρώσεις και έλεγχο στα δικαστήρια, όπως διαδίδονται τα έγγραφα που συντάσσονται από την τεχνητή νοημοσύνη.
Το πρόβλημα με τους στόχους του Mellea-LRC είναι καλά τεκμηριωμένο: τα LLM δημιουργούν ονόματα υποθέσεων, παραπομπές και αποσπάσματα με εύλογη εμφάνιση που δεν ανταποκρίνονται σε κανένα πραγματικό προηγούμενο, και οι δικηγόροι έχουν αντιμετωπίσει κυρώσεις μετά την υποβολή τέτοιων φακέλων χωρίς να τα ελέγξουν.
Ανοιχτός κώδικας κατά σχεδιασμό
Βασική απαίτηση του έργου ήταν ο κώδικας του εργαλείου να είναι ανοιχτού κώδικα. Παράλληλα με το εργαλείο, η ομάδα κυκλοφόρησε ένα νέο σύνολο δεδομένων δοκιμής και επικύρωσης στο Hugging Face για μελλοντικές μελέτες συγκριτικής αξιολόγησης.
"Το Agentic AI αναπτύσσεται γρήγορα και μεγάλο μέρος της ανάπτυξης συμβαίνει σε έργα ανοιχτού κώδικα, όπου ο καθένας μπορεί να διαβάσει, να χρησιμοποιήσει και να βελτιώσει την εργασία", δήλωσε ο Lozada.
Ο Jeff Young, διευθυντής του OSPO και κύριος επιστήμονας έρευνας στο Georgia Tech, είπε ότι το πλαίσιο Mellea της IBM ήταν κρίσιμο για την εργασία, επειδή η προσέγγισή του «διδάξτε, επαληθεύστε, επιδιορθώστε» επιτρέπει τη δημιουργία αξιόπιστων βρόχων LLM.
Η αρχιτεκτονική πίσω από την αξιόπιστη έξοδο
Αυτό που κάνει την προσέγγιση Mellea αξιοσημείωτη είναι το πού τοποθετεί το βάρος της αξιοπιστίας. Οι περισσότερες στρατηγικές μετριασμού των παραισθήσεων ζητούν από το ίδιο το μοντέλο να είναι πιο προσεκτικό - μέσω της προτροπής, του μικροσυντονισμού ή της αύξησης ανάκτησης. Το Mellea-LRC αντιστρέφει ότι: οι απαιτήσεις ορθότητας ζουν σε συνηθισμένο κώδικα έξω από το μοντέλο, και το πλαίσιο συνεχίζει να καλεί το μοντέλο έως ότου η έξοδος αποδεδειγμένα τις ικανοποιήσει.
Αυτός ο σχεδιασμός έχει δύο πρακτικές συνέπειες. Πρώτον, η λογική επαλήθευσης είναι ελεγχόμενη - ένας δικηγόρος ή ένα δικαστήριο μπορεί να διαβάσει ακριβώς ποιους κανόνες έπρεπε να περάσει μια παραπομπή, αντί να εμπιστευτεί μια αδιαφανή απόφαση μοντέλου. Δεύτερον, το ίδιο μοτίβο γενικεύεται πέρα από τις νομικές παραπομπές σε οποιονδήποτε τομέα όπου τα αποτελέσματα μπορούν να ελεγχθούν μηχανικά, η οποία είναι ακριβώς η ιδιότητα που έχει κάνει τα agent Frames ελκυστικά για τους προγραμματιστές επιχειρήσεων.
Αξίζει επίσης να σημειωθεί η δομή της υποτροφίας. Αντί για ένα κλειστό εταιρικό εργαστήριο, το έργο έβαλε δύο μεταπτυχιακούς φοιτητές, καθοδήγηση από CSSE και OSPO και χρηματοδότηση από την IBM γύρω από ένα στενό, καλά καθορισμένο πρόβλημα επαλήθευσης — και παρήγαγε ένα εργαλείο εργασίας συν ένα δημόσιο σύνολο δεδομένων αναφοράς.
Γιατί έχει σημασία για τη νομική βιομηχανία
Τα δικαστήρια έχουν γίνει σημείο ανάφλεξης για προβλήματα αξιοπιστίας AI. Η ροή εργασίας επαλήθευσης που αυτοματοποιεί το Mellea-LRC — επιβεβαιώνοντας ότι υπάρχει μια αναφορά και ελέγχοντας ότι λέει αυτό που ισχυρίζεται ο συντάκτης — είναι ακριβώς το βήμα επιμέλειας που παρακάμπτουν οι ανθρώπινοι αναθεωρητές όταν οι προθεσμίες είναι περιορισμένες.
Ο χρόνος επεξεργασίας οκτώ λεπτών ανά έγγραφο καθιστά πρακτικό την εκτέλεση πριν από την κατάθεση, παρά ως ιατροδικαστική άσκηση αφού ένας δικαστής επισημάνει μια ανύπαρκτη υπόθεση. Και επειδή τόσο το εργαλείο όσο και το σύνολο δεδομένων αξιολόγησής του είναι ανοιχτού κώδικα, άλλες ομάδες μπορούν να ελέγξουν πώς λειτουργεί, να το επεκτείνουν σε πρόσθετες δικαιοδοσίες και μορφές παραπομπών και βελτιώσεις συγκριτικής αξιολόγησης — μια προσέγγιση που έρχεται σε αντίθεση με κλειστούς, ιδιόκτητους ελέγχους παραισθήσεων.
Το έργο σηματοδοτεί επίσης πού κατευθύνεται η επιχειρηματική τεχνητή νοημοσύνη: αντί να προσπαθούν να κάνουν τα μοντέλα να έχουν λιγότερες παραισθήσεις, ομάδες όπως η Georgia Tech's χτίζουν επίπεδα επαλήθευσης γύρω τους, χρησιμοποιώντας δομημένους κανόνες και αυτοματοποιημένες επαναλήψεις για να κάνουν την απόδοση του μοντέλου αρκετά προβλέψιμη για επαγγέλματα υψηλού κινδύνου.
Για τη νομική βιομηχανία, ο λογισμός είναι απλός. Η τεχνητή νοημοσύνη μπορεί να συντάξει μια σύνοψη μέσα σε λίγα λεπτά και εργαλεία όπως το Mellea-LRC μπορούν να ελέγξουν τις αναφορές της σχεδόν ταυτόχρονα. Η υπόλοιπη μεταβλητή είναι αν οι εταιρείες κάνουν αυτόν τον έλεγχο υποχρεωτικό βήμα — πριν από την κατάθεση, όχι μετά την κύρωση.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
