जैसे-जैसे कानूनी दस्तावेज़ बड़े भाषा मॉडल के साथ तेजी से तैयार किए जा रहे हैं, झूठे उद्धरण अदालतों और उनके सामने पेश होने वाले वकीलों के लिए एक वास्तविक समस्या बन गए हैं। जॉर्जिया टेक के शोधकर्ताओं ने एक ओपन-सोर्स टूल बनाया है जो न्यायाधीश तक पहुंचने से पहले उन मनगढ़ंत संदर्भों को पकड़ने के लिए डिज़ाइन किया गया है।
मेलिया लीगल रिक्वायरमेंट्स चेकर (मेलिया-एलआरसी) नामक उपकरण, एआई द्वारा मतिभ्रम वाले उद्धरणों पर विशेष ध्यान देने के साथ, केस कानून उद्धरणों की पहचान और सत्यापन कर सकता है। विश्वविद्यालय की घोषणा के अनुसार, इसे जॉर्जिया टेक सेंटर फॉर साइंटिफिक सॉफ्टवेयर इंजीनियरिंग (सीएसएसई) और ओपन सोर्स प्रोग्राम ऑफिस (ओएसपीओ) में एक फेलोशिप प्रोग्राम के माध्यम से बनाया गया था, जिसे आईबीएम के दान से वित्त पोषित किया गया था। For more context on this story, see our ongoing AI trends.
मास्टर के छात्रों एड्रियन लोज़ादा और डि वू को सीएसएसई और ओएसपीओ के सलाहकारों के साथ टूल बनाने के लिए फेलो के रूप में चुना गया था। विश्वविद्यालय ने कहा, उनका लक्ष्य वकीलों और कानूनी क्षेत्र के अन्य लोगों को कानूनी उद्धरणों को सत्यापित करने का एक आसान तरीका देना था।
यह कैसे काम करता है
मेलिया-एलआरसी आईबीएम के मेलिया ओपन-सोर्स फ्रेमवर्क के साथ बड़े भाषा मॉडल को जोड़ती है, जो "निर्देश, सत्यापन, मरम्मत" प्रतिमान के आसपास बनाया गया है: डेवलपर्स नियम लिखते हैं कि एलएलएम के आउटपुट को सामान्य कोड के रूप में संतुष्ट करना होगा, और फ्रेमवर्क मॉडल कॉल को तब तक पुनः प्रयास करता है जब तक आउटपुट उन्हें पूरा नहीं करता है।
"आईबीएम का मेलिया फ्रेमवर्क वह आधार था जिस पर हमने इसे बनाया था। मेलिया का काम मॉडल कॉल को पूर्वानुमानित बनाना है: आप उन नियमों को लिखते हैं जिन्हें आउटपुट को सामान्य कोड के रूप में संतुष्ट करना होगा, और जब तक एलएलएम आउटपुट उन्हें पूरा नहीं करता तब तक फ्रेमवर्क पुनः प्रयास करता है। हमारा काम कानूनी एप्लिकेशन को शुरू से अंत तक बनाने के लिए फ्रेमवर्क का लाभ उठाना था, "वू ने घोषणा में कहा।
यह टूल किसी दस्तावेज़ को लगभग आठ मिनट में संसाधित करता है। यह पहले कानूनी फाइलिंग से केस कानून उद्धरण निकालता है, फिर सत्यापित करता है कि प्रत्येक उद्धरण प्रामाणिक है और यह वास्तव में दस्तावेज़ की सामग्री का समर्थन करता है - दूसरा भाग वह है जो एक मतिभ्रम उद्धरण को केवल नकली उद्धरण से अलग करता है। एक मनगढ़ंत मामला जिसका अस्तित्व ही नहीं है, पहली जांच में विफल हो जाता है; एक वास्तविक मामला जो यह नहीं बताता कि दाखिल दावे दूसरे मामले में विफल हो जाते हैं।
वास्तविक मनगढ़ंत फाइलिंग के विरुद्ध परीक्षण किया गया
टीम ने 26 सार्वजनिक अदालत-दाखिल दस्तावेजों पर मेलिया-एलआरसी का मूल्यांकन किया, जिनमें गलत उद्धरण शामिल थे - घटनाओं की वही श्रेणी जिसने एआई-ड्राफ्ट ब्रीफ के फैलने के कारण अदालतों में प्रतिबंध और जांच की है।
मेलिया-एलआरसी लक्ष्यों की समस्या अच्छी तरह से प्रलेखित है: एलएलएम प्रशंसनीय दिखने वाले मामले के नाम, उद्धरण और उद्धरण उत्पन्न करते हैं जो किसी भी वास्तविक मिसाल के अनुरूप नहीं होते हैं, और वकीलों को उनकी जांच किए बिना ऐसी फाइलिंग जमा करने के बाद दंड का सामना करना पड़ा है।
डिज़ाइन द्वारा खुला स्रोत
प्रोजेक्ट की मुख्य आवश्यकता यह थी कि टूल का कोड खुला स्रोत हो। टूल के साथ-साथ, टीम ने भविष्य के बेंचमार्किंग अध्ययनों के लिए हगिंग फेस पर एक नया परीक्षण और सत्यापन डेटासेट जारी किया।
लोज़ादा ने कहा, "एजेंट एआई तेजी से बढ़ रहा है, और अधिकांश विकास ओपन-सोर्स परियोजनाओं में होता है, जहां कोई भी पढ़ सकता है, उपयोग कर सकता है और काम में सुधार कर सकता है।"
जॉर्जिया टेक में ओएसपीओ के निदेशक और प्रमुख अनुसंधान वैज्ञानिक जेफ यंग ने कहा कि आईबीएम का मेलिया ढांचा काम के लिए महत्वपूर्ण था क्योंकि इसका "निर्देश, सत्यापन, मरम्मत" दृष्टिकोण विश्वसनीय एलएलएम लूप के निर्माण की अनुमति देता है।
विश्वसनीय आउटपुट के पीछे की वास्तुकला
जो चीज़ मेलिया दृष्टिकोण को उल्लेखनीय बनाती है वह यह है कि यह विश्वसनीयता का बोझ कहाँ रखती है। अधिकांश मतिभ्रम शमन रणनीतियाँ मॉडल को स्वयं अधिक सावधान रहने के लिए कहती हैं - संकेत, फाइन-ट्यूनिंग या पुनर्प्राप्ति वृद्धि के माध्यम से। Mellea-LRC इसका उलटा करता है: शुद्धता की आवश्यकताएं मॉडल के बाहर सामान्य कोड में रहती हैं, और फ्रेमवर्क मॉडल को तब तक कॉल करता रहता है जब तक कि आउटपुट उन्हें संतुष्ट नहीं कर देता।
उस डिज़ाइन के दो व्यावहारिक परिणाम हैं। सबसे पहले, सत्यापन तर्क श्रवण योग्य है - एक अपारदर्शी मॉडल निर्णय पर भरोसा करने के बजाय, एक वकील या अदालत सटीक रूप से पढ़ सकती है कि किसी उद्धरण को किन नियमों से गुजरना होगा। दूसरा, वही पैटर्न कानूनी उद्धरणों से परे किसी भी डोमेन पर सामान्यीकरण करता है जहां आउटपुट को यांत्रिक रूप से जांचा जा सकता है, जो कि वास्तव में वह संपत्ति है जिसने एंटरप्राइज़ डेवलपर्स के लिए एजेंटिक ढांचे को आकर्षक बना दिया है।
फ़ेलोशिप संरचना भी ध्यान देने योग्य है। एक बंद कॉर्पोरेट प्रयोगशाला के बजाय, परियोजना ने दो मास्टर छात्रों, सीएसएसई और ओएसपीओ से परामर्श, और आईबीएम फंडिंग को एक संकीर्ण, अच्छी तरह से परिभाषित सत्यापन समस्या के आसपास एक साथ रखा - और एक कामकाजी उपकरण और एक सार्वजनिक बेंचमार्क डेटासेट तैयार किया।
कानूनी उद्योग के लिए यह क्यों मायने रखता है
एआई विश्वसनीयता समस्याओं के लिए अदालतें एक फ्लैशप्वाइंट बन गई हैं। सत्यापन वर्कफ़्लो मेलिया-एलआरसी स्वचालित करता है - एक उद्धरण मौजूद होने की पुष्टि करना और इसकी जांच करना बताता है कि ड्राफ्टर क्या दावा करता है - बिल्कुल परिश्रम वाला कदम है जिसे मानव समीक्षक समय सीमा समाप्त होने पर छोड़ देते हैं।
प्रति दस्तावेज़ आठ मिनट का प्रसंस्करण समय इसे दाखिल करने से पहले चलाने के लिए व्यावहारिक बनाता है, न कि न्यायाधीश द्वारा किसी गैर-मौजूद मामले को चिह्नित करने के बाद फोरेंसिक अभ्यास के रूप में। और क्योंकि उपकरण और इसके मूल्यांकन डेटासेट दोनों खुले स्रोत हैं, अन्य टीमें ऑडिट कर सकती हैं कि यह कैसे काम करता है, इसे अतिरिक्त न्यायक्षेत्रों और उद्धरण प्रारूपों और बेंचमार्क सुधारों तक विस्तारित कर सकता है - एक दृष्टिकोण जो बंद, मालिकाना मतिभ्रम चेकर्स के विपरीत है।
परियोजना यह भी संकेत देती है कि एंटरप्राइज़ एआई टूलिंग किस दिशा में जा रही है: मॉडलों को कम मतिभ्रम बनाने की कोशिश करने के बजाय, जॉर्जिया टेक जैसी टीमें उनके चारों ओर सत्यापन परतें बना रही हैं, उच्च जोखिम वाले व्यवसायों के लिए मॉडल आउटपुट को पर्याप्त रूप से अनुमानित बनाने के लिए संरचित नियमों और स्वचालित रिट्रीट का उपयोग कर रही हैं।
कानूनी उद्योग के लिए, गणना सीधी है। एआई मिनटों में एक संक्षिप्त मसौदा तैयार कर सकता है, और मेलिया-एलआरसी जैसे उपकरण लगभग उसी समय में इसके उद्धरणों की जांच कर सकते हैं। शेष चर यह है कि क्या कंपनियां उस जांच को एक अनिवार्य कदम बनाती हैं - फाइलिंग से पहले, मंजूरी के बाद नहीं।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
