যেহেতু আইনি নথিগুলি ক্রমবর্ধমানভাবে বড় ভাষার মডেলগুলির সাথে খসড়া করা হচ্ছে, মিথ্যা উদ্ধৃতিগুলি আদালত এবং তাদের সামনে উপস্থিত আইনজীবীদের জন্য একটি বাস্তব সমস্যা হয়ে দাঁড়িয়েছে৷ জর্জিয়া টেক গবেষকরা একটি ওপেন-সোর্স টুল তৈরি করেছেন যা তারা বিচারকের কাছে পৌঁছানোর আগে এই বানোয়াট রেফারেন্সগুলি ধরতে ডিজাইন করেছে৷
মেলেয়া লিগ্যাল রিকোয়ারমেন্ট চেকার (Mellea-LRC) নামে এই টুলটি AI দ্বারা হ্যালুসিনেড উদ্ধৃতিগুলির উপর একটি নির্দিষ্ট ফোকাস সহ কেস আইনের উদ্ধৃতিগুলি সনাক্ত এবং যাচাই করতে পারে। এটি জর্জিয়া টেকের সেন্টার ফর সায়েন্টিফিক সফ্টওয়্যার ইঞ্জিনিয়ারিং (CSSE) এবং ওপেন সোর্স প্রোগ্রাম অফিস (OSPO) এ একটি ফেলোশিপ প্রোগ্রামের মাধ্যমে তৈরি করা হয়েছে, যা IBM এর অনুদান দ্বারা অর্থায়ন করা হয়েছে, বিশ্ববিদ্যালয়ের ঘোষণা অনুসারে। For more context on this story, see our ongoing artificial intelligence updates.
মাস্টার্সের ছাত্র অ্যাড্রিয়ান লোজাদা এবং ডি উকে CSSE এবং OSPO-এর পরামর্শদাতাদের সাথে টুল তৈরি করার জন্য ফেলো হিসেবে নির্বাচিত করা হয়েছিল। তাদের লক্ষ্য, বিশ্ববিদ্যালয় বলেছে, আইনী ক্ষেত্রের আইনজীবী এবং অন্যদের আইনী উদ্ধৃতি যাচাই করার একটি সহজ উপায় দেওয়া।
এটা কিভাবে কাজ করে
Mellea-LRC IBM-এর Mellea ওপেন-সোর্স ফ্রেমওয়ার্কের সাথে বৃহৎ ভাষার মডেলগুলিকে একত্রিত করে, যা একটি "নির্দেশ, যাচাই, মেরামত" দৃষ্টান্তের চারপাশে তৈরি করা হয়েছে: বিকাশকারীরা সেই নিয়মগুলি লেখেন যেগুলি একটি LLM-এর আউটপুটকে অবশ্যই সাধারণ কোড হিসাবে সন্তুষ্ট করতে হবে, এবং আউটপুট তাদের পূরণ না হওয়া পর্যন্ত ফ্রেমওয়ার্ক মডেল কলগুলিকে পুনরায় চেষ্টা করে৷
"IBM-এর Mellea ফ্রেমওয়ার্ক ছিল সেই ভিত্তি যার উপর আমরা এটি তৈরি করেছি৷ Mellea এর কাজ হল মডেল কলগুলিকে অনুমানযোগ্য করা: আপনি আউটপুটকে সাধারণ কোড হিসাবে সন্তুষ্ট করতে হবে এমন নিয়মগুলি লিখুন এবং LLM আউটপুট তাদের পূরণ না হওয়া পর্যন্ত ফ্রেমওয়ার্ক পুনরায় চেষ্টা করে৷ আমাদের কাজ ছিল শেষ থেকে শেষ পর্যন্ত আইনি অ্যাপ্লিকেশন তৈরি করার জন্য কাঠামোর সুবিধা নেওয়া," উ বলেছেন৷
টুলটি প্রায় আট মিনিটের মধ্যে একটি নথি প্রক্রিয়া করে। এটি প্রথমে একটি আইনি ফাইলিং থেকে কেস আইনের উদ্ধৃতিগুলি বের করে, তারপর যাচাই করে যে প্রতিটি উদ্ধৃতিটি প্রামাণিক এবং এটি আসলে নথির বিষয়বস্তুকে সমর্থন করে — দ্বিতীয় অংশটি হল একটি নিছক জাল থেকে একটি হ্যালুসিনেটেড উদ্ধৃতিকে আলাদা করে৷ একটি বানোয়াট কেস যা বিদ্যমান নেই প্রথম চেক ব্যর্থ হয়; একটি বাস্তব মামলা যা বলে না যে ফাইলিং দাবি দ্বিতীয়টি ব্যর্থ হয়।
বাস্তব বানোয়াট ফাইলিংয়ের বিরুদ্ধে পরীক্ষা করা হয়েছে
দলটি 26টি পাবলিক কোর্ট-ফাইলিং নথিতে মেলেয়া-এলআরসি মূল্যায়ন করেছে যা মিথ্যা উদ্ধৃতি ধারণ করে পরিচিত - একই শ্রেণীর ঘটনা যা আদালতে নিষেধাজ্ঞা এবং যাচাই-বাছাই করেছে যেহেতু এআই-ড্রাফ্ট ব্রিফ ছড়িয়েছে।
Mellea-LRC লক্ষ্যগুলির সমস্যাটি ভালভাবে নথিভুক্ত করা হয়েছে: LLMগুলি যুক্তিসঙ্গত-সুদর্শন মামলার নাম, উদ্ধৃতি এবং উদ্ধৃতি তৈরি করে যা কোনও বাস্তব নজিরর সাথে সঙ্গতিপূর্ণ নয় এবং অ্যাটর্নিরা পরীক্ষা না করে এই ধরনের ফাইলিং জমা দেওয়ার পরে জরিমানার সম্মুখীন হয়েছে৷
ডিজাইন দ্বারা ওপেন সোর্স
প্রকল্পের একটি মূল প্রয়োজন ছিল যে টুলের কোডটি ওপেন সোর্স হতে হবে। টুলের পাশাপাশি, দলটি ভবিষ্যতের বেঞ্চমার্কিং অধ্যয়নের জন্য হাগিং ফেস-এ একটি নতুন পরীক্ষা এবং বৈধতা ডেটাসেট প্রকাশ করেছে।
লোজাদা বলেন, "এজেন্টিক এআই দ্রুত বৃদ্ধি পাচ্ছে, এবং বেশিরভাগ বৃদ্ধি ওপেন-সোর্স প্রকল্পগুলিতে ঘটে, যেখানে যে কেউ পড়তে, ব্যবহার করতে এবং কাজ উন্নত করতে পারে," লোজাদা বলেছেন।
জর্জিয়া টেকের ওএসপিওর পরিচালক এবং প্রধান গবেষণা বিজ্ঞানী জেফ ইয়ং বলেন, আইবিএম-এর মেলিয়া ফ্রেমওয়ার্ক কাজের জন্য গুরুত্বপূর্ণ কারণ এর "নির্দেশ, যাচাই, মেরামত" পদ্ধতি নির্ভরযোগ্য এলএলএম লুপ তৈরি করতে দেয়।
নির্ভরযোগ্য আউটপুটের পিছনে আর্কিটেকচার
মেলিয়া পদ্ধতিকে কী উল্লেখযোগ্য করে তোলে তা হল যেখানে এটি নির্ভরযোগ্যতার বোঝা রাখে। বেশিরভাগ হ্যালুসিনেশন প্রশমন কৌশলগুলি মডেলকে আরও সতর্ক হতে বলে — প্রম্পটিং, ফাইন-টিউনিং বা পুনরুদ্ধার বৃদ্ধির মাধ্যমে। Mellea-LRC উল্টে দেয় যে: সঠিকতার প্রয়োজনীয়তাগুলি মডেলের বাইরে সাধারণ কোডে থাকে এবং আউটপুট তাদের সন্তুষ্ট না হওয়া পর্যন্ত কাঠামোটি মডেলটিকে কল করতে থাকে।
এই নকশার দুটি ব্যবহারিক ফলাফল রয়েছে। প্রথমত, যাচাইকরণের যুক্তি নিরীক্ষাযোগ্য — একজন আইনজীবী বা আদালত একটি অস্বচ্ছ মডেল রায়ে বিশ্বাস না করে, একটি উদ্ধৃতিটি পাস করার জন্য ঠিক কোন নিয়মগুলি পড়তে পারে তা পড়তে পারে৷ দ্বিতীয়ত, একই প্যাটার্ন আইনী উদ্ধৃতির বাইরে যেকোন ডোমেনে সাধারণীকরণ করে যেখানে আউটপুটগুলি যান্ত্রিকভাবে পরীক্ষা করা যেতে পারে, যা অবিকল সেই সম্পত্তি যা এজেন্টিক কাঠামোকে এন্টারপ্রাইজ ডেভেলপারদের কাছে আকর্ষণীয় করে তুলেছে।
ফেলোশিপ কাঠামোটিও লক্ষণীয়। একটি বন্ধ কর্পোরেট ল্যাবের পরিবর্তে, প্রকল্পটি দুটি মাস্টার্স ছাত্রকে, CSSE এবং OSPO থেকে মেন্টরশিপ এবং IBM অর্থায়নকে একটি সংকীর্ণ, সু-সংজ্ঞায়িত যাচাইকরণ সমস্যাকে একত্রিত করেছে — এবং একটি কাজের টুল এবং একটি পাবলিক বেঞ্চমার্ক ডেটাসেট তৈরি করেছে৷
কেন এটি আইনি শিল্পের জন্য গুরুত্বপূর্ণ
AI নির্ভরযোগ্যতা সমস্যার জন্য আদালত একটি ফ্ল্যাশপয়েন্ট হয়ে উঠেছে। ভেরিফিকেশন ওয়ার্কফ্লো Mellea-LRC স্বয়ংক্রিয় হয় — একটি উদ্ধৃতি বিদ্যমান আছে তা নিশ্চিত করা এবং ড্রাফটারের দাবি যা বলে তা পরীক্ষা করা — ঠিক সেই অধ্যবসায়ী পদক্ষেপ যা মানব পর্যালোচকরা যখন সময়সীমা কঠোর হয় তখন এড়িয়ে যান।
প্রতি নথিতে আট মিনিটের প্রক্রিয়াকরণ সময় এটিকে ফাইল করার আগে চালানোর জন্য ব্যবহারিক করে তোলে, একজন বিচারক একটি অস্তিত্বহীন মামলার পতাকাঙ্কিত করার পরে একটি ফরেনসিক অনুশীলন হিসাবে নয়। এবং যেহেতু টুল এবং এর মূল্যায়ন ডেটাসেট উভয়ই ওপেন সোর্স, তাই অন্যান্য দলগুলি কীভাবে এটি কাজ করে তা নিরীক্ষণ করতে পারে, এটিকে অতিরিক্ত এখতিয়ার এবং উদ্ধৃতি বিন্যাসে প্রসারিত করতে পারে এবং বেঞ্চমার্কের উন্নতি করতে পারে - একটি পদ্ধতি যা বন্ধ, মালিকানা হ্যালুসিনেশন চেকারগুলির সাথে বৈপরীত্য।
প্রকল্পটি এন্টারপ্রাইজ AI টুলিং কোন দিকে যাচ্ছে তাও ইঙ্গিত দেয়: মডেলগুলিকে কম হ্যালুসিনেট করার চেষ্টা করার পরিবর্তে, জর্জিয়া টেকের মতো দলগুলি তাদের চারপাশে যাচাইকরণ স্তর তৈরি করছে, কাঠামোবদ্ধ নিয়ম এবং স্বয়ংক্রিয় পুনঃপ্রচার ব্যবহার করে মডেল আউটপুটকে উচ্চ-স্টেকের পেশার জন্য যথেষ্ট অনুমানযোগ্য করে তুলতে।
আইনি শিল্পের জন্য, ক্যালকুলাস সোজা। AI মিনিটের মধ্যে একটি সংক্ষিপ্ত খসড়া তৈরি করতে পারে এবং Mellea-LRC-এর মতো সরঞ্জামগুলি প্রায় একই সময়ে এর উদ্ধৃতিগুলি পরীক্ষা করতে পারে। অবশিষ্ট ভেরিয়েবল হল ফার্মগুলি সেই চেকটিকে একটি বাধ্যতামূলক পদক্ষেপ করে কিনা — ফাইলিংয়ের আগে, অনুমোদনের পরে নয়।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
