Yasal belgeler giderek daha büyük dil modelleriyle hazırlandıkça, sahte alıntılar mahkemeler ve mahkeme önüne çıkan avukatlar için gerçek bir sorun haline geldi. Georgia Tech araştırmacıları, bu uydurma referansları hakime ulaşmadan önce yakalamak için tasarlanmış açık kaynaklı bir araç geliştirdiler.

Mellea Yasal Gereksinimler Denetleyicisi (Mellea-LRC) olarak adlandırılan araç, yapay zeka tarafından halüsinasyona uğratılan alıntılara özel olarak odaklanarak içtihat alıntılarını tanımlayıp doğrulayabiliyor. Üniversitenin duyurusuna göre, Georgia Tech'in Bilimsel Yazılım Mühendisliği Merkezi (CSSE) ve Açık Kaynak Program Ofisi'ndeki (OSPO) bir burs programı aracılığıyla oluşturuldu ve IBM'in bağışıyla finanse edildi. For more context on this story, see our ongoing latest AI developments.

Yüksek lisans öğrencileri Adrian Lozada ve Di Wu, aracı CSSE ve OSPO'dan danışmanlarla birlikte geliştirmek üzere bursiyer olarak seçildiler. Üniversite, amaçlarının avukatlara ve hukuk alanındaki diğer kişilere yasal alıntıları doğrulamak için basit bir yol sağlamak olduğunu söyledi.

Nasıl Çalışır?

Mellea-LRC, büyük dil modellerini IBM'in "talimat ver, doğrula, onar" paradigması etrafında oluşturulan Mellea açık kaynak çerçevesiyle birleştirir: geliştiriciler, bir LLM çıktısının karşılaması gereken kuralları sıradan kod olarak yazar ve çerçeve, çıktı bunları karşılayana kadar model çağrılarını yeniden dener.

Wu, duyuruda "IBM'in Mellea çerçevesi, onu üzerine inşa ettiğimiz temeldi. Mellea'nın işi, model çağrılarını öngörülebilir kılmaktır: çıktının karşılaması gereken kuralları sıradan kod olarak yazarsınız ve çerçeve, LLM çıktısı bunları karşılayana kadar yeniden dener. Bizim işimiz, yasal uygulamayı uçtan uca oluşturmak için çerçeveyi güçlendirmekti" dedi.

Araç bir belgeyi yaklaşık sekiz dakika içinde işler. İlk önce yasal bir dosyadan içtihat alıntıları çıkarıyor, ardından her bir alıntının gerçek olduğunu ve gerçekten belgenin içeriğini desteklediğini doğruluyor; ikinci kısım ise halüsinasyonlu bir alıntıyı sahte bir alıntıdan ayıran şeydir. Var olmayan uydurma bir vaka ilk kontrolde başarısız olur; Dosyalama iddialarının ikincisinde başarısız olduğunu söylemeyen gerçek bir dava.

Gerçek Uydurma Dosyalara Karşı Test Edildi

Ekip, Mellea-LRC'yi, sahte alıntılar içerdiği bilinen 26 kamuya açık mahkeme dosyası üzerinde değerlendirdi; bu, yapay zeka tarafından hazırlanan özetlerin yayılmasıyla birlikte mahkemelerde yaptırımlara ve incelemeye yol açan aynı sınıftaki olaylardır.

Mellea-LRC'nin hedeflediği sorun iyi bir şekilde belgelenmiştir: LLM'ler makul görünen dava adları, alıntılar ve gerçek emsallere uymayan alıntılar üretmektedir ve avukatlar bu tür başvuruları kontrol etmeden gönderdikten sonra cezalarla karşı karşıya kalmıştır.

Tasarım Yoluyla Açık Kaynak

Projenin temel gereksinimlerinden biri, aracın kodunun açık kaynak olmasıydı. Ekip, aracın yanı sıra gelecekteki kıyaslama çalışmaları için Hugging Face'e ilişkin yeni bir test ve doğrulama veri seti yayınladı.

Lozada, "Ajantik yapay zeka hızla büyüyor ve büyümenin büyük kısmı herkesin okuyabileceği, kullanabileceği ve geliştirebileceği açık kaynaklı projelerde gerçekleşiyor" dedi.

OSPO direktörü ve Georgia Tech'in baş araştırma bilimcisi Jeff Young, IBM'in Mellea çerçevesinin çalışma için kritik öneme sahip olduğunu çünkü "talimat ver, doğrula, onar" yaklaşımının güvenilir LLM döngülerinin oluşturulmasına olanak sağladığını söyledi.

Güvenilir Çıkışın Arkasındaki Mimari

Mellea yaklaşımını dikkate değer kılan şey, güvenilirlik yükünü nereye yüklediğidir. Halüsinasyonu azaltma stratejilerinin çoğu, yönlendirme, ince ayar veya geri getirme artırma yoluyla modelin kendisinden daha dikkatli olmasını ister. Mellea-LRC bunu tersine çevirir: doğruluk gereksinimleri modelin dışındaki sıradan kodda bulunur ve çerçeve, çıktı onları kanıtlanabilir şekilde karşılayana kadar modeli çağırmaya devam eder.

Bu tasarımın iki pratik sonucu var. Birincisi, doğrulama mantığı denetlenebilir; bir avukat veya mahkeme, şeffaf olmayan bir model kararına güvenmek yerine, bir alıntının geçmesi gereken kuralları tam olarak okuyabilir. İkincisi, aynı model, yasal alıntıların ötesinde, çıktıların mekanik olarak kontrol edilebildiği herhangi bir alana genellenir; bu, tam da aracı çerçeveleri kurumsal geliştiriciler için çekici kılan özelliktir.

Kardeşlik yapısı da dikkat çekicidir. Proje, kapalı bir kurumsal laboratuvar yerine, iki yüksek lisans öğrencisini, CSSE ve OSPO'nun mentorluğunu ve IBM finansmanını dar, iyi tanımlanmış bir doğrulama sorunu etrafında bir araya getirdi ve bir çalışma aracının yanı sıra genel bir karşılaştırma veri kümesi üretti.

Hukuk Sektörü İçin Neden Önemli?

Mahkemeler yapay zekanın güvenilirlik sorunları için bir parlama noktası haline geldi. Mellea-LRC'nin otomatikleştirdiği doğrulama iş akışı (bir alıntının var olduğunu onaylamak ve taslağı hazırlayanın iddia ettiği şeyi kontrol etmek), son tarihler kısıtlı olduğunda insan incelemecilerin atladığı titizlik adımıdır.

Belge başına sekiz dakikalık işlem süresi, hakimin var olmayan bir davayı işaretledikten sonra yaptığı adli tıp uygulaması yerine, dosyalamadan önce çalışmayı pratik hale getiriyor. Hem araç hem de değerlendirme veri seti açık kaynak olduğundan, diğer ekipler onun nasıl çalıştığını denetleyebilir, onu ek yargı bölgelerine ve alıntı formatlarına genişletebilir ve kıyaslama iyileştirmeleri yapabilir; bu, kapalı, özel halüsinasyon denetleyicileriyle çelişen bir yaklaşımdır.

Proje aynı zamanda kurumsal yapay zeka araçlarının nereye doğru gittiğinin de sinyalini veriyor: Georgia Tech gibi ekipler, modellerin daha az halüsinasyon görmesini sağlamak yerine, model çıktısını yüksek riskli meslekler için yeterince öngörülebilir hale getirmek amacıyla yapılandırılmış kurallar ve otomatik yeniden denemeler kullanarak bunların etrafında doğrulama katmanları oluşturuyor.

Hukuk endüstrisi için hesap basittir. Yapay zeka birkaç dakika içinde bir brifing taslağı hazırlayabilir ve Mellea-LRC gibi araçlar da alıntıları hemen hemen aynı anda kontrol edebilir. Geriye kalan değişken ise firmaların bu kontrolü zorunlu bir adım olarak yapıp yapmadıklarıdır (yaptırımdan sonra değil, başvurudan önce).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →