Paus Leo XIV mengatakan pada pertemuan para ilmuwan dan pakar AI di Vatikan bahwa sistem kecerdasan buatan adalah “alat, bukan manusia,” memperingatkan agar tidak memberikan hak hukum kepada agen AI dan mendesak pemerintah yang berkumpul di Jenewa bulan depan untuk melarang senjata otonom yang mematikan.
Pidato tersebut disampaikan kepada peserta “Masa Depan AI: Dialog Antara Vatikan dan Dunia Ilmiah mengenai Perkembangan dan Penerapan Teknologi Cerdas,” sebuah pertemuan yang diselenggarakan bersama oleh Akademi Kepausan untuk Kehidupan dan Institut Masa Depan Kehidupan. Paus mengatakan para peserta dari berbagai negara mempunyai “rasa tidak nyaman mengenai pengembangan kecerdasan buatan. Kami menyadari arah yang harus kami ambil, namun belum banyak upaya yang dilakukan untuk melangkah maju.”
Mesin adalah alat, bukan manusia
Kalimat paling jelas dari pidato tersebut menyasar sebuah ide yang mendapatkan daya tarik di beberapa bagian industri teknologi dan akademi hukum: memperluas status hukum – atau hak – ke sistem AI yang canggih. Paus Leo berpendapat sebaliknya. Mesin, katanya, tidak memiliki pengalaman, tubuh, perasaan atau hubungan, dan tidak memahami cinta, pekerjaan atau tanggung jawab.
Beberapa orang menyarankan agar sistem ini diberi hak atau status hukum, dia mengakui – namun hal ini berisiko “mengaburkan tanggung jawab manusia dan membiarkan mereka yang dirugikan berhadapan dengan entitas tak berwajah.” Komentar tersebut muncul di musim yang sama ketika agen AI menjalankan bisnis secara mandiri, menegosiasikan kontrak, dan bertindak atas nama pengguna, sehingga memicu perdebatan hukum mengenai tanggung jawab ketika sistem otonom menyebabkan kerugian. AI Buzz Wire melacak perkembangan kebijakan AI ini dan lainnya saat hal tersebut terjadi. Pembingkaian Paus ini memunculkan pertanyaan kembali pada manusia di balik sistem: jika agen AI menyebabkan kerusakan, seseorang yang mempunyai wajah harus menjawabnya.
"Melucuti senjata" AI: larangan senjata otonom
Pertimbangan ketiga Paus – bahwa keputusan-keputusan tertentu tidak boleh didelegasikan kepada mesin – diilustrasikan dengan contoh-contoh yang jelas: memasukkan seseorang ke dalam daftar target atau dalam database pengawasan perbatasan akan mengurangi mereka menjadi “titik data”. Dia merujuk pada pidato pendahulunya Paus Fransiskus pada tahun 2024 kepada para pemimpin G7, di mana Paus Fransiskus menggambarkan AI sebagai “alat yang menarik dan menakutkan” dan menegaskan bahwa tidak boleh ada mesin yang dapat memilih untuk mengambil nyawa manusia.
“Keputusan yang mempengaruhi kehidupan manusia, kebebasan dan penggunaan kekerasan harus selalu tunduk pada pengawasan manusia yang efektif, terinformasi, dan bertanggung jawab,” kata Paus Leo. Itulah sebabnya AI harus “dilucuti,” ujarnya – dan ia secara eksplisit mendorong pertemuan negara-negara di Jenewa pada bulan November untuk mengambil langkah-langkah pelarangan senjata otonom yang mematikan. Para diplomat telah berjuang selama bertahun-tahun untuk menyetujui peraturan yang mengikat mengenai senjata otonom; permohonan langsung dari Paus menambah bobot moral pada proses negosiasi yang sebagian besar didorong oleh kampanye masyarakat sipil dan sekelompok negara yang peduli.
Lima pertimbangan dari Magnifica Humanitas
Pidato tersebut disusun berdasarkan lima pertimbangan yang dipaparkan Paus dalam ensikliknya Magnifica Humanitas:
1. Masa depan AI tidak dapat ditentukan sebelumnya. Sejak manusia mengembangkan AI, masa depannya bergantung pada pilihan umat manusia. “Kita mempunyai tanggung jawab untuk membimbing, mengubah, dan, bila perlu, menolak penerapannya,” kata Paus. Pertanyaan yang tepat bukanlah “Apa yang bisa dilakukan AI?” tapi "Apa tujuannya?"
2. Mesin adalah alat, bukan manusia. Peringatan pribadi di atas.
3. Keputusan tertentu tidak pernah dapat didelegasikan. Keputusan yang mempengaruhi kehidupan manusia, kebebasan dan penggunaan kekuatan memerlukan pengawasan manusia yang efektif, terinformasi, dan bertanggung jawab.
4. Teknologi cerdas harus memberikan manfaat bagi kebaikan bersama. Teknologi tersebut “tidak boleh menjadi tujuan akhir atau hanya melayani kepentingan segelintir orang yang memiliki hak istimewa,” dan harus menyebarkan manfaat kemajuan secara adil.
5. Lembaga diperlukan agar etika bisa berjalan. Digambarkan sebagai tantangan yang paling mendesak: dunia membutuhkan "standar bersama, pengawasan independen, dan mekanisme akuntabilitas yang jelas, sehingga keputusan terkait pengembangan dan penggunaan AI dapat diperiksa, ditentang bila diperlukan, dan disertai dengan solusi yang tepat untuk setiap kerugian yang ditimbulkan."
Mengapa hal ini penting di luar Vatikan
Vatikan diam-diam telah menjadi salah satu lembaga yang lebih konsisten menyuarakan tata kelola AI. Seruan Roma untuk Etika AI, yang ditandatangani pada bulan Februari 2020 oleh Akademi Kepausan untuk Kehidupan bersama Microsoft, IBM, FAO, dan pemerintah Italia, tumbuh dari ekosistem ini, dan Akademi Kepausan untuk Kehidupan telah berulang kali mengumpulkan para ahli teknologi di bidang bioetika dan pengambilan keputusan mesin. Kerja sama dengan Future of Life Institute – organisasi keamanan AI yang mendalangi surat terbuka mengenai risiko model perbatasan – menandakan upaya berkelanjutan untuk menjembatani komunitas etika AI yang religius dan sekuler.
Bagi para pembuat kebijakan, seruan Jenewa adalah sebuah kesimpulan nyata: ketika negosiasi mengenai senjata otonom dilanjutkan, Vatikan menginginkan larangan yang mengikat, bukan pedoman sukarela. Dan bagi industri AI, pesan mengenai personhood sangatlah jelas – tidak peduli bagaimana jadinya agen yang otonom, tanggung jawab moral dan hukum tetap berada di tangan orang yang membangun dan menerapkannya.
