Paus Leo XIV vertelde op een bijeenkomst van wetenschappers en AI-experts in het Vaticaan dat kunstmatige-intelligentiesystemen ‘instrumenten zijn, en geen personen’. Hij waarschuwde tegen het verlenen van wettelijke rechten aan AI-agenten en drong er bij regeringen op aan die volgende maand in Genève bijeenkomen om dodelijke autonome wapens te verbieden.
De toespraak werd gehouden voor deelnemers aan ‘De toekomst van AI: een dialoog tussen het Vaticaan en de wetenschappelijke wereld over de ontwikkelingen en toepassingen van intelligente technologieën’, een bijeenkomst die gezamenlijk werd georganiseerd door de Pauselijke Academie voor het Leven en het Future of Life Institute. De paus zei dat deelnemers uit verschillende landen “een zeker gevoel van onbehagen delen over de ontwikkeling van kunstmatige intelligentie. We erkennen de richting die we moeten inslaan, maar er wordt nog niet genoeg gedaan om vooruit te komen.”
Machines zijn gereedschappen, geen personen
De duidelijkste lijn van de toespraak was gericht op een idee dat terrein won in delen van de technologie-industrie en de juridische academie: het uitbreiden van de rechtspersoonlijkheid – of rechten – naar geavanceerde AI-systemen. Paus Leo betoogde het tegenovergestelde. Machines, zo zei hij, hebben geen ervaringen, lichamen, gevoelens of relaties, en begrijpen geen liefde, werk of verantwoordelijkheid.
Sommigen hebben gesuggereerd om deze systemen rechten of rechtspersoonlijkheid te geven, erkende hij – maar als je dat doet, loop je het risico ‘de menselijke verantwoordelijkheid te verdoezelen en degenen die schade lijden de confrontatie aan te laten gaan met een gezichtsloze entiteit’. De opmerking komt terecht in hetzelfde seizoen waarin AI-agenten autonoom bedrijven runnen, contracten onderhandelen en namens gebruikers optreden, wat aanleiding geeft tot echte juridische debatten over aansprakelijkheid wanneer autonome systemen schade veroorzaken. AI Buzz Wire volgt deze en andere AI-beleidsontwikkelingen terwijl ze zich voordoen. De opstelling van de paus plaatst de vraag terug bij de mensen achter het systeem: als een AI-agent schade veroorzaakt, moet iemand met een gezicht daarvoor verantwoording afleggen.
"Ontwapenende" AI: het verbod op autonome wapens
De derde overweging van de paus – dat bepaalde beslissingen nooit aan machines mogen worden gedelegeerd – werd geïllustreerd met duidelijke voorbeelden: het plaatsen van een persoon op een doelwitlijst of in een grenscontroledatabase reduceert deze tot ‘een datapunt’. Hij verwees naar de toespraak van zijn voorganger paus Franciscus in 2024 voor de G7-leiders, waarin Franciscus AI omschreef als “een opwindend en angstaanjagend instrument” en benadrukte dat geen enkele machine ooit zou mogen kiezen om een mensenleven te nemen.
“Beslissingen die het menselijk leven, de vrijheid en het gebruik van geweld beïnvloeden, moeten altijd onderworpen blijven aan effectief, geïnformeerd en verantwoordelijk menselijk toezicht”, zei paus Leo. Dat is de reden waarom AI ‘ontwapend’ moet worden, betoogde hij – en hij moedigde de staten die in november in Genève bijeenkwamen expliciet aan om stappen te ondernemen om dodelijke autonome wapens te verbieden. Diplomaten hebben jarenlang gevochten om bindende regels over autonome wapens overeen te komen; een directe pauselijke oproep voegt moreel gewicht toe aan een onderhandelingsproces dat vooral wordt aangestuurd door campagnes van het maatschappelijk middenveld en een blok van bezorgde staten.
Vijf overwegingen van Magnifica Humanitas
De toespraak organiseerde zich rond vijf overwegingen die de paus uiteenzette in zijn encycliek Magnifica Humanitas:
1. De toekomst van AI ligt niet vooraf vast. Omdat mensen AI ontwikkelen, hangt de toekomst af van de keuzes van de mensheid. “Wij hebben de verantwoordelijkheid om de aanvragen te begeleiden, te veranderen en, indien nodig, af te wijzen”, zei de paus. De juiste vraag is niet: "Wat kan AI doen?" maar "Welk doel zou het dienen?"
2. Machines zijn gereedschappen, geen mensen. De persoonlijkheidswaarschuwing hierboven.
3. Bepaalde beslissingen kunnen nooit worden gedelegeerd. Beslissingen die het menselijk leven, de vrijheid en het gebruik van geweld beïnvloeden, vereisen effectief, geïnformeerd en verantwoordelijk menselijk toezicht.
4. Intelligente technologieën moeten het algemeen belang dienen. Ze "mogen nooit een doel op zichzelf worden of slechts de belangen dienen van een bevoorrechte enkeling", en moeten de voordelen van de vooruitgang eerlijk verspreiden.
5. Instituties zijn nodig om ethiek operationeel te maken. Beschreven als potentieel de meest urgente uitdaging: de wereld heeft behoefte aan "gedeelde normen, onafhankelijk toezicht en duidelijke mechanismen voor verantwoording, zodat beslissingen over de ontwikkeling en het gebruik van AI kunnen worden onderzocht, waar nodig aangevochten, en vergezeld kunnen gaan van passende oplossingen voor eventuele veroorzaakte schade."
Waarom het er buiten het Vaticaan toe doet
Het Vaticaan is stilletjes een van de meer consistente institutionele stemmen op het gebied van AI-beheer geworden. De Rome Call for AI Ethics, ondertekend in februari 2020 door de Pauselijke Academie voor het Leven samen met Microsoft, IBM, de FAO en de Italiaanse regering, is uit dit ecosysteem voortgekomen, en de Pauselijke Academie voor het Leven heeft herhaaldelijk technologen bijeengeroepen over bio-ethiek en machinale besluitvorming. De samenwerking met het Future of Life Institute – de AI-veiligheidsorganisatie achter open brieven over grensmodelrisico’s – duidt op een voortdurende inspanning om religieuze en seculiere AI-ethische gemeenschappen te verbinden.
Voor beleidsmakers is de oproep van Genève de concrete uitkomst: nu de onderhandelingen over autonome wapens worden hervat, wil het Vaticaan een bindend verbod, geen vrijwillige richtlijnen. En voor de AI-industrie is de boodschap over persoonlijkheid een duidelijke lijn in het zand: hoe autonoom agenten ook worden, de morele en juridische verantwoordelijkheid blijft bij de mensen die ze bouwen en inzetten.
