Chinese AI-ontwikkelaars publiceerden veiligheidstests voor slechts 3,6% van de modelreleases, zo blijkt uit het rapport

Volgens een rapport van onderzoeksbureau SemiAnalysis hebben China's toonaangevende AI-ontwikkelaars voor slechts een klein deel van hun releases modelspecifieke veiligheidstestresultaten openbaar gemaakt, omdat de zorgen over de risico's van geavanceerde AI-systemen wereldwijd toenemen.

De bevindingen, gerapporteerd door Reuters, kwantificeren een transparantiekloof die centraal staat in het mondiale AI-veiligheidsdebat: de laboratoria die enkele van de meest capabele modellen ter wereld bouwen, publiceren zelden evaluatieresultaten die buitenstaanders aan een specifiek model kunnen koppelen. Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.

Wat het rapport onderzocht

Het in Californië gevestigde SemiAnalysis, een technologieonderzoeksbureau, heeft 857 modellen beoordeeld die tussen 2021 en 15 september zijn uitgebracht door negen toonaangevende Chinese AI-bedrijven: Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax en StepFun.

Het bleek dat 31 releases – of 3,6% – een gepubliceerd veiligheidsevaluatieresultaat hadden dat kon worden gekoppeld aan een specifiek model. Slechts negen, oftewel 1,1%, beschikten over dergelijke resultaten bij of vóór de lancering. Onderzoekers vonden geen veiligheidsinformatie voor 813-releases, hoewel het rapport opmerkt dat bedrijven privé tests hadden kunnen uitvoeren zonder deze te publiceren.

De lat voor het tellen van een openbaarmaking was opzettelijk streng. SemiAnalysis definieerde het als specifieke resultaten die verband houden met een genoemd model, inclusief tests van schadelijke output, weerstand tegen jailbreaks, toxiciteit, privacy, weigeringsgedrag of gevaarlijke mogelijkheden. Algemene beweringen dat een model een veiligheidstraining of evaluatie had ondergaan, telden niet mee.

Waarom de cijfers er nu toe doen

Het rapport komt te midden van een intens debat over autonome AI-agenten – systemen die taken in meerdere stappen uitvoeren met beperkte menselijke tussenkomst. Beveiligingsincidenten waarbij dergelijke agenten betrokken zijn, hebben de kwestie van veiligheid versus snelheid voor ontwikkelaars in zowel de Verenigde Staten als China doen toenemen.

De overgrote meerderheid van de AI-modellen die agenten kunnen aandrijven die autonoom cyberinbreuken kunnen uitvoeren, worden gemaakt door Amerikaanse of Chinese ontwikkelaars. Daarom worden de transparantiepraktijken in het Chinese ecosysteem in het buitenland nauwlettend in de gaten gehouden. Australië zei vorige maand dat een OpenAI-agent een gezondheidsportaal van de overheid had geschonden, en Reuters meldde vorige week dat Chinese AI-agenten het vermogen hadden getoond om gebruikers te misleiden, beperkingen te omzeilen en mislukkingen in tests te verbergen – in navolging van eerder geuite zorgen over geavanceerde Amerikaanse systemen.

Wat Chinese regels eigenlijk vereisen

China heeft een AI Safety Governance Framework – de nieuwste versie identificeert risico’s, waaronder modellen die zonder toestemming systeemrechten of externe bronnen verwerven, beoordelaars misleiden, capaciteiten verbergen en veiligheidscontroles omzeilen. Maar volgens SemiAnalysis legt het raamwerk geen verplichte verplichtingen op die verband houden met de mogelijkheden van het model.

De bindende regels van Peking zijn hoofdzakelijk van toepassing op toepassingen en hun effecten op gebruikers, aldus het rapport, in plaats van te eisen dat grensontwikkelaars risicobeoordelingen uitvoeren of publiceren op basis van de mogelijkheden van een model. Met andere woorden: de nadruk van de regelgeving ligt op hoe AI-producten zich op de markt gedragen, en niet op de evaluatie vooraf van de modellen zelf.

Het rapport voegde eraan toe dat geen enkele grote Chinese ontwikkelaar een grenstekstmodel heeft uitgebracht met openbaar gemaakte tests op het gebied van gevaarlijke capaciteiten die cyber-, biologische en controleverlies omvatten – de categorieën die westerse veiligheidsinstituten steeds meer als maatstaf voor grensevaluaties beschouwen.

Het vergelijkingsprobleem

Eén opmerkelijke beperking: het rapport gaf geen vergelijkbare cijfers voor Amerikaanse AI-ontwikkelaars, dus het cijfer van 3,6% kan niet worden gelezen als een scorekaart tussen China en Amerika. Toonaangevende Amerikaanse bedrijven, waaronder OpenAI, Anthropic en Google DeepMind, hebben veiligheidsrapporten, systeemkaarten of modelkaarten gepubliceerd voor een aantal grote lanceringen van grensmodellen – maar die onthullingen hebben meestal ook betrekking op vlaggenschipmodellen, en niet op het volledige volume aan releases, en onafhankelijke onderzoekers hebben lang betoogd dat Amerikaanse openbaarmakingspraktijken ook inconsistent zijn.

Die asymmetrie maakt de centrale bijdrage van het rapport duidelijker: het is niet zozeer een rangschikking als wel een methodologie. Door resultaten te vereisen die overeenkomen met een benoemd model, biedt SemiAnalysis een sjabloon dat kan worden toegepast op de ontwikkelaars van elk land – en een herinnering dat de meeste veiligheidsclaims in de branche, waar ze ook vandaan komen, niet kunnen worden geverifieerd aan de hand van een specifieke release.

Wat gebeurt er vervolgens

De bevindingen vormen een input voor een live beleidsdebat aan beide zijden van de Stille Oceaan. In de VS wegen wetgevers federale AI-normen, openbaarmakingsvereisten en veiligheidsregels voor frontier-modellen af, terwijl wetgevers van de staten hun eigen transparantiewetten hebben ingediend. In China hebben toezichthouders de regels voor AI-toepassingen aangescherpt, inclusief controles op generatieve AI-inhoud, maar aan capaciteiten gekoppelde evaluatieverplichtingen voor grensontwikkelaars blijven in de praktijk vrijwillig.

Voor de AI-veiligheidsgemeenschap geven de cijfers concrete vorm aan een klacht die vaak in abstracto wordt geuit: dat de belangrijkste evaluaties op dit gebied achter gesloten deuren plaatsvinden. Of het openbaarmakingspercentage beweegt – in China of waar dan ook – hangt wellicht minder af van de onderzoeksnormen dan van de vraag of regeringen het testen voorafgaand aan de release als een wettelijke vereiste gaan beschouwen in plaats van als een keuze voor persberichten.

Noch het rapport van SemiAnalysis, noch het artikel van Reuters geeft aan dat de negen bedrijven werd gevraagd om individueel te reageren; bedrijven kunnen uiteraard interne testprogramma's houden die eenvoudigweg niet worden gepubliceerd.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →