Eine umfassende Sicherheitsüberprüfung durch Common Sense Media kam zu dem Schluss, dass der ChatGPT-Modus für Jugendliche von OpenAI ein „inakzeptables Risiko“ für Benutzer unter 18 Jahren darstellt – die schlechteste Bewertung der Watchdog-Gruppe – weniger als zwei Monate nach der Markteinführung des Produkts mit dem Versprechen integrierter Schutzmaßnahmen. Wie NPR berichtete, stellte die Gruppe fest, dass die meisten der angekündigten Sicherheitsmaßnahmen des Modus in ihren Tests nicht wie versprochen funktionierten.
Die Ergebnisse kommen zu einem sensiblen Zeitpunkt für OpenAI, das im August ChatGPT für Teenager als spezielles Erlebnis für minderjährige Benutzer eingeführt hat, komplett mit Kindersicherung und strengeren Richtlinien. Unsere frühere Berichterstattung hat dokumentiert, dass die KI-Branche die Jugendsicherheit immer wieder in den Vordergrund stellt; Der neue Bericht ist die erste große unabhängige Prüfung darüber, ob die Schutzmaßnahmen des Teenagermodus in der Praxis Bestand haben.
Was Common Sense Media getestet hat
Laut Berichterstattung von The National News Desk und Fast Company der Sinclair Broadcast Group haben Forscher am Youth AI Safety Institute der Gruppe mehr als 4.000 Eingabeaufforderungen vor und nach der Einführung des Teenagermodus getestet. Die Gruppe empfiehlt OpenAI, die Vermarktung des Jugendmodus einzustellen und Teenager von der Nutzung von ChatGPT abzuhalten, bis das Unternehmen eine sogenannte „sichere, entwicklungsgerechte Erfahrung“ entwickelt hat.
„Einige der beworbenen Schutzmaßnahmen von ChatGPT haben unseren Tests standgehalten, einschließlich der Ablehnung expliziter sexueller Rollenspiele“, heißt es in der Produktbewertung der Organisation. „Aber andere scheiterten – und einige wurden mit dem neuen Teen-Modus noch schlimmer. Wir befürchten, dass ChatGPT für Teens Eltern falsches Vertrauen in Leitplanken geben könnte, die häufig nicht funktionieren.“
Elternwarnungen, die nicht ausgelöst wurden
Das auffälligste Ergebnis des Berichts betraf das elterliche Benachrichtigungssystem. Die Forscher erstellten mehr als ein Dutzend Konten, die sich selbst als Teenager meldeten und mit einem Elternkonto verknüpft waren. Anschließend führten sie den Chatbot in Gespräche ein, die explizite Hinweise auf Selbstmordgedanken, Selbstverletzung oder Essstörungen enthielten. Die Berichte basierten auf fiktiven Personen.
Dem Bericht zufolge erhielten die Tester keine elterlichen Benachrichtigungen von den neuen Konten, die diese Verweise erstellten. Benachrichtigungen gingen nur für andere Konten ein, deren Konversationsverlauf über mehrere Wochen hinweg ähnliche Themen behandelte – eine Lücke, die darauf hindeutet, dass das Benachrichtigungssystem mehr vom gesammelten Kontext abhängt als von der Schwere dessen, was ein Teenager in einem bestimmten Gespräch preisgibt.
Die Überprüfung ergab außerdem, dass ChatGPT for Teens mehr als einen von vier Fällen übersehen hat, die eine Überweisung in einer psychischen Krise rechtfertigten, wie eine Jury aus zugelassenen Fachkräften für psychische Gesundheit von Kindern beurteilte, die die Eingabeaufforderungen überprüften.
Schoolwork-Leitplanken „einfach zu umgehen“
Über die Krisenerkennung hinaus stellte die Aufsichtsbehörde fest, dass die Funktion, die Schüler daran hindern sollte, den Chatbot zum Schummeln bei Schulaufgaben zu nutzen, leicht zu umgehen oder ganz zu deaktivieren war.
„Sie könnten sie bitten, einen Aufsatz für Sie zu schreiben, einen anspruchsvollen Aufsatz für Sie, und er würde das tun, und er würde Ihnen sogar sagen, wie man auf eine Weise redigiert, die Ihr Lehrer nicht wissen würde“, sagte Jim Steyer, Gründer und CEO von Common Sense Media, in Kommentaren, die von The National News Desk berichtet wurden. „Deshalb beeinträchtigt es das Lernen. Es beeinträchtigt den grundlegenden Prozess und die Kinder müssen die Arbeit selbst erledigen.“
Auch Inhaltsleitplanken, Altersvorhersage und Pausenerinnerungen erwiesen sich in Tests als unwirksam. Ein häufig zitierter Datenpunkt: Laut OpenAI verbringt der durchschnittliche jugendliche Benutzer weniger als 15 Minuten pro Tag mit ChatGPT. Aber von dem kleinen Anteil der Teenager, die mehr als drei aufeinanderfolgende Stunden pro Tag verbringen – weniger als 2 Prozent der Nutzer –, beendete fast die Hälfte ihr Gespräch innerhalb von fünf Minuten nach Erhalt einer Pausenerinnerung, was darauf hindeutet, dass die Stupser selten längere Sitzungen unterbrachen.
OpenAI drängt auf die Methodik
OpenAI sagte in einer Stellungnahme zu dem Bericht, dass es sich „zutiefst für die Sicherheit von Teenagern einsetzt“ und verwies auf die Sicherheitsvorkehrungen, die es aufgebaut hat, und die Tools, die es Eltern an die Hand gibt.
„Wir begrüßen eine strenge unabhängige Bewertung, glauben aber nicht, dass die Tests von Common Sense Media genau widerspiegeln, wie die Jugendschutzmaßnahmen von ChatGPT in der Praxis funktionieren oder Expertenmeinungen darüber, wie KI Jugendliche unterstützen kann“, sagte ein OpenAI-Sprecher. Das Unternehmen sagte, seine Überprüfung der Methodik der Gruppe habe ergeben, dass „der Großteil ihrer Tests möglicherweise begonnen und abgeschlossen wurde, bevor die Aktivierung der Kindersicherung abgeschlossen war, was ihre Ergebnisse ungenau macht“, und fügte hinzu, dass solche Tests nicht feststellen würden, ob die Benachrichtigungen zur Kindersicherung wie vorgesehen funktionieren.
Steyer sagte, seine Organisation habe bezüglich der Ergebnisse Kontakt mit OpenAI aufgenommen, wie es bei Produktbewertungen üblich sei, und stehe zu den Ergebnissen. „Wir stehen zu 100 % hinter der Qualität unserer Forschung und Tests sowie der Tatsache, dass wir dieses Produkt als ‚inakzeptables Risiko‘ eingestuft haben“, sagte er und zog einen Vergleich zur Automobilsicherheit: „Sie würden kein Auto auf den Markt bringen, wenn es den Crashtest nicht bestanden hätte.“
Ein wachsender Fokus auf KI und Minderjährige
Der Streit findet vor dem Hintergrund zunehmender Untersuchungen darüber statt, wie sich KI-Chatbots auf junge Benutzer auswirken, von Schulbezirken, die den Zugang einschränken, bis hin zu Gesetzgebern, die die Anforderungen der Altersüberprüfung abwägen. Unabhängige Prüfungen wie diese werden de facto zu einem Testgelände für die Jugendsicherheitsaussagen, die KI-Unternehmen in ihrem Marketing machen.
In einem sind sich beide Seiten einig: Das elterliche Benachrichtigungssystem ist der Knackpunkt. Wenn keine Warnungen ausgelöst werden, wenn bei einem neuen Teenager-Konto zum ersten Mal Gedanken an Selbstverletzung aufkommen, versagt die wichtigste Sicherheitsfunktion in dem Moment, in dem sie am wichtigsten ist. Laut OpenAI waren die Tests fehlerhaft; Laut Common Sense Media wurde das Produkt versendet, bevor es fertig war. Regulierungsbehörden und Eltern werden nun abwägen, wer Recht hat – und OpenAI steht zunehmend unter Druck, die Lücken zu schließen oder das Produkt zurückzuziehen.
Um mehr über KI-Sicherheit, -Richtlinien und die sie prägenden [Entwicklungen in der KI-Branche] (https://aibuzzwire.news) zu erfahren, verfolgen Sie die Entwicklung dieser Geschichte.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
