KI im Jugendmedienschutz: Zertifizierung und Deepfakes

KI im Jugendmedienschutz: Erste Systeme werden zertifiziert

Künstliche Intelligenz übernimmt zunehmend Aufgaben im Jugendmedienschutz. Am 14. Oktober 2026 hat die Kommission für Jugendmedienschutz (KJM) den erfolgreichen Abschluss eines Modellversuchs zur Zertifizierung KI-gestützter Altersbewertungssysteme bekannt gegeben.

Als erstes System wurde Merm:ai:d von RTL Deutschland zertifiziert. Damit entsteht ein Verfahren, mit dem künftig auch andere Anbieter ihre automatisierten Bewertungssysteme prüfen lassen können.

Gleichzeitig wächst durch KI-generierte Inhalte eine neue Herausforderung: Sexualisierte Deepfakes können täuschend echt wirken und insbesondere für Kinder und Jugendliche erhebliche Folgen haben.

Was macht das KI-System von RTL?

Merm:ai:d unterstützt bei der Altersbewertung audiovisueller Inhalte. Das System hilft also bei der Einschätzung, für welche Altersgruppen beispielsweise Filme oder andere Videoinhalte geeignet sind.

Wichtig ist die Unterscheidung: Die KI bewertet die Inhalte. Sie überprüft nicht, wie alt ein Besucher oder Zuschauer tatsächlich ist.

Altersbewertung und Altersverifikation sind zwei unterschiedliche Aufgaben im Jugendmedienschutz. Die eine dient der Einordnung von Inhalten, die andere der Kontrolle, wer Zugang zu bestimmten Angeboten erhält.

Wie wurde die KI geprüft?

Der Modellversuch wurde von der Freiwilligen Selbstkontrolle Fernsehen (FSF) und der Freiwilligen Selbstkontrolle Multimedia-Diensteanbieter (FSM) unter Begleitung der KJM durchgeführt.

Dabei ging es nicht nur darum, ob eine KI technisch gute Ergebnisse liefert. Untersucht wurde auch, wie das System im Unternehmen eingesetzt wird und wie seine Entscheidungen kontrolliert werden.

Ein wesentlicher Bestandteil war der Vergleich zwischen den Bewertungen des KI-Systems und den Einschätzungen menschlicher Prüfer. Nach Angaben der Beteiligten zeigte sich dabei eine hohe Übereinstimmung.

Das Ergebnis des Modellversuchs ist deshalb nicht einfach die Aussage, dass KI den Jugendschutz übernehmen kann. Vielmehr kommt es auf das Zusammenspiel von Technik, fachkundigen Menschen und nachvollziehbaren Prüfprozessen an.

Kann KI künftig die Altersbewertung vollständig übernehmen?

KI kann die Bewertung großer Mengen audiovisueller Inhalte erheblich unterstützen. Gerade bei umfangreichen Medienangeboten ist das interessant.

Eine Altersbewertung ist aber nicht immer eine einfache Entscheidung anhand einzelner Bilder oder Begriffe. Auch der Zusammenhang, die Darstellung und die mögliche Wirkung auf Kinder und Jugendliche spielen eine Rolle.

Deshalb bleibt menschliche Fachkunde wichtig. Automatisierte Bewertungen müssen überprüfbar sein, und bei problematischen oder unklaren Ergebnissen muss eine fachliche Kontrolle möglich bleiben.

Mit dem abgeschlossenen Modellversuch stehen erstmals entsprechende Zertifizierungsstandards zur Verfügung. Das bedeutet jedoch nicht, dass jede beliebige KI automatisch für die rechtssichere Altersbewertung geeignet wäre.

Die andere Seite: Sexualisierte Deepfakes

Während KI bei der Bewertung von Inhalten helfen kann, ermöglicht sie gleichzeitig neue Formen problematischer Inhalte.

Mit frei verfügbaren KI-Anwendungen lassen sich Bilder und Videos so verändern, dass Menschen scheinbar in Situationen gezeigt werden, die tatsächlich nie stattgefunden haben.

Besonders problematisch sind sexualisierte Deepfakes. Dabei werden beispielsweise gewöhnliche Fotos ohne Einwilligung der abgebildeten Personen in sexualisierte Darstellungen umgewandelt.

Für betroffene Kinder und Jugendliche können solche Inhalte schwerwiegende Folgen haben. Die manipulierten Bilder können zur Bloßstellung, zum Mobbing oder zur Erpressung eingesetzt werden.

jugendschutz.net kündigt Webinar zu Deepfakes an

Am 27. Oktober 2026 hat jugendschutz.net auf eine gemeinsame Veranstaltung der deutschen Beschwerdestellen eco, FSM und jugendschutz.net hingewiesen.

Unter dem Titel „Fake Bilder, realer Schmerz“ findet am 18. November 2026 von 14:00 bis 15:30 Uhr ein kostenloses Online-Webinar statt.

Im Mittelpunkt stehen sexualisierte Deepfakes, die Arbeit der Beschwerdestellen und rechtliche Fragen im Umgang mit manipulierten Darstellungen. Auch die Perspektive betroffener Personen wird berücksichtigt.

Die Veranstaltung richtet sich insbesondere an pädagogische Fachkräfte, Multiplikatoren und weitere Interessierte.

Was bedeutet das für Websitebetreiber?

Für Betreiber gewöhnlicher Internetseiten ergibt sich aus der Zertifizierung von Merm:ai:d zunächst keine neue Verpflichtung, KI zur Altersbewertung einzusetzen.

Bei umfangreichen Angeboten mit vielen Bildern oder Videos können solche Systeme künftig aber eine interessante Unterstützung sein. Voraussetzung ist, dass ihre Ergebnisse zuverlässig überprüft und fachlich eingeordnet werden können.

Bei Websites mit Nutzerbeiträgen entsteht außerdem eine andere Herausforderung: Auch KI-generierte oder manipulierte Inhalte können veröffentlicht werden.

Betreiber sollten deshalb überlegen, wie sie mit Hinweisen auf problematische Inhalte umgehen, wer solche Meldungen bearbeitet und wie betroffene Personen Unterstützung erhalten können.

Welche konkreten gesetzlichen Pflichten bestehen, hängt von der Art des Angebots und den jeweils anwendbaren Vorschriften ab.

Ersetzt KI den Jugendschutzbeauftragten?

Nein. Zumindest folgt das nicht aus dem jetzt abgeschlossenen Modellversuch.

Ein Jugendschutzbeauftragter übernimmt nach § 7 JMStV Aufgaben, die über die reine Bewertung einzelner Inhalte hinausgehen. Er ist Ansprechpartner für Nutzer und berät den Anbieter in Fragen des Jugendmedienschutzes.

KI kann dabei unterstützen, beispielsweise durch die Vorsortierung großer Inhaltsmengen oder durch Hinweise auf möglicherweise problematische Darstellungen.

Die Verantwortung für die rechtmäßige Gestaltung des Angebots bleibt jedoch beim Betreiber. Auch die gesetzlichen Anforderungen an einen Jugendschutzbeauftragten werden durch den Einsatz einer KI nicht automatisch erfüllt.

Unsere Einschätzung aus der Praxis

Der Modellversuch zeigt, dass KI im Jugendmedienschutz zunehmend eine praktische Rolle spielen wird. Besonders bei großen Mengen audiovisueller Inhalte kann eine automatisierte Vorbewertung sinnvoll sein.

Entscheidend ist aber, dass die Ergebnisse nicht ungeprüft übernommen werden. Eine technisch überzeugende Bewertung ist noch keine Garantie dafür, dass sie in jedem Einzelfall richtig ist.

Gleichzeitig führen KI-generierte Inhalte zu neuen Problemen, die sich nicht allein durch automatische Filter lösen lassen.

Für Websitebetreiber bedeutet das: KI kann ein hilfreiches Werkzeug sein. Klare Zuständigkeiten, fachliche Prüfung und ein funktionierender Umgang mit Beschwerden bleiben trotzdem wichtig.

Fazit

Mit der Zertifizierung von Merm:ai:d ist im Oktober 2026 ein wichtiger Schritt zur kontrollierten Nutzung KI-gestützter Altersbewertungssysteme gelungen.

Die Diskussion um sexualisierte Deepfakes zeigt gleichzeitig, dass KI nicht nur Lösungen ermöglicht, sondern auch neue Risiken für Kinder und Jugendliche schafft.

Die zentrale Erkenntnis: Gute Technik kann den Jugendmedienschutz unterstützen. Sie ersetzt aber weder menschliche Fachkunde noch die Verantwortung der Websitebetreiber.