Jugendschutz bei KI-generierten Inhalten

Welche Jugendschutzregeln gelten für KI-generierte Inhalte?

KI-generierte Bilder, Videos, Geschichten und virtuelle Personen werden auf immer mehr Internetseiten eingesetzt. Damit stellt sich für Websitebetreiber eine wichtige Frage: Gelten für solche Inhalte besondere Jugendschutzregeln?

Grundsätzlich gilt: Auch KI-generierte Inhalte unterliegen dem Jugendmedienschutz. Entscheidend ist nicht allein, ob ein Mensch oder eine künstliche Intelligenz den Inhalt erstellt hat, sondern was tatsächlich dargestellt wird und welche Wirkung der Inhalt auf Kinder und Jugendliche haben kann.

Eine KI-generierte erotische Darstellung kann deshalb ebenso jugendschutzrelevant sein wie ein vergleichbares Foto oder Video mit realen Personen.

Sind KI-generierte Bilder und Videos anders zu bewerten?

Nein, nicht grundsätzlich. Der Jugendmedienschutz-Staatsvertrag (JMStV) berücksichtigt auch virtuelle Darstellungen.

Bei der Bewertung kommt es unter anderem darauf an, ob Inhalte entwicklungsbeeinträchtigend, jugendgefährdend oder unzulässig sind.

Beispiele für mögliche Problemfelder sind:

• Erotische Darstellungen: Freizügige KI-Bilder können je nach Gestaltung und Zusammenhang eine Altersbeschränkung erforderlich machen.
• Pornografische Inhalte: Auch vollständig künstlich erzeugte pornografische Darstellungen können den Anforderungen des § 4 JMStV unterliegen.
• Gewaltdarstellungen: Realistische oder besonders drastische KI-Videos können entwicklungsbeeinträchtigend oder unter bestimmten Voraussetzungen unzulässig sein.
• Darstellungen Minderjähriger: Sexualisierte Darstellungen von Kindern oder Jugendlichen können besonders schwerwiegende rechtliche Probleme auslösen, auch wenn keine realen Personen abgebildet werden.
• Manipulierte Bilder: Deepfakes können Menschen in Situationen zeigen, die tatsächlich nie stattgefunden haben.

Dass eine Darstellung künstlich erzeugt wurde, ist deshalb kein Freibrief. Umgekehrt ist ein harmloses KI-Bild nicht allein wegen seiner Herstellung jugendschutzrelevant.

Brauchen Websites mit KI-Inhalten einen Jugendschutzbeauftragten?

Nicht automatisch. Die Verwendung künstlicher Intelligenz begründet für sich genommen keine Pflicht zur Bestellung eines Jugendschutzbeauftragten.

Nach § 7 JMStV kann eine solche Pflicht insbesondere für geschäftsmäßige Anbieter allgemein zugänglicher Internetangebote bestehen, wenn diese entwicklungsbeeinträchtigende oder jugendgefährdende Inhalte enthalten.

Ein Portal mit KI-generierten Naturbildern oder unproblematischen Kurzgeschichten ist deshalb anders zu beurteilen als eine Plattform mit erotischen KI-Videos oder drastischen Gewaltdarstellungen.

Für Vermittlungsdienste im Sinne von Artikel 3 Buchstabe g des Digital Services Act (DSA) besteht nach § 7 Abs. 3 JMStV keine Bestellungspflicht nach Absatz 1. Eine Plattform zur Speicherung fremder KI-Bilder ist deshalb anders einzuordnen als ein Anbieter, der selbst erzeugte Inhalte als eigenes Angebot veröffentlicht. Bei unterschiedlichen Dienstleistungen desselben Unternehmens ist die jeweilige Funktion zu prüfen.

Die konkrete Einordnung hängt somit sowohl von den Inhalten als auch von der rechtlichen Rolle des Plattformbetreibers ab.

Was gilt für KI-generierte Erotik und Pornografie?

Gerade bei KI-generierten Erotikangeboten ist die Abgrenzung zwischen erotischen und pornografischen Inhalten wichtig.

Eine freizügige Darstellung ist nicht automatisch pornografisch. Entscheidend sind unter anderem die Art der Darstellung, ihre Ausrichtung und der Gesamteindruck.

Bei lediglich entwicklungsbeeinträchtigenden Inhalten können geeignete Schutzmaßnahmen nach § 5 JMStV in Betracht kommen, beispielsweise eine technische Alterskennzeichnung.

Für selbst verantwortete pornografische Inhaltsangebote verlangt § 4 Abs. 2 JMStV dagegen grundsätzlich eine geschlossene Benutzergruppe, die sicherstellt, dass ausschließlich Erwachsene Zugang erhalten.

Besondere Vorsicht ist bei sexualisierten Darstellungen vermeintlich minderjähriger Personen geboten. Auch virtuelle Darstellungen können unter gesetzliche Verbote fallen. Eine Altersverifikation macht solche verbotenen Inhalte nicht zulässig.

Reicht es, ein KI-Portal in den Nutzungsbedingungen auf ab 18 zu beschränken?

Eine freiwillige Altersgrenze in den Nutzungsbedingungen ist zunächst eine Entscheidung des Betreibers. Sie sagt aber noch nichts darüber aus, welche Jugendschutzmaßnahmen gesetzlich erforderlich sind.

Ein Portal kann beispielsweise ausschließlich für erwachsene Kunden gedacht sein, obwohl seine Inhalte überwiegend auch für Jugendliche geeignet wären.

Umgekehrt genügt die Formulierung „Nutzung erst ab 18 Jahren“ nicht, wenn tatsächlich pornografische Inhalte angeboten werden, für die eine wirksame Zugangsbeschränkung erforderlich ist.

Auch eine einfache Schaltfläche mit der Aufschrift „Ich bin volljährig“ stellt keine zuverlässige Altersverifikation dar.

Deshalb sollten Betreiber zwischen der selbst gewählten Zielgruppe und den gesetzlichen Anforderungen an die tatsächlich veröffentlichten Inhalte unterscheiden.

Was gilt für KI-generierte Serien und Streaming-Portale?

Bei Plattformen mit KI-generierten Filmen und Serien gelten grundsätzlich dieselben jugendschutzrechtlichen Maßstäbe wie bei vergleichbaren audiovisuellen Inhalten anderer Herkunft.

Eine Science-Fiction-Serie, eine romantische Geschichte und ein Horrorfilm können unterschiedliche Altersbewertungen benötigen, unabhängig davon, ob sie mit Schauspielern gedreht oder vollständig durch KI erzeugt wurden.

Für Filme und Serien sind außerdem die besonderen Kennzeichnungs- und Hinweispflichten nach § 5c JMStV zu berücksichtigen, soweit sie für das konkrete Angebot gelten.

Betreiber sollten deshalb möglichst früh festlegen, wie neue Inhalte bewertet, gegebenenfalls altersgekennzeichnet und vor der Veröffentlichung überprüft werden.

Das ist besonders wichtig, wenn regelmäßig neue Folgen oder vollständig automatisiert erzeugte Inhalte hinzukommen.

Was ist bei virtuellen Influencern und KI-Personen zu beachten?

Virtuelle Influencer und vollständig künstlich erzeugte Personen sind inzwischen auf vielen Plattformen anzutreffen.

Auch hier kommt es zunächst auf die veröffentlichten Inhalte an. Ein virtueller Charakter kann unproblematische Unterhaltung anbieten, aber ebenso erotische, gewalthaltige oder andere jugendschutzrelevante Darstellungen verbreiten.

Besonders sensibel sind realistisch wirkende Figuren, deren Alter nicht eindeutig erkennbar ist oder die bewusst minderjährig erscheinen.

Bei sexualisierten Darstellungen sollte deshalb nicht allein auf die vom Betreiber angegebene fiktive Alterszahl einer Figur vertraut werden. Entscheidend kann auch sein, wie die Person tatsächlich dargestellt wird.

Welche Probleme entstehen durch sexualisierte Deepfakes?

Bei einem Deepfake werden Bilder, Videos oder Stimmen mithilfe künstlicher Intelligenz so erzeugt oder verändert, dass sie authentisch wirken.

Sexualisierte Deepfakes können reale Menschen ohne deren Einwilligung in scheinbar intimen Situationen zeigen.

Für betroffene Personen können solche Inhalte erhebliche Folgen haben. Bei Kindern und Jugendlichen kommen besondere Risiken durch Bloßstellung, Mobbing und Erpressung hinzu.

Je nach Einzelfall können neben dem Jugendmedienschutz auch Persönlichkeitsrechte, Datenschutzvorschriften und strafrechtliche Verbote betroffen sein.

Betreiber von Plattformen mit Nutzerbeiträgen sollten deshalb klare Verfahren vorsehen, um Hinweise auf entsprechende Inhalte entgegenzunehmen und rechtlich gebotene Maßnahmen zeitnah umzusetzen.

Was gilt, wenn Nutzer selbst KI-Inhalte hochladen?

Bei Plattformen, auf denen Nutzer eigene KI-Bilder, Videos oder Geschichten veröffentlichen können, entstehen zusätzliche Herausforderungen.

Der Betreiber kann nicht immer vorhersehen, welche Inhalte hochgeladen werden. Trotzdem sollte er sich frühzeitig mit den möglichen Risiken und den anwendbaren gesetzlichen Anforderungen beschäftigen.

Soweit das Speichern und Bereitstellen fremder KI-Inhalte eine vom DSA erfasste Vermittlungsleistung ist, gilt für diese nach § 2 Abs. 2 JMStV der Staatsvertrag nicht. Eigene Bildserien oder redaktionell verantwortete Videos sind davon getrennt zu beurteilen. Nicht jeder eigene Beitrag hebt die Einordnung einer daneben bestehenden Vermittlungsleistung auf.

In der Praxis können insbesondere folgende Maßnahmen sinnvoll sein:

• Klare Regeln, welche Inhalte auf der Plattform zulässig sind.
• Gut erreichbare Möglichkeiten zur Meldung problematischer Inhalte.
• Nachvollziehbare Verfahren zur Bearbeitung von Beschwerden.
• Geeignete technische Unterstützung bei der Erkennung auffälliger Inhalte.
• Menschliche Überprüfung bei schwierigen oder rechtlich sensiblen Entscheidungen.

Welche dieser Maßnahmen gesetzlich vorgeschrieben sind, hängt von der Art des Dienstes und den anwendbaren Vorschriften ab. Insbesondere bei Vermittlungsdiensten müssen die Vorgaben des Digital Services Act berücksichtigt werden.

Kann KI selbst die Jugendschutzprüfung übernehmen?

KI kann bei der Sichtung und Altersbewertung von Inhalten eine wertvolle Unterstützung sein. Gerade bei großen Mengen neuer Bilder und Videos kann sie helfen, auffällige Inhalte schneller zu erkennen.

Allerdings sind automatische Bewertungen nicht fehlerfrei. Eine KI kann beispielsweise den Zusammenhang einer Szene falsch verstehen oder problematische Details übersehen.

Deshalb sollte insbesondere bei rechtlich sensiblen Inhalten eine fachliche Kontrolle vorgesehen werden.

Die KJM beschäftigt sich bereits mit der Prüfung KI-gestützter Altersbewertungssysteme. Dabei spielt nicht nur die technische Leistungsfähigkeit eine Rolle, sondern auch die Einbindung menschlicher Expertise und nachvollziehbarer Prozesse.

Die Verwendung eines KI-Prüfsystems bedeutet deshalb nicht automatisch, dass sämtliche gesetzlichen Jugendschutzanforderungen erfüllt sind.

Ersetzt KI einen Jugendschutzbeauftragten?

Nein. Ein Jugendschutzbeauftragter übernimmt Aufgaben, die über die automatische Bewertung einzelner Bilder oder Videos hinausgehen.

Er ist Ansprechpartner für Nutzer und berät den Anbieter in Fragen des Jugendmedienschutzes. Dazu gehört auch die angemessene Einbindung bei Entscheidungen über die Gestaltung des Angebots.

KI-Systeme können diese Arbeit unterstützen. Sie übernehmen aber nicht automatisch die gesetzlich vorgesehene Funktion eines Jugendschutzbeauftragten.

Ob ein solcher Beauftragter bestellt werden muss, ist anhand des konkreten Angebots und der anwendbaren gesetzlichen Vorschriften zu beurteilen.

Unsere Einschätzung aus der Praxis

Wir erhalten zunehmend Anfragen von Betreibern, die Internetangebote mit KI-generierten Inhalten entwickeln. Dabei reicht das Spektrum von virtuellen Personen über erotische Bilder bis zu vollständig KI-generierten Videos und Serien.

Viele dieser Projekte unterscheiden sich technisch deutlich von klassischen Websites. Die grundlegenden Fragen des Jugendmedienschutzes bleiben jedoch erstaunlich ähnlich.

Welche Inhalte werden veröffentlicht? Für welche Altersgruppen sind sie geeignet? Wer überprüft neue Inhalte? Und wie wird mit Beschwerden umgegangen?

Besonders bei automatisierter Inhaltserstellung empfehlen wir, die Jugendschutzprüfung nicht erst nach dem Start des Portals zu organisieren. Wenn täglich neue Inhalte entstehen, lassen sich klare Abläufe von Anfang an wesentlich einfacher einrichten.

Eine freiwillige Bestellung eines Jugendschutzbeauftragten kann dabei auch dann sinnvoll sein, wenn die gesetzliche Bestellungspflicht nicht eindeutig ist. Sie schafft einen festen Ansprechpartner für Fragen, die sich bei der Weiterentwicklung des Angebots ergeben.

Fazit: KI ändert die Herstellung, nicht die Verantwortung

KI-generierte Inhalte sind nicht grundsätzlich anders zu behandeln als vergleichbare von Menschen erstellte Inhalte. Entscheidend bleiben die tatsächliche Darstellung, die mögliche Wirkung auf Minderjährige und die rechtliche Einordnung des Angebots.

Erotische KI-Bilder, virtuelle Personen und KI-generierte Filme können deshalb unterschiedliche Jugendschutzmaßnahmen erforderlich machen. Bei pornografischen oder gesetzlich verbotenen Darstellungen gelten besonders strenge Anforderungen.

Unser Tipp: Wer ein KI-Portal entwickelt, sollte die Bewertung der Inhalte, geeignete Schutzmaßnahmen und den Umgang mit Beschwerden möglichst früh in die Planung aufnehmen. Ein Jugendschutzbeauftragter kann dabei als fachlicher Ansprechpartner unterstützen.