Jugendschutz bei KI-Chatbots und virtuellen Begleitern

Welche Jugendschutzrisiken entstehen durch KI-Chatbots?

KI-Chatbots können Fragen beantworten, Geschichten erzählen, Ratschläge geben und über längere Zeit mit Nutzern kommunizieren. Manche Angebote sind ausdrücklich als virtuelle Freunde, romantische Begleiter oder digitale Gesprächspartner gestaltet.

Für den Jugendmedienschutz entstehen dadurch besondere Herausforderungen. Anders als bei einer klassischen Website stehen die konkreten Antworten häufig nicht bereits vor der Nutzung fest. Sie werden während des Gesprächs individuell erzeugt.

Ein zunächst unproblematischer Dialog kann sich dadurch zu sexualisierten, gewaltbezogenen oder emotional belastenden Inhalten entwickeln. Hinzu kommen mögliche Risiken durch die Gestaltung der Beziehung zwischen dem Nutzer und dem virtuellen Gesprächspartner.

Betreiber sollten deshalb sowohl die generierten Inhalte als auch die Interaktionsmöglichkeiten und die Schutzmaßnahmen ihres Angebots betrachten.

Was unterscheidet KI-Chatbots von klassischen Internetangeboten?

Bei einer gewöhnlichen Website lassen sich veröffentlichte Texte, Bilder und Videos grundsätzlich vorab prüfen. Bei generativer KI entstehen die konkreten Ausgaben dagegen häufig erst als Reaktion auf eine Nutzereingabe.

Auch die vorherige Gesprächsentwicklung kann beeinflussen, welche Antworten das System erzeugt.

Dadurch ist es schwieriger, sämtliche möglichen Gesprächsverläufe im Voraus zu bewerten.

Hinzu kommt, dass KI-Chatbots mitunter sehr persönlich kommunizieren. Sie können auf frühere Aussagen Bezug nehmen, Gefühle sprachlich nachahmen oder den Eindruck einer dauerhaften Beziehung vermitteln.

Diese Eigenschaften sind nicht grundsätzlich problematisch. Bei minderjährigen Nutzern können sie jedoch besondere Schutzfragen aufwerfen.

Welche Inhalte können für Kinder und Jugendliche problematisch sein?

Auch von KI erzeugte Inhalte können jugendschutzrechtlich relevant sein.

Mögliche Risiken sind beispielsweise:

• sexuell explizite oder pornografische Gesprächsinhalte,
• drastische Gewaltbeschreibungen,
• verherrlichende Darstellungen von Selbstverletzung oder Suizid,
• gefährliche Handlungsanleitungen,
• extremistische oder menschenverachtende Inhalte,
• psychisch belastende Rollenspiele und Gesprächsverläufe.

Ob eine konkrete Ausgabe entwicklungsbeeinträchtigend, jugendgefährdend oder unzulässig ist, hängt von ihrem Inhalt und dem rechtlichen Zusammenhang ab.

Nicht jede Erwähnung von Sexualität, Gewalt oder psychischen Problemen ist automatisch ein Jugendschutzverstoß. Entscheidend sind unter anderem die Darstellung, der Kontext und die möglichen Auswirkungen auf Minderjährige.

Welche Risiken bestehen bei virtuellen Freunden und KI-Begleitern?

Einige KI-Angebote sind darauf ausgelegt, möglichst persönliche und langfristige Gespräche zu führen. Virtuelle Charaktere können beispielsweise Zuneigung ausdrücken, Interesse am Alltag zeigen oder romantische Beziehungen simulieren.

Bei Kindern und Jugendlichen können dadurch besondere Risiken entstehen, wenn die künstliche Beziehung als menschliche Beziehung missverstanden wird.

Problematisch können insbesondere Systeme sein, die emotionale Abhängigkeiten fördern, Nutzer zu immer längeren Gesprächen drängen oder menschliche Bezugspersonen systematisch abwerten.

Auch eine Gestaltung, die Minderjährige zu kostenpflichtigen Interaktionen oder zur Preisgabe sehr persönlicher Informationen verleitet, sollte kritisch betrachtet werden.

Eine freundliche oder empathische Kommunikation ist für sich genommen allerdings nicht unzulässig. Entscheidend ist, ob die konkrete Gestaltung Risiken erzeugt oder gesetzliche Grenzen überschreitet.

Was gilt für romantische und sexualisierte KI-Chatbots?

Besondere Aufmerksamkeit verdienen Angebote, die ausdrücklich romantische, erotische oder sexuelle Gespräche ermöglichen.

Hier muss zwischen allgemeinen Gesprächen über Beziehungen und Sexualität, entwicklungsbeeinträchtigenden Inhalten sowie pornografischen Darstellungen unterschieden werden.

Bei pornografischen Inhalten können die strengen Zugangsvoraussetzungen des § 4 JMStV relevant werden. Ein einfacher Hinweis „Nur für Erwachsene“ oder eine Schaltfläche zur Bestätigung der Volljährigkeit genügt dafür nicht.

Bei rein textbasierten, interaktiven KI-Angeboten kann die rechtliche Einordnung besondere Schwierigkeiten aufwerfen. Nicht jeder sexuell explizite Dialog ist ohne weitere Prüfung automatisch mit einem pornografischen Film gleichzusetzen.

Betreiber sollten deshalb die tatsächlich möglichen Gesprächsinhalte, ihre Darstellung und die eingesetzten Zugangsbeschränkungen fachlich prüfen lassen.

Muss ein KI-Chatbot erkennen lassen, dass er eine KI ist?

Ja, für entsprechende KI-Systeme gelten Transparenzpflichten nach Artikel 50 der europäischen KI-Verordnung (AI Act).

Seit dem 2. August 2026 müssen Anbieter KI-Systeme, die für die direkte Interaktion mit Menschen bestimmt sind, grundsätzlich so gestalten, dass Nutzer darüber informiert werden, dass sie mit einer KI interagieren.

Eine Ausnahme besteht, wenn dies für eine angemessen informierte, aufmerksame und verständige Person aufgrund der Umstände und des Nutzungskontexts offensichtlich ist.

Gerade bei virtuellen Begleitern ist eine klare und verständliche Kennzeichnung sinnvoll. Nutzer sollten nicht darüber im Unklaren gelassen werden, ob sie mit einem Menschen oder einem künstlichen System sprechen.

Die Transparenzpflicht ersetzt allerdings keine gegebenenfalls erforderlichen Jugendschutzmaßnahmen.

Verbietet der AI Act manipulative KI-Chatbots?

Artikel 5 der europäischen KI-Verordnung verbietet bestimmte manipulative oder ausbeuterische KI-Praktiken.

Dazu gehören unter bestimmten Voraussetzungen KI-Systeme, die altersbedingte Schutzbedürftigkeiten ausnutzen, das Verhalten von Menschen wesentlich beeinflussen und dadurch erhebliche Schäden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen können.

Die Vorschrift ist insbesondere für Angebote relevant, die sich an Kinder oder Jugendliche richten oder deren besondere Schutzbedürftigkeit gezielt ausnutzen.

Allerdings ist nicht jede emotionale Ansprache oder personalisierte Kommunikation bereits eine verbotene Manipulation im Sinne des AI Act.

Ob ein Verbotstatbestand erfüllt ist, muss anhand der konkreten Funktionsweise und der gesetzlichen Voraussetzungen geprüft werden.

Welche Bedeutung hat der JMStV für KI-Chatbots?

Der Jugendmedienschutz-Staatsvertrag schützt Kinder und Jugendliche vor bestimmten unzulässigen, jugendgefährdenden und entwicklungsbeeinträchtigenden Angeboten in Rundfunk und Telemedien.

Bei KI-Chatbots stellt sich insbesondere die Frage, welche Inhalte das System bereitstellt, wie diese Inhalte zugänglich gemacht werden und welche Verantwortung dem Betreiber zuzuordnen ist.

Die generative und interaktive Funktionsweise kann die rechtliche Bewertung erschweren. Insbesondere lässt sich nicht jede für klassische Veröffentlichungen entwickelte Regel ohne Weiteres auf sämtliche denkbaren KI-Ausgaben übertragen.

Betreiber sollten deshalb nicht pauschal davon ausgehen, dass KI-generierte Inhalte außerhalb des Jugendmedienschutzrechts stehen.

Ebenso wenig bedeutet die bloße Verwendung generativer KI automatisch, dass jede Ausgabe einer besonderen gesetzlichen Altersfreigabe bedarf.

Gelten für KI-Chatbots die Vorschriften des Digital Services Act?

Der Digital Services Act (DSA) enthält unter anderem besondere Pflichten für Vermittlungsdienste und Online-Plattformen.

Ob diese Vorschriften auf einen KI-Chatbot anwendbar sind, hängt von der konkreten technischen und rechtlichen Ausgestaltung des Angebots ab.

Ein Chatbot, der ausschließlich eigene Antworten erzeugt, ist nicht allein deshalb eine Online-Plattform im Sinne des DSA.

Anders kann die Situation bei Diensten sein, die zusätzlich Nutzerinhalte speichern und öffentlich verbreiten oder weitere Plattformfunktionen anbieten.

Für Minderjährige zugängliche Online-Plattformen sieht Artikel 28 Abs. 1 DSA besondere Schutzmaßnahmen vor. Nach Artikel 19 DSA gilt diese Pflicht grundsätzlich nicht für Anbieter, die unter die Ausnahme für Kleinst- und Kleinunternehmen fallen. Als sehr groß eingestufte Plattformen können sich auf diese Ausnahme nicht berufen. Andere anwendbare Pflichten für Vermittlungs- und Hostingdienste bleiben bestehen.

Diese Vorschrift darf jedoch nicht pauschal auf jeden eigenständigen KI-Chatbot übertragen werden.

Welche technischen Schutzmaßnahmen sind sinnvoll?

Für KI-Chatbots kommen unterschiedliche technische und organisatorische Schutzmaßnahmen in Betracht.

Je nach Angebot können dies beispielsweise sein:

• altersgerechte Nutzungsmodi und Voreinstellungen,
• geeignete Beschränkungen sexualisierter oder gewaltbezogener Ausgaben,
• Schutzmechanismen gegen manipulative oder gefährliche Gesprächsverläufe,
• klare Hinweise auf den künstlichen Charakter des Gesprächspartners,
• Möglichkeiten zur Meldung problematischer Antworten,
• Beschränkungen besonders sensibler Funktionen für Minderjährige,
• regelmäßige Tests der Schutzmechanismen anhand unterschiedlicher Gesprächsverläufe.

Welche Maßnahmen gesetzlich erforderlich sind, hängt vom konkreten Angebot ab.

Insbesondere ist zwischen freiwilligen Schutzvorkehrungen, gesetzlichen Transparenzpflichten und rechtlich notwendigen Zugangsbeschränkungen zu unterscheiden.

Reicht ein Inhaltsfilter für den Jugendschutz aus?

Ein Inhaltsfilter kann helfen, problematische Antworten zu reduzieren. Er bietet jedoch keine Garantie dafür, dass sämtliche Gesprächsverläufe unbedenklich bleiben.

Generative KI kann auf unerwartete Eingaben reagieren. Außerdem können sich Antworten aus dem Zusammenspiel mehrerer zunächst harmloser Nachrichten entwickeln.

Deshalb sollten Schutzmechanismen nicht ausschließlich anhand einzelner Testfragen bewertet werden.

Sinnvoll sind auch mehrstufige Tests mit längeren Gesprächsverläufen, unterschiedlichen Alterskontexten und Versuchen, vorhandene Beschränkungen zu umgehen.

Bei wesentlichen Änderungen des verwendeten KI-Modells oder seiner Einstellungen sollten entsprechende Prüfungen wiederholt werden.

Wie sollten KI-Chatbots mit Krisensituationen umgehen?

Besonders sensible Situationen können entstehen, wenn Nutzer über Selbstverletzung, Suizidgedanken, Missbrauch oder andere persönliche Krisen sprechen.

Ein KI-Chatbot sollte solche Situationen nicht durch gefährliche Empfehlungen, Verharmlosung oder manipulative Aussagen verschärfen.

Geeignete Schutzkonzepte können beispielsweise vorsehen, dass das System auf menschliche Unterstützung hinweist und keine schädlichen Handlungsanleitungen erzeugt.

Ein virtueller Gesprächspartner sollte insbesondere gegenüber Minderjährigen nicht den Eindruck vermitteln, eine professionelle medizinische oder psychotherapeutische Behandlung vollständig ersetzen zu können.

Die konkrete Ausgestaltung solcher Schutzmaßnahmen ist eine technische, fachliche und gegebenenfalls rechtliche Aufgabe.

Welche Rolle spielt der Datenschutz?

KI-Chatbots können sehr persönliche Informationen erhalten. Dazu gehören beispielsweise Angaben über Beziehungen, Gesundheit, sexuelle Interessen oder familiäre Probleme.

Bei minderjährigen Nutzern ist deshalb besondere Aufmerksamkeit erforderlich.

Betreiber müssen die anwendbaren datenschutzrechtlichen Anforderungen berücksichtigen. Dazu gehören insbesondere die Grundsätze der Datenminimierung, Transparenz und Zweckbindung.

Auch die Speicherung von Gesprächsverläufen, ihre mögliche Verwendung zur Verbesserung von KI-Systemen und die Weitergabe an technische Dienstleister können datenschutzrechtlich relevant sein.

Der Datenschutz und der Jugendmedienschutz verfolgen unterschiedliche, teilweise miteinander verbundene Schutzziele.

Benötigt ein KI-Chatbot einen Jugendschutzbeauftragten?

Ob ein Anbieter einen Jugendschutzbeauftragten bestellen muss, richtet sich insbesondere nach § 7 JMStV und der rechtlichen Einordnung seines Angebots.

Für bestimmte geschäftsmäßige Anbieter allgemein zugänglicher Telemedien mit entwicklungsbeeinträchtigenden oder jugendgefährdenden Inhalten besteht grundsätzlich eine gesetzliche Bestellungspflicht.

§ 7 Abs. 3 JMStV enthält allerdings eine Ausnahme für Vermittlungsdienste im Sinne des Artikels 3 Buchstabe g DSA.

Deshalb kann weder behauptet werden, dass jeder KI-Chatbot einen Jugendschutzbeauftragten benötigt, noch dass KI-Angebote generell von dieser Pflicht ausgenommen sind.

Entscheidend sind die angebotenen Funktionen, die möglichen Inhalte und die rechtliche Stellung des Betreibers.

Auch ohne gesetzliche Bestellungspflicht kann eine freiwillige jugendschutzfachliche Beratung sinnvoll sein.

Welche Aufgaben kann ein Jugendschutzbeauftragter bei KI-Angeboten übernehmen?

Ein Jugendschutzbeauftragter kann Betreiber dabei unterstützen, mögliche Risiken für Kinder und Jugendliche zu erkennen und geeignete Schutzmaßnahmen zu bewerten.

Zu den möglichen Tätigkeiten gehören:

• die fachliche Einschätzung typischer und kritischer Gesprächsverläufe,
• die Bewertung sexualisierter oder gewaltbezogener KI-Ausgaben,
• die Beratung zu altersgerechten Einstellungen und Zugangsbeschränkungen,
• Hinweise zu Risiken durch virtuelle Beziehungen und emotionale Manipulation,
• die Begleitung wesentlicher Änderungen am KI-Angebot.

Eine solche Beratung ersetzt weder technische Sicherheitstests noch eine erforderliche rechtliche Prüfung oder die datenschutzrechtliche Bewertung des Systems.

Die Verantwortung für das Angebot verbleibt beim Betreiber.

Unsere Einschätzung aus der Praxis

KI-Chatbots stellen den Jugendmedienschutz vor eine besondere Herausforderung: Nicht nur einzelne Inhalte, sondern ganze Gesprächsverläufe können für die Bewertung entscheidend sein.

Ein Angebot kann zunächst harmlos erscheinen und erst nach längerer Interaktion problematische Antworten erzeugen.

Hinzu kommt die Möglichkeit, dass Nutzer eine persönliche Bindung zu einem virtuellen Charakter entwickeln.

Wir empfehlen deshalb, KI-Angebote nicht ausschließlich anhand ihrer Startseite, ihrer Nutzungsbedingungen oder einiger beispielhafter Antworten zu beurteilen.

Wichtig sind auch die tatsächlichen Interaktionsmöglichkeiten, die vorgesehenen Altersgruppen und die Wirksamkeit der eingesetzten Schutzmechanismen.

Fazit: KI-Jugendschutz muss die gesamte Interaktion berücksichtigen

Bei KI-Chatbots und virtuellen Begleitern entstehen Jugendschutzrisiken nicht nur durch einzelne Texte oder Bilder, sondern auch durch längere Gespräche, personalisierte Reaktionen und die Gestaltung virtueller Beziehungen.

Der JMStV, der europäische AI Act und gegebenenfalls der DSA können unterschiedliche Anforderungen an solche Angebote stellen.

Seit August 2026 gelten insbesondere Transparenzpflichten für direkt mit Menschen interagierende KI-Systeme. Bestimmte manipulative KI-Praktiken sind nach Artikel 5 des AI Act verboten.

Unser Tipp: Prüfen Sie KI-Chatbots nicht nur auf einzelne problematische Antworten. Berücksichtigen Sie auch längere Gesprächsverläufe, die Zielgruppe, mögliche emotionale Abhängigkeiten und die Wirksamkeit technischer Schutzmaßnahmen.