SBS Firmengruppe Logos

| KI-Recht

AI Companions: Nähe auf Knopfdruck


Was passiert, wenn ein Chatbot tröstet, flirtet und eine emotionale Bindung aufbaut? AI Companions sind Realität. Millionen Menschen nutzen KI-Systeme heute als digitale Freunde, Gesprächspartner, romantische Begleiter oder scheinbare Therapeuten.

Diese Nähe auf Knopfdruck macht die Technologie zu einem Teil der menschlichen Kommunikation und gleichzeitig so gefährlich. Denn wenn Sprachmodelle menschliche Zuwendung simulieren, können sie das Verhalten, Entscheidungen und Abhängigkeiten der Nutzer stark beeinflussen. Die EU will solche Risiken zwar mit der KI-Verordnung regulieren – doch gerade bei emotionalen KI-Begleitern zeigt sich, dass der bestehende Rechtsrahmen nicht weit genug reicht.


Was sind AI Companions?

AI Companions sind sogenannte KI-basierte Begleiter, die mit Menschen in natürlicher Sprache kommunizieren und dabei eine fortlaufende, persönliche Beziehung simulieren. Anders als klassische Chatbots beantworten sie nicht nur Fragen oder erledigen Aufgaben. Sie sollen zuhören, reagieren, erinnern, trösten oder motivieren. Und werden dadurch oft wie ein vertrauter Gesprächspartner behandelt.

Ein Beispiel: Eine Nutzerin schreibt ihrem KI-Begleiter jeden Abend, wie ihr Tag war. Das System merkt sich frühere Gespräche, fragt später nach bestimmten Themen und reagiert mit Zuspruch. Genau diese Kontinuität unterscheidet AI Companions von einfachen Support- oder Info-Chatbots.


Wie funktionieren AI Companions?

AI Companions basieren meist auf großen Sprachmodellen, die menschliche Sprache analysieren, verstehen und überzeugend nachbilden können. Ergänzend nutzen viele Systeme weitere Technologien wie Spracherkennung, synthetische Stimmen, Avatare oder teilweise auch Emotionserkennung. Insbesondere steht die Personalisierung im Fokus. Der digitale Begleiter merkt sich je nach System frühere Gespräche, Vorlieben oder wiederkehrende Themen und kann dadurch den Eindruck einer fortlaufenden Beziehung erzeugen. Moderne Anwendungen passen ihre Antworten zudem durch Feedback der Nutzer laufend an und werden im Verlauf immer individueller in ihrer Kommunikation.

Vorteile

  • Rund um die Uhr verfügbar
  • Individuell anpassbare Gespräche
  • Niedrige Hemmschwelle für persönliche Themen
  • Unterstützung bei Alltag, Lernen oder Organisation
  • Skalierbar für sehr viele Nutzer gleichzeitig

 

Nachteile

  • Kein echtes Verständnis und keine echten Gefühle
  • Risiko emotionaler Abhängigkeit
  • Sensible Datenschutzfragen durch persönliche Gesprächsinhalte
  • Möglichkeit falscher oder ungenauer Antworten
  • Gefahr, reale soziale Kontakte zu verdrängen


Was sind die Gefahren von AI Companions?

Die Risiken von AI Companions entstehen vor allem aus ihrer überzeugenden Simulation eines echten Interaktionspartners. Sie sprechen menschlich, reagieren persönlich und vermitteln Nähe – verfügen aber weder über echtes Verständnis noch über Verantwortung oder Empathie. Das macht sie auch so gefährlich, wie man an den nachfolgenden Punkten erkennt.

Emotionale Abhängigkeit

AI Companions sind jederzeit verfügbar, freundlich und anpassungsfähig. Dadurch kann eine Bindung entstehen, die sich für Nutzer real anfühlt. Besonders gefährdet sind Menschen in einsamen oder psychisch belasteten Situationen. Problematisch wird es, wenn reale soziale Kontakte dadurch verdrängt werden.

Verzerrte Beziehungserwartungen

Ein KI-Begleiter widerspricht selten, ist geduldig und passt sich dem Nutzer an. Das kann dazu führen, dass echte zwischenmenschliche Beziehungen als anstrengender oder weniger erfüllend wahrgenommen werden. Gerade bei jungen Menschen kann dies die soziale Entwicklung beeinflussen.

Falsche Beratung und Fehlinformation

AI Companions klingen in der Regel überzeugend, auch wenn ihre Antworten falsch sind. Werden sie bei gesundheitlichen, psychologischen, finanziellen oder rechtlichen Fragen als verlässliche Instanz genutzt, können fehlerhafte Aussagen echte Schäden verursachen.

Datenschutz und intime Profile

Viele Systeme funktionieren umso besser, je mehr sie über ihre Nutzer wissen. Dabei können sehr persönliche Informationen verarbeitet werden, etwa zu Stimmung, Gesundheit, Beziehungen, Arbeitsinhalten oder Gewohnheiten. Aus solchen Daten lassen sich detaillierte Profile ableiten, etwa über psychische Verfassung, Tagesrhythmus oder Bindungsbedürfnisse.

Manipulation und Einflussnahme

Weil AI Companions individuell auf Nutzer reagieren, können sie Verhalten subtil lenken. Das reicht von Produktempfehlungen bis zu Meinungsbeeinflussung. Besonders heikel ist, dass Nutzer den digitalen Begleiter häufig als neutral oder vertraut wahrnehmen, obwohl er von einem Unternehmen entwickelt und gesteuert wird.

Ethische Verantwortungslücke

AI Companions können Intimität und Vertrauen erzeugen, ohne selbst Verantwortung zu tragen. Damit stellt sich die Frage, wie solche Systeme reguliert werden müssen – besonders dann, wenn sie in sensiblen Bereichen wie mentaler Gesundheit, Beratung oder Beziehungsgestaltung eingesetzt werden.


Was sagt die DSGVO dazu?

Sobald AI Companions personenbezogene Daten verarbeiten, gilt die DSGVO. Besonders wichtig sind dabei die Grundsätze aus Art. 5 DSGVO. Anbieter müssen also sicherstellen, dass Daten rechtmäßig, zweckgebunden, sparsam, richtig, zeitlich begrenzt und sicher verarbeitet werden. Gerade bei KI-Begleitern ist das anspruchsvoll, weil Nutzer häufig sehr persönliche Informationen teilen und das System daraus langfristige Profile bilden kann.

Praktisch bedeutet das:

  • Für jede Datenverarbeitung braucht es eine tragfähige Rechtsgrundlage.
  • Nutzer müssen verständlich erfahren, welche Daten verarbeitet werden und zu welchem Zweck.
  • Es dürfen nur die Daten erhoben werden, die wirklich erforderlich sind.
  • Es braucht klare Speicherfristen und Löschkonzepte.
  • Zugriffe, Protokolle und Weitergaben müssen technisch abgesichert sein.
  • Sensible Funktionen wie emotionale Analyse oder Training mit Chatverläufen müssen besonders streng geprüft werden.

Bei der Rechtsgrundlage kommt es stark auf den konkreten Einsatz an. Eine Einwilligung kann möglich sein, ist aber nicht automatisch die beste Lösung. Je nach Funktion können auch Vertragserfüllung oder berechtigte Interessen in Betracht kommen. Gerade bei berechtigten Interessen reicht jedoch keine pauschale Begründung. Anbieter müssen konkret darlegen, warum die Verarbeitung notwendig ist, ob mildere Mittel bestehen und weshalb die Interessen der Nutzer nicht überwiegen. Je intimer und eingriffsintensiver die Funktion ist, desto höher werden die Anforderungen an diese Rechtfertigung.


Mehr Transparenz durch den AI Act?

Der EU AI Act bringt neben der DSGVO eine eigene Transparenzlogik mit sich. Besonders relevan ist im Zusammenhang mit AI Companions  Art. 50: Systeme, die direkt mit Menschen interagieren, müssen so gestaltet sein, dass Betroffene wissen, dass sie mit einer KI sprechen, außer das ist im konkreten Kontext offensichtlich.

Für AI Companions heißt das praktisch:

  • Die KI muss erkennbar als KI auftreten.
  • Die Kennzeichnung darf nicht versteckt oder nur im Kleingedruckten stehen.
  • Die Information muss zu Beginn oder spätestens bei der ersten Interaktion klar verfügbar sein.
  • Bei synthetischen Inhalten, Deepfakes oder KI-generierter Ausgabe können weitere Kennzeichnungspflichten hinzukommen.

Der AI Act ist seit 1. August 2024 in Kraft und wird gestaffelt angewendet. Die erwähnte Transparenzpflicht wird ab dem 2. August 2026 gelten. Schon seit 2025 relevant sind unter anderem die Regeln zu verbotenen KI-Praktiken und die Vorgaben zur KI-Kompetenz.

Wer als Unternehmen also ein AI Companions einführt möchte, sollte bereits jetzt die neuen Pflichten einplanen. Das betrifft insbesondere Produktdesign, Datenschutztexte, Monitoring, Dokumentation und den Umgang mit Drittanbietern.

Bei AI Companions treten in der Praxis zudem immer wieder dieselben Problemfelder auf:

  • Aufzeichnung von Gesprächen ohne ausreichende Transparenz.
  • Nutzung von Nutzereingaben zum Modelltraining ohne klare Wahlmöglichkeit.
  • Speicherung zu langer Historien.
  • Unklare Rollenverteilung zwischen Anbieter, Betreiber und Drittplattform.
  • Übermittlungen in Drittstaaten oder an Unterauftragsverarbeiter.
  • Emotionserkennung oder Verhaltensprofiling ohne ausreichende Rechtsgrundlage.

Was sind Ihre Pflichten als Anbieter und Unternehmen?

Ein rechtssicherer Einsatz von AI Companions gelingt nur mit durchdachten Datenschutz- und Compliance-Strukturen. Anbieter müssen nachvollziehbar dokumentieren, welche Daten verarbeitet werden, auf welcher Rechtsgrundlage dies geschieht und wie Nutzer informiert, geschützt und in ihren Rechten unterstützt werden. Unternehmen, die solche Systeme intern einsetzen, sollten zusätzlich regeln, welche Informationen Mitarbeitende überhaupt eingeben dürfen. Vor allem Geschäftsgeheimnisse, Kundendaten oder Gesundheitsdaten dürfen nicht unkontrolliert in externe KI-Systeme gelangen.

Maßnahme

Bedeutung in der Praxis

Verzeichnis der Verarbeitungstätigkeiten

Dokumentiert, welche Daten zu welchen Zwecken verarbeitet werden

Rechtsgrundlagenprüfung

Klärt, ob Einwilligung, Vertragserfüllung oder berechtigtes Interesse tragfähig ist

Datenschutzhinweise

Informieren Nutzer verständlich über Datenverarbeitung, Zwecke und Rechte

Lösch- und Aufbewahrungskonzept

Regelt, wie lange Daten gespeichert und wann sie gelöscht werden

Technische Schutzmaßnahmen

Sichern Daten durch Zugriffskontrollen, Verschlüsselung und Protokollierung

Prüfung von Drittlandtransfers

Bewertet, ob Daten in Länder außerhalb der EU übertragen werden

Datenschutz-Folgenabschätzung

Erforderlich bei hohem Risiko, etwa bei sensiblen Daten oder emotionaler Profilbildung

Interne KI-Richtlinie

Legt fest, welche Daten Mitarbeitende in AI Companions eingeben dürfen


KI-VO und Deepfakes zeigen zwei Seiten desselben Problems

Die KI-Verordnung setzt bei datenbedingter Diskriminierung schon im Systemdesign an. KI mit unzulässigem Risiko ist verboten und für Hochrisiko-KI, etwa im Personalwesen, bei Kreditwürdigkeitsprüfungen oder im Bildungsbereich, gelten strenge Anforderungen an Risikomanagement, Datenqualität, Transparenz und menschliche Aufsicht. Gerade die Vorgaben zu repräsentativen und möglichst verzerrungsarmen Trainings- und Testdaten sollen verhindern, dass sich bestehende Benachteiligungen in automatisierten Entscheidungen fortsetzen.

Daneben zeigt das Thema Deepfakes, dass KI-Diskriminierung auch aktiv hervorbringen kann. Nicht einvernehmliche, sexualisierte Deepfakes betreffen ganz überwiegend Frauen und führen zu Kontrollverlust, Reputationsschäden und einem Rückzug aus digitalen Räumen. Auch deshalb stellt sich die Frage der Regulierung nicht nur bei Auswahl- und Bewertungssystemen, sondern ebenso bei generativen KI-Anwendungen. Die bestehenden Regeln der KI-VO und des DSA können hier einen rechtlichen Rahmen setzen. Entscheidend bleibt aber, ob Anbieter wirksame Schutzmechanismen tatsächlich umsetzen und Missbrauch früh begrenzen.


Wie sieht es in der EU aus?

Auf EU-Ebene steht 2026 vor allem die praktische Umsetzung der neuen KI-Regeln im Mittelpunkt. Dabei geht es um Leitlinien, Transparenzpflichten, Codes of Practice und die Abstimmung zwischen Kommission, Mitgliedstaaten und Datenschutzaufsichtsbehörden. Parallel wird im Rahmen des Digital-Omnibus über mögliche Vereinfachungen und Nachjustierungen diskutiert. Die Datenschutzbehörden machen jedoch deutlich, dass solche Anpassungen nicht zu einem geringeren Schutzniveau führen dürfen.

Der AI Act schafft zwar einen speziellen Rahmen für AI Companions, ersetzt aber nicht die DSGVO. Sobald personenbezogene Daten verarbeitet werden, bleiben die datenschutzrechtlichen Grundsätze maßgeblich. Der EDSA betont deshalb, dass KI-Anwendungen weiterhin an Rechtmäßigkeit, Transparenz, Zweckbindung, Datenminimierung und Sicherheit gemessen werden müssen.

In Deutschland kommt hinzu, dass Anbieter und Unternehmen neben dem AI Act auch die Auslegung der Datenschutzaufsichtsbehörden berücksichtigen müssen. Praktisch müssen daher drei Ebenen zusammengedacht werden: die DSGVO für die Datenverarbeitung, der AI Act für KI-spezifische Transparenz- und Systempflichten sowie eine interne Governance, die Freigaben, Schulungen und Kontrollen verbindlich regelt.


Warum der europäische Rechtsrahmen bei AI Companions Lücken lässt

Die Europäische Union hat mit der KI-Verordnung zwar einen umfassenden, risikobasierten Rechtsrahmen geschaffen. Bei AI Companions greift dieser jedoch nur begrenzt. Zwar können besonders problematische Fälle unter die Verbote manipulativer oder ausbeuterischer KI-Praktiken fallen, etwa wenn simulierte Empathie gezielt eingesetzt wird, um emotionale Abhängigkeit zu fördern. Die rechtliche Schwelle dafür ist jedoch hoch, weil regelmäßig ein erheblicher Schaden wahrscheinlich sein muss.

Auch eine Einordnung als Hochrisiko-KI kommt meist nur in Sonderfällen in Betracht, etwa wenn ein AI Companion therapeutische Funktionen übernimmt oder biometrische Daten zur Emotionserkennung nutzt. Für viele klassische digitale Begleiter bleiben daher vor allem Transparenzpflichten. Nutzer sollen erkennen, dass sie mit einer KI interagieren. Genau das reicht aber häufig nicht aus. Der sogenannte Eliza-Effekt zeigt, dass Menschen auch dann Empathie und Verständnis in ein System hineinlesen, wenn sie wissen, dass es künstlich ist. Gerade in emotionalen Situationen verliert ein Hinweis wie „Ich bin eine KI“ schnell an Schutzwirkung.

In der EU müssen AI Companions damit immer aus zwei Perspektiven betrachtet werden. Die DSGVO regelt die Verarbeitung personenbezogener Daten, während der AI Act vor allem Transparenz- und Systempflichten ergänzt. Datenschutzbehörden betonen dabei, dass KI-Anwendungen nicht außerhalb der DSGVO stehen. Rechtmäßigkeit, Datensparsamkeit, Zweckbindung, Betroffenenrechte und technische Sicherheit bleiben zentrale Maßstäbe.

Außerhalb der EU, etwa in der Schweiz, ist der Ansatz flexibler. Dort orientiert sich die Regulierung stärker an allgemeinen Grundsätzen und internationalen Rahmenwerken. Für Anbieter bedeutet das jedoch nicht automatisch weniger Verantwortung. Auch dort bleiben Transparenz, Zweckbindung und Datensicherheit entscheidend – nur ist der rechtliche Rahmen weniger detailliert ausgestaltet als im EU-Recht.


Wie andere Länder AI Companions regulieren

International entwickelt sich die Regulierung von AI Companions sehr unterschiedlich. Während die EU mit DSGVO und AI Act einen besonders umfassenden Rahmen aus Datenschutz, Transparenz und Risikosteuerung schafft, arbeiten andere Staaten stärker mit sektoralen Regeln, Verbraucherschutzvorgaben oder Inhaltskontrolle. Wer AI Companions also international bereitstellt, kann sich kaum auf ein einheitliches Modell verlassen, sondern braucht eine länderspezifische Compliance-Strategie.

In den USA gibt es bislang keinen einheitlichen bundesweiten Datenschutzrahmen, der mit der DSGVO vergleichbar wäre. Stattdessen entstehen einzelne Regeln auf Ebene der Bundesstaaten. Kalifornien und New York haben 2025 erste Vorgaben eingeführt, die vor allem Transparenzhinweise und Schutzmechanismen in Krisensituationen betreffen. Diskutiert werden außerdem Altersverifikationen und strengere Beschränkungen für Minderjährige. Besonders weit geht ein Entwurf aus North Carolina, der Anbietern von AI Companions umfassende Sorgfalts- und Schutzpflichten auferlegen würde, etwa bei emotionaler Abhängigkeit, manipulativer Gestaltung, Datenschutz und akuten Krisenlagen. Parallel zeigen erste Haftungsverfahren, dass Gerichte künftig stärker prüfen könnten, ob Anbieter für Schäden durch ihre Systeme einstehen müssen.

China verfolgt einen deutlich stärker steuernden Ansatz. Die ab Juli 2026 vorgesehenen Regeln setzen unter anderem auf gesonderte Einwilligungen für die Nutzung von Daten zur Systemverbesserung, Altersangaben, Informationen zu gesetzlichen Vertretern und Notfallkontakten sowie Meldepflichten bei erkannten Suizidrisiken. Zudem müssen Anbieter regelmäßig klarstellen, dass Nutzer mit einer KI interagieren. Für Minderjährige gelten zusätzliche Schutzmechanismen, bis hin zu Einschränkungen oder Verboten virtueller romantischer Beziehungen. Damit steht in China neben Datenschutz vor allem die Kontrolle sensibler Inhalte, Plattformverantwortung und staatliche Risikosteuerung im Mittelpunkt.

Was das praktisch heißt

  • AI Companions müssen je nach Zielmarkt rechtlich unterschiedlich bewertet werden.
  • In der EU stehen vor allem DSGVO, AI Act, Kennzeichnungspflichten, Rechtsgrundlagen, Informationspflichten und Datenminimierung im Fokus.
  • In den USA spielen häufig Vertragsgestaltung, Haftungsfragen, bundesstaatliche Einzelregelungen und Verbraucherschutz eine größere Rolle.
  • In China können Inhaltskontrolle, Plattformpflichten und staatliche Vorgaben besonders relevant sein.
  • Ein Produkt sollte nicht am „lockersten“ Markt ausgerichtet werden, weil es sonst in strengeren Rechtsräumen schnell rechtswidrig sein kann.
  • Bei Datenübermittlungen aus der EU in Drittstaaten braucht es eine gesonderte Prüfung.
  • Werden Cloud- oder Trainingsinfrastrukturen außerhalb Europas genutzt, sind häufig Standardvertragsklauseln und eine Transfer-Folgenabschätzung erforderlich.

Besonders kritisch wird es, wenn Anbieter außerhalb der EU keinen gesetzlichen Vertreter in der EU benannt haben.


Fazit: Regulierung muss Beziehungen verstehen

Die Entwicklung im Jahr 2026 macht deutlich, dass KI weltweit stärker reguliert wird. Jedoch mit sehr unterschiedlichen Ansätzen. Während die EU auf ein strukturiertes, risikobasiertes Modell setzt, verfolgen die USA einen dezentralen und stärker haftungsgetriebenen Ansatz und China stellt Kontrolle und Plattformverantwortung in den Mittelpunkt. Für Unternehmen bedeutet das: Internationale Angebote von AI Companions erfordern differenzierte Strategien, keine Einheitslösung.

Gleichzeitig zeigt das Gesamtbild, dass bestehende Regelwerke an ihre Grenzen stoßen. AI Companions erzeugen Risiken nicht punktuell, sondern über Zeit durch Beziehungen, Interaktion und Vertrauen. Diese Dynamik wird bislang nur unzureichend erfasst. Klassische Kategorien wie „hohes Risiko“ oder „Transparenzpflicht“ greifen zu kurz, wenn emotionale Bindungen und individuelle Nutzungsmuster im Mittelpunkt stehen.

Die regulatorische Diskussion entwickelt sich daher weiter – weg von rein technischen Anforderungen, hin zu einem stärkeren Fokus auf Nutzung, Wirkung und Verantwortung. Im Raum stehen dabei insbesondere:

  • Neue Transparenzansätze, die situativ und verständlich über die künstliche Natur und Grenzen der Systeme aufklären
  • Designvorgaben, die manipulative oder abhängigkeitserzeugende Mechanismen einschränken
  • Verpflichtende Risikoprüfungen, insbesondere im Hinblick auf mentale Gesundheit und problematische Nutzungsmuster
  • Differenzierte Schutzkonzepte, etwa für Minderjährige oder besonders vulnerable Nutzergruppen
  • Erweiterte Sorgfalts- und Treuepflichten, die Anbieter stärker an den Interessen der Nutzer ausrichten

Am Ende bleibt es aktuell an Anbieter und Entwickler hängen, AI Companions mit Verantwortung zu denken.


SBS LEGAL - Kanzlei für KI-Recht

Sie möchten wissen, welche rechtlichen Anforderungen für AI Companions in Ihrem Unternehmen gelten? Müssen Sie Ihre Systeme nach dem AI Act anpassen oder bestehende Prozesse datenschutzrechtlich neu bewerten? Und Sie fragen sich, wie sich innovative KI-Anwendungen nutzen lassen, ohne Compliance-Risiken einzugehen?

Dann sind Sie bei SBS LEGAL genau richtig!

Als spezialisierte Kanzlei im KI-Recht sind wir seit den ersten regulatorischen Entwicklungen rund um Künstliche Intelligenz einer der ersten Ansprechpartner der neuen Rechtsmaterie. Wir unterstützen Sie bei der rechtssicheren Gestaltung und Implementierung von AI-Systemen, prüfen Ihre Prozesse im Lichte der KI-VO (EU) 2024/1689 und entwickeln gemeinsam mit Ihnen praxisnahe Lösungen für den Einsatz von AI Companions. Dabei behalten wir sowohl die Anforderungen des AI Acts als auch die Vorgaben der DSGVO im Blick und sorgen dafür, dass Ihre KI-Strategie innovativ, sicher und rechtlich belastbar aufgestellt ist.

Für weitere Rückfragen stehen wir Ihnen jederzeit gerne auch telefonisch zur Verfügung. Wünschen Sie die Rechtsberatung von dem erfahrenen Team aus Fachanwälten und Spezialisten von SBS LEGAL?

Der Erstkontakt zu SBS LEGAL ist immer kostenlos.

SBS Direktkontakt

telefonisch unter (+49) 040 / 7344086-0 oder
per E-Mail unter mail@sbs-legal.de oder
per unten angebotenem SBS Direktkontakt.

Ich habe die Datenschutzhinweise gelesen und stimmen diesen hiermit zu.


Zurück zur Blog-Übersicht