Die italienische Datenschutzbehörde (Garante) hat am 19. Mai 2025 eine Geldstrafe von 5 Millionen Euro gegen das US-Unternehmen Luka Inc., Betreiber des KI-Chatbots „Replika“, verhängt. Die Behörde wirft dem Unternehmen insbesondere die Verletzung von Rechtsgrundlagen der Datenverarbeitung, eine unzureichende Datenschutzerklärung und das Fehlen von Jugendschutzmechanismen vor. Neben dem Bußgeld wurde zudem eine autonome Untersuchung der Trainingsmethoden des generativen KI-Chatbot des Dienstes eingeleitet.
Hintergrund der Untersuchung
Die Untersuchung durch die Garante entstand laut ihrer Pressemitteilung aus einer eigenständigen Initiative der Behörde, ausgelöst durch Presseberichte und vorläufige Ermittlungen zum Dienst „Replika“. Der KI-Chatbot „Replika“ bietet Nutzern über eine schriftliche und sprachliche Schnittstelle die Möglichkeit, einen „virtuellen Freund“ zu generieren, dem sie die Rolle eines Vertrauten, Therapeuten, romantischen Partners oder Mentors zuschreiben können. Bereits im Februar 2023 hatte die italienische Aufsichtsbehörde die vorübergehende Blockierung der Replika-Anwendung angeordnet. Die endgültige Entscheidung in diesem Fall erging am 10. April 2025.
Festgestellte Verstöße und Mängel
Die italienische Datenschutzbehörde stellte im Rahmen ihrer Untersuchung mehrere Verstöße gegen die Datenschutz-Grundverordnung (DS-GVO) fest, die bereits im Februar 2023 gerügt wurden. Dazu gehören:
- Fehlende Rechtsgrundlage: Luka Inc. hatte bis zum 2. Februar 2023 keine rechtlichen Grundlagen für die über „Replika“ durchgeführten Verarbeitungsvorgänge identifiziert. Dies betrifft insbesondere Art. 5 Abs. 1 lit. a und Art. 6 DS-GVO.
- Unzureichende Datenschutzerklärung: Die bereitgestellte Datenschutzerklärung des Unternehmens war in verschiedenen Aspekten mangelhaft. Hier wurden Verstöße gegen Art. 5 Abs. 1 lit. a, Art. 12, Art. 13, Art. 24 und Art. 25 Abs. 1 DS-GVO festgestellt.
- Mangelnde Altersverifikation: Bis zum 2. Februar 2023 fehlte ein Mechanismus zur Altersüberprüfung der Nutzer, sowohl bei der Registrierung für den Dienst als auch während seiner Nutzung. Dies geschah, obwohl das Unternehmen angab, Minderjährige von potenziellen Nutzern auszuschließen.
- Andauernde Mängel beim Jugendschutz: Technische Prüfungen ergaben, dass das aktuell implementierte Altersverifizierungssystem weiterhin Mängel aufweist.
5 Mio. € Bußgeld
Für diese beim KI-Chatbot festgestellten Verstöße verhängte die italienische Datenschutzbehörde ein Bußgeld in Höhe von 5 Millionen Euro gegen Luka Inc.. Zusätzlich zur Geldstrafe wurde dem Unternehmen auferlegt, seine Verarbeitungsvorgänge an die Bestimmungen der DS-GVO anzupassen.
Weitere Untersuchung des KI-Trainings
Zudem wurde eine neue, unabhängige Untersuchung durch die Garante eingeleitet. Diese Untersuchung zielt darauf ab, Klarheit bezüglich der Datenverarbeitung über den gesamten Lebenszyklus des generativen KI-Systems von „Replika“ zu erhalten. Im Fokus stehen insbesondere Aspekte wie Risikobewertungen und Schutzmaßnahmen, die während der Entwicklung und des Trainings des Sprachmodells von „Replika“ ergriffen wurden. Auch die eventuelle Implementierung von Anonymisierungs- oder Pseudonymisierungsmaßnahmen soll überprüft werden. Eine Reaktion von Luka Inc. auf dieses Bußgeld und die Anordnungen der italienischen Datenschutzbehörde ist aktuell nicht bekannt.
Parallelen zum OpenAI-Verfahren
Die jüngste Entscheidung der Garante gegen Luka Inc. reiht sich in eine Serie aufsehenerregender Maßnahmen gegen Anbieter generativer KI-Systeme ein. Bereits im Januar 2025 hatte die italienische Datenschutzbehörde ein Bußgeld in Höhe von 15 Millionen Euro gegen OpenAI verhängt – ebenfalls aufgrund von unzureichenden Transparenzmaßnahmen, einer fehlenden oder mangelhaften Rechtsgrundlage für die Datenverarbeitung sowie mangelhaftem Schutz Minderjähriger im Zusammenhang mit der Nutzung von ChatGPT. Auch in diesem Fall kritisierte die Garante die unzureichende Umsetzung von Datenschutzgrundsätzen während der Trainingsphase des KI-Modells. Die Parallelen zum Fall „Replika“ zeigen, dass die Garante bei KI-Anwendungen den gesamten Lebenszyklus solcher Systeme – vom Training bis zur Nutzung – einer datenschutzrechtlichen Prüfung unterzieht.
Bedeutung der Entscheidung
Dieses Bußgeld der italienischen Datenschutzbehörde gegen Luka Inc. und den KI-Chatbot Replika sendet ein klares Signal an alle Anbieter von KI-Diensten, insbesondere jene, die personenbezogene Daten von EU-Bürgern verarbeiten. Sie unterstreicht die uneingeschränkte Anwendbarkeit der DS-GVO auf hochdynamische, technologiegetriebene Geschäftsmodelle, selbst wenn der Verantwortliche außerhalb der EU ansässig ist, da das Marktprinzip greift.
Die Feststellungen der Garante betonen die Notwendigkeit einer von Anfang an datenschutzfreundlichen Gestaltung (Privacy by Design und by Default), einer klaren Rechtsgrundlage, umfassender Transparenz und wirksamer Jugendschutzmechanismen beim Einsatz von KI-Chatbots. Die eingeleitete zusätzliche Untersuchung zu den KI-Trainingsmethoden zeigt, dass die Aufsichtsbehörden ihren Fokus im gesamten KI-Lebenszyklus erweitern. Insbesondere im Hinblick auf den Schutz personenbezogener Daten und die Umsetzung von Anonymisierungs- und Pseudonymisierungsmaßnahmen. Der Fall „Replika“ könnte somit eine wegweisende Rolle für weitere Verfahren auf nationaler und europäischer Ebene spielen und ein Schritt in Richtung datenschutzkonformes KI-Ökosystem in Europa darstellen.
