Mit ihrem 30. Tätigkeitsbericht legt die Landesbeauftragte für Datenschutz und Informationsfreiheit in Nordrhein-Westfalen (LDI NRW), Bettina Gayk, einen besonderen Fokus auf die Risiken beim Einsatz von Künstlicher Intelligenz (KI). KI-Systeme sind keine Zukunftsmusik mehr, sondern bereits Teil vieler unternehmerischer Prozesse. Umso wichtiger ist ein verantwortungsvoller Umgang, insbesondere wenn es um besonders sensible Daten geht – wie etwa in einem Fall der LDI NRW bei KI-Emotionserkennung im Callcenter.
KI als Überwachungsinstrument im Callcenter
Ein besonders brisanter Fall, den die LDI NRW ausführlich behandelt, betrifft den Einsatz einer KI-gestützten Emotionserkennungssoftware in einem Callcenter eines Online-Marketingunternehmens. Die Software analysierte über 6.000 stimmliche Parameter, darunter Sprachmelodie, Intensität und Rhythmus, um in Echtzeit emotionale Zustände wie Wut oder Freundlichkeit zu erkennen. Die Auswertung richtete sich sowohl auf die Stimmen der Kunden als auch auf die der Beschäftigten – mit dem Ziel, die Gesprächsführung zu verbessern und das Verhalten der Mitarbeitenden zu steuern.
LDI NRW: KI-Emotionserkennung unzulässig
Die LDI NRW stellte jedoch klar, dass dieser Einsatz datenschutzrechtlich unzulässig war. Die Stimme ist ein personenbezogenes Datum, das in diesem Kontext ohne eine valide Rechtsgrundlage verarbeitet wurde. Besonders schwer wog die fehlende Freiwilligkeit der Einwilligung der Beschäftigten. Der permanente Überwachungsdruck in Verbindung mit der Analyse emotionaler Merkmale führte zu einem erheblichen psychischen Anpassungsdruck, der einer wirksamen Einwilligung entgegenstand. Auch die Kunden wurden nicht ausreichend informiert. Zudem wurde versäumt, eine verpflichtende Datenschutz-Folgenabschätzung (DSFA) durchzuführen – ein gravierender Mangel, da Emotionserkennungssysteme gemäß der neuen EU-KI-Verordnung als Hochrisiko-KI eingestuft werden. Erst nach Einleitung der Prüfung stellte das Unternehmen die Nutzung des Systems ein. Ob eine Sanktionierung erfolgt, wird derzeit geprüft.
Datenschutz und Regulierung von KI
Über den Einzelfall hinaus thematisiert der Bericht das komplexe Spannungsfeld zwischen KI und Datenschutz. Dabei wird insbesondere auf die gemeinsam mit der Datenschutzkonferenz (DSK) veröffentlichte Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ verwiesen. Diese richtet sich an Unternehmen und Entwickler und betont Grundprinzipien wie Zweckbindung, Transparenz, Datenminimierung und Richtigkeit. Sie fordert außerdem, dass Datenschutzanforderungen bereits im Design von KI-Systemen berücksichtigt werden („Privacy by Design and Default“).
Hintergrund der Orientierungshilfe ist die neue EU-KI-Verordnung (KI-VO), die seit 2025 schrittweise Anwendung findet. Sie soll einen einheitlichen Rechtsrahmen für den Einsatz von KI schaffen. Die LDI NRW weist jedoch auf offene Fragen im Zusammenspiel mit der DSGVO hin. Unklare Begrifflichkeiten, unterschiedliche Adressaten und fehlende Kompetenzabgrenzungen zwischen Datenschutzaufsicht und Marktüberwachung könnten zu praktischen Reibungsverlusten führen. Die DSK spricht sich deshalb dafür aus, die Kontrolle von KI-Systemen, die personenbezogene Daten verarbeiten, weiterhin bei den Datenschutzbehörden zu belassen. Auch neue Regelungen, etwa zur Datenverarbeitung in Reallaboren oder zur Korrektur von Verzerrungen, werden als punktuelle Ergänzungen verstanden. Die DSGVO bleibe jedoch weiterhin der maßgebliche Rechtsrahmen für den Umgang mit personenbezogenen Daten, so die LDI NRW.
Generative KI und die Rechte der Betroffenen
Schließlich wirft der Bericht auch einen kritischen Blick auf den Einsatz generativer KI – etwa Large Language Models (LLMs) wie ChatGPT. Diese Systeme greifen in ihrer Entwicklung häufig auf öffentlich zugängliche Daten aus dem Internet zurück, die nicht selten auch personenbezogene Informationen enthalten. Die Datenverarbeitung erfolgt oft auf Grundlage eines behaupteten berechtigten Interesses (so Meta & eBay), was jedoch eine besonders sorgfältige Abwägung erfordert. Es stellt sich insbesondere die Frage, wie sich klassische Betroffenenrechte wie Auskunft, Berichtigung oder Löschung angesichts der komplexen und nicht rückverfolgbaren Funktionsweise solcher Systeme praktisch umsetzen lassen. Die neue KI-VO vermag diese Herausforderung bislang nicht aufzulösen, was die Bedeutung datenschutzrechtlicher Vorkehrungen umso mehr unterstreicht.
Fazit: Klare Konsequenzen für Unternehmen
Der 30. Tätigkeitsbericht der LDI NRW einschließlich de liefert mehr als eine kritische Bestandsaufnahme von KI. Er ist ein Weckruf für Unternehmen. Der Einsatz von KI ist nur dann nachhaltig und rechtlich zulässig, wenn er mit dem Schutz der Grundrechte und der DSGVO einhergeht. Datenschutz ist dabei kein Hindernis, sondern eine Voraussetzung für vertrauenswürdige Innovation.
Unternehmen müssen sich daher frühzeitig und strukturiert mit den datenschutzrechtlichen Anforderungen auseinandersetzen. Dazu gehört, KI-Systeme bereits bei der Konzeption auf Datenschutzfreundlichkeit auszurichten (Privacy by Design), die Rechtsgrundlagen für jede Verarbeitung transparent darzulegen, betroffene Personen umfassend zu informieren und ihre Rechte auch technisch durchzusetzen. Hochrisikoanwendungen – wie KI-Emotionserkennungssoftware – erfordern darüber hinaus eine fundierte Risikoanalyse und eine Datenschutz-Folgenabschätzung.
Nicht zuletzt empfiehlt sich ein offener Dialog mit den zuständigen Aufsichtsbehörden. Wer rechtzeitig den Austausch sucht, kann rechtliche Fallstricke vermeiden und den Weg für innovative, zugleich aber rechtskonforme Anwendungen ebnen. Die LDI NRW macht deutlich: Datenschutz ist keine lästige Pflicht, sondern eine tragende Säule digitaler Verantwortung.
