Die niederländische Datenschutzbehörde (Autoriteit Persoonsgegevens, AP) hat einen Leitfaden zur Gestaltung der Bedeutungsvollen Menschlichen Intervention veröffentlicht, um Organisationen und Unternehmen bei der Einhaltung der Vorschriften zur algorithmischen Entscheidungsfindung zu unterstützen. Angesichts der zunehmenden Nutzung von Algorithmen und Künstlicher Intelligenz (KI) in Bereichen wie Kreditanträgen oder Online-Bewerbungen bietet dieses Dokument praktische Hilfestellung und basiert auf den EDPB-Guidelines, wissenschaftlicher Literatur sowie der Expertise der AP. Die AP möchte damit Organisationen helfen, die menschliche Beteiligung so einzurichten, dass Entscheidungen sorgfältig getroffen werden und die (unbeabsichtigte) Diskriminierung oder der Ausschluss von Personen verhindert wird.
Pflicht zur menschlichen Intervention nach DSGVO und KI-VO
Die Notwendigkeit einer menschlichen Intervention ist gesetzlich vorgeschrieben und stellt in bestimmten Fällen eine Verpflichtung unter der DSGVO dar. Die DSGVO verbietet in Artikel 22 Absatz 1 Entscheidungen, die „ausschließlich auf einer automatisierten Verarbeitung“ beruhen und Rechtsfolgen für die betroffene Person haben oder diese „erheblich beeinträchtigt“. Um dieses Verbot zu umgehen, ist ‚menschliches Eingreifen‘ gemäß Artikel 22 Absatz 3 DSGVO eine geeignete Maßnahme. Dieses Eingreifen einer Person seitens des verantwortlichen muss sinnvoll sein und darf nicht nur eine symbolische Handlung darstellen. Darüber hinaus stellt die KI-Verordnung (Verordnung (EU) 2024/1689) in Artikel 14 Anforderungen an eine menschliche Aufsicht über Hochrisiko-KI-Systeme. Diese verfolgt das Ziel Risiken für die Grundrechte, die Sicherheit oder die Gesundheit zu begrenzen oder zu vermeiden.
Ergebnisse der öffentlichen Konsultation
Der veröffentlichte Leitfaden beruht auf einer öffentlichen Konsultation durch die AP. An dieser nahmen Regierungsbehörden, unabhängige Stiftungen, Unternehmen, Branchenorganisationen und Wissenschaftler teil. Es wurden ethische Fragen gestellt, wie beispielsweise, ob ein Algorithmus überhaupt das geeignete Mittel für einen Entscheidungsprozess sei. Ebenso stellten sie Fragen zu den vier identifizierten Hauptkomponenten (Mensch, Technologie und Entwurf, Prozess, Governance). einen Leitfaden für die Gestaltung und Umsetzung einer sinnvollen menschlichen Intervention veröffentlicht.
a) Mensch
Die DSGVO erlaubt es nicht, dass Menschen rechtliche Folgen erleiden oder anderweitig erheblich von den Ergebnissen eines Algorithmus betroffen sind (mit Ausnahmen). Ein Mensch darf diese Entscheidung jedoch treffen. Welche menschlichen Eigenschaften fehlen also einem Algorithmus, wenn es darum geht, eine Entscheidung zu treffen? Und was kann eine verantwortungsvolle Person tun, um diese Eigenschaften zum Ausdruck zu bringen?
Die niederländische Datenschutzaufsicht beantwortet dies wie folgt: Organisationen müssen sicherstellen, dass die Beurteiler alle relevanten Faktoren in ihre Analyse einbeziehen können, einschließlich der individuellen Umstände und Informationen, die der Algorithmus nicht verarbeitet. Es müsse Raum für menschliches Urteilsvermögen bestehen, um die menschliche Würde zu schützen und Maßarbeit zu liefern. Dies umfasse Eigenschaften wie Ethik, Empathie, Erfahrung und Kreativität. Zudem müssen Beurteiler kompetent sein, was bedeutet, dass sie zumindest im Großen und Ganzen verstehen, wie der Algorithmus zu einem Ergebnis kommt. Schließlich müssen sie über ausreichende KI-Kompetenz verfügen, wie sie es die KI-Verordnung verlangt.
b) Technologie und Entwurf
Bei der zweiten Komponente Technologie und Entwurf ging die AP der Frage nach wie der Algorithmus den menschlichen Bewerter beeinflusst? Denn Technologie ist niemals neutral, aber kann Einfluss darauf haben, inwieweit menschliches Eingreifen sinnvoll ist.
Daher kommt die niederländische Datenschutzbehörde zu dem Ergebnis, dass das Design der Benutzeroberfläche das Verhalten der Beurteiler nicht ungewollt beeinflussen darf. Das Interface sollte neutral sein (z. B. durch neutralen Farbgebrauch anstelle von signalroten Risikoscores). Zudem sollte es Erklärungen und Kontext zur Entstehung der Ergebnisse bieten. Die Präsentation der Daten muss so erfolgen, dass Beurteiler nicht Opfer von kognitiven Verzerrungen wie dem Automation Bias (Tendenz zur Überschätzung des Algorithmus) oder dem WYSIATI (What-You-See-Is-All-There-Is)-Problem werden. Denn Menschen neigen dazu sich hauptsächlich auf sichtbare Informationen zu konzentrieren, während sie das Unbekannte oder nicht Erinnerte ignorieren. Mehrere Studien belegen bereits, dass KI das kritische Denken mindern oder insgesamt zu einem Kompetenzverlust führen kann. Außerdem sollte das Interface Funktionen wie die Möglichkeit zur Korrektur von Daten oder die Dokumentation des Dissenses ermöglichen. Variation in der Präsentation oder das Einbauen von Kontrollfragen kann Routine vermeiden.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
c) Prozess
Die AP betont zudem, dass Unternehmen im besten Fall einen klar beschriebenen Prozess für bedeutungsvolles menschliches Eingreifen haben. Diesen sollten die beteiligten Mitarbeiter der Organisation auch verstehen und gut erklären können. Bei der Prozessgestaltung spielen Parameter wie zeitliche Abläufe und Eskalationsverfahren eine Rolle.
Die menschliche Intervention sollte zu einem Zeitpunkt erfolgen, an dem der Beurteiler tatsächlich Einfluss auf das algorithmische Ergebnis nehmen kann. Organisationen müssen sicherstellen, dass Beurteiler genug Zeit für ihre Entscheidungen haben. Eine Fokussierung auf Effizienzziele könne die Qualität mindern. Der Beurteiler müsse zudem die formelle Befugnis besitzen, von der algorithmischen Ausgabe abzuweichen, und dies auch ohne Angst vor Bestrafung tun können. Zudem ist Unterstützung ratsam, beispielsweise durch Team-in-the-Loop-Ansätze oder die Festlegung klarer Eskalationsverfahren für Zweifelsfälle.
d) Governance
Schließlich müssen Unternehmen Fragen wie Haftung, Verantwortung und Governance klären. Die Organisation müsse die Endverantwortung für den Einsatz des Algorithmus tragen. Es müssen klare Richtlinien und Verfahren für die Intervention festgelegt und dokumentiert werden. Bei Hochrisikosystemen empfiehlt die AP eine Datenschutz-Folgenabschätzung (DPIA). Zudem sollten Rollen explizit benannt werden, um die Verantwortung zu verankern. Darüber hinaus sind umfassende Schulungen für Beurteiler und Manager erforderlich, die Themen wie Bias, die Einschränkungen des Algorithmus und ethische Aspekte abdecken. Ebenfalls sind die Prüfung und Überwachung des Prozesses entscheidend. Dies könne beispielsweise durch das Messen der Ablehnungsraten oder Mystery Shopping geschehen.
Schlussfolgerungen für Unternehmen
Für Unternehmen bedeutet dieser Leitfaden, dass DSGVO-Compliance mehr erfordert als die bloße formale Einbeziehung eines Mitarbeiters am Ende eines automatisierten Prozesses. Die Organisationen müssen die Rechenschaftspflicht ernst nehmen, indem sie die Entscheidungen über die Intervention detailliert in ihren Verfahren (z. B. DPIA) dokumentieren. Es ist entscheidend, dass der Beurteiler die notwendige Kompetenz und Befugnis besitzt, um die algorithmische Entscheidung zu korrigieren oder abzulehnen. Dies gilt umso mehr, da eine unzureichende menschliche Beteiligung dazu dienen kann, mangelhafte automatische Prozesse zu legitimieren.
Fazit
Mit der Veröffentlichung dieses Leitfadens hat die AP das abstrakte Konzept der „ausschließlich automatisierten Verarbeitung“ (Art. 22 DSGVO) konkretisiert und in vier praxisnahe Handlungspfeiler unterteilt. Obwohl die AP nun detaillierte Handreichungen für die vier Säulen der Intervention bietet, kündigte sie an, weiterhin an der praktischen Auslegung anderer Kernbegriffe der DSGVO zu arbeiten. Insbesondere die Klärung, wann eine Entscheidung jemanden „erheblich beeinträchtigt“ und welche Informationen Betroffene über automatisierte Entscheidungen erhalten müssen, steht für die nahe Zukunft auf der Agenda der AP.
Wie sich die Vorgaben der DSGVO und KI-VO konkret in Ihrem Unternehmen umsetzen lassen, hängt stark von Prozessen und eingesetzten Technologien ab. Gerne unterstützen wir Sie mit individueller KI-Compliance-Beratung.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
