Automatisierte Entscheidungssysteme (ADM) haben die Entscheidungsfindung in nahezu allen Sektoren verändert. Sie verarbeiten personenbezogene Daten, um weitreichende Entscheidungen zu treffen – etwa bei Kreditvergaben oder Bewerbungsverfahren. Diese oftmals auf künstlicher Intelligenz basierenden Systeme bringen jedoch Risiken wie Intransparenz, Bias und Diskriminierung mit sich. Die Menschliche Aufsicht gilt daher als zentrale Schutzmaßnahme. Dabei darf sie wie der EDPS im aktuellen TechDispatch berichtet, nicht als bloß formaler Schritt verstanden werden, sondern muss tatsächliche Einflussmöglichkeiten bieten und Verantwortung absichern.
EDPS TechDispatch
Der Europäische Datenschutzbeauftragte (EDPS) veröffentlicht regelmäßig TechDispatch-Berichte, um neue technologische Entwicklungen zu erläutern und ihre Auswirkungen auf den Datenschutz zu bewerten. Der aktuelle TechDispatch #2/2025 vom 23. September 2025 befasst sich explizit mit der Menschlichen Aufsicht automatisierter Entscheidungsfindung. Der Bericht warnt davor, dass regulatorische Rahmenwerke und Implementierungen oft auf übermäßig optimistischen Annahmen beruhen. Die unkritische Akzeptanz dieser Annahmen kann zu unzureichenden oder fehlerhaften Umsetzungen führen, was erhebliche Risiken und potenzielle Verletzungen von Grundrechten nach sich zieht.
Was ist Automatisierte Entscheidungsfindung?
Automatisierte Entscheidungsfindung (ADM) umfasst Systeme, die Entscheidungen treffen, welche die Rechte und das Leben von Individuen beeinflussen können, beispielsweise bei der Beurteilung der Eignung für Sozialleistungen oder bei Kreditprüfungen. ADM-Systeme können durch Machine Learning oder Deep Learning AI-basiert sein, aber auch ohne KI durch vordefinierte Regeln, deterministische Algorithmen oder programmierte Logik implementiert werden.
Wie definiert EDPS die menschliche Aufsicht?
Der EDPS definiert die menschliche Aufsicht durch drei eng miteinander verbundene Konzepte. Zum einen ist die menschliche Aufsicht (Human Oversight) die aktive Beteiligung mindestens eines menschlichen Bedieners (operator) an der Überwachung des ADM-Systembetriebs. Dazu gehöre ebenso die Bewertung seiner Entscheidungen und die Fähigkeit, bei Bedarf einzugreifen. Der Fokus liege zudem auf der Echtzeit-Aufsicht (real-time), da dies das kritische Zeitfenster zur Verhinderung von Schäden ist. Als zweites wird die bedeutungsvolle Aufsicht (Meaningful) definiert als aktive Beteiligung, die die Qualität der Entscheidungen des Systems verbessert und mehr als nur eine prozedurale Formalität oder symbolische Geste darstellt. Zuletzt bedarf es einer wirksamen Aufsicht (Effective). Diese bezieht sich auf die menschliche Beteiligung, die einen spürbaren, positiven Einfluss auf die Ergebnisse hat, indem sie Schaden verhindert oder mindert, Fairness fördert und die Rechenschaftspflicht verbessert.
Risiken bei ADM
Die Risiken von ADM-Systemen gehen weit über bloße technische Mängel hinaus. Neben den inhärenten Problemen der Opazität, Voreingenommenheit und Diskriminierung führen sie zu Verletzungen individueller Rechte und Grundrechte. Menschen sind hierzu oft vom Automation Bias betroffen. Dabei vertrauen die Bediener den Empfehlungen des Systems stark, selbst wenn diese ihrer Ausbildung oder verfügbaren Informationen widersprechen. Die Ausgaben des Systems können die Entscheidungslandschaft subtil steuern.
Mit zunehmender Integration von ADM entsteht ein Machtungleichgewicht zwischen den Betroffenen und den Systemkontrolleuren. Die Risiken der ADM können das Vertrauen in die Technologie untergraben und breiteren Schaden für demokratische Prozesse und den gesellschaftlichen Zusammenhalt verursachen. Im Falle von Systemversagen besteht die Gefahr, dass menschliche Aufsicht als „Moral Crumple Zone“ missbraucht wird, bei der die Schuld auf den Bediener abgelenkt wird, um die Integrität des technologischen Systems zu schützen. Die unkritische Implementierung der Aufsicht kann zudem ein falsches Gefühl der Sicherheit erzeugen und fehlerhafte Algorithmen legitimieren.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
Maßnahmen für wirksame menschliche Aufsicht
Um eine wirksame menschliche Aufsicht zu gewährleisten, die primär auf Risikominderung abzielt, müssen nach dem EDPS TechDispatch vier notwendigen Bedingungen erfüllt sein. Der Bediener benötigt erstens Interventionsmöglichkeiten (inkl. Übersteuerung), zweitens Zugang zu relevanten Informationen, drittens Handlungsfähigkeit und viertens passende Absichten, die auf Fairness und der Einhaltung der Grundrechte beruhen. Um diese zu erfüllen, können nach dem EDPS TechDispatch gezielte organisatorische und technische Maßnahmen ergriffen werden.
Organisatorische Maßnahmen
Zu den organisatorischen Maßnahmen zählen zuerst faire Arbeitsbedingungen und Zeit. Organisationen müssen stabile und faire Arbeitsbedingungen gewährleisten, da diese die Grundlage für eine sinnvolle Aufsicht bilden. Bediener benötigen ausreichend Zeit für kritische Überprüfungen, um die Qualität der Entscheidungen nicht Effizienzzielen unterzuordnen. Darüber hinaus muss die Unternehmenskultur die Aufsicht als wesentlichen Schutzmechanismus anerkennen. Es muss verhindert werden, dass die menschliche Aufsicht als bequemer Sündenbock bei Systemversagen missbraucht wird. Zudem sollten Organisationen umfassende kompetenzfördernde Schulungen anbieten, die das Funktionieren, die Fähigkeiten und die Grenzen des ADM-Systems abdecken. Die Schulung muss Systemfehler-Fälle behandeln, um den Automation Bias zu reduzieren.
Technische Maßnahmen
Neben den organisatorischen Maßnahmen sind auch technische Maßnahmen entscheidend für wirksame menschliche Aufsicht über automatisierte Entscheidungen. Für Entscheidungen sollten idealerweise erklärbare Modelle (wie regelbasierte Systeme) gegenüber komplexen Black-Box-Systemen priorisiert werden. Das System muss Entscheidungen erklärbar machen, um die Überprüfung zu unterstützen.
Um die kognitive Belastung des Bedieners zu minimieren, sind ein klares und intuitives Design der Benutzeroberfläche hilfreich. Das Design sollte neutral sein (z. B. neutraler Farbgebrauch statt Risikoscores), um den Bediener nicht ungewollt zu beeinflussen und das kritische Denken anzuregen. Gleichwohl können praktische Ansätze wie das Vier-Augen-Prinzip und Awareness Checkpoints (strukturierte Aufforderungen zur Neubewertung) die Wachsamkeit und die Zuverlässigkeit der Aufsicht erhöhen. Regelmäßige Audits sind erforderlich, um die Abhängigkeit der Bediener vom System zu überprüfen.
Niederländische Datenschutzbehörde zur menschlichen Aufsicht
Die niederländische Datenschutzbehörde (Autoriteit Persoonsgegevens, AP) hat ebenfalls einen Leitfaden zur Gestaltung der Bedeutungsvollen Menschlichen Intervention veröffentlicht und teilt im Wesentlichen den Standpunkt des EDPS. Wie der EDPS betont die AP, dass die Notwendigkeit einer menschlichen Intervention gesetzlich in Artikel 22 Absatz 1 DSGVO vorgeschrieben ist, welcher Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen, grundsätzlich verbietet. Die AP bekräftigt, dass menschliches Eingreifen sinnvoll sein muss und nicht nur eine symbolische Handlung darstellen darf.
Um dies zu gewährleisten, unterteilt die AP ihre Anforderungen in vier Hauptkomponenten (Mensch, Technologie und Entwurf, Prozess und Governance). Diese Struktur deckt sich inhaltlich weitgehend mit den vom EDPS formulierten Voraussetzungen und organisatorischen sowie technischen Maßnahmen. Letztlich betont die AP, dass die Endverantwortung für den Algorithmus bei der Organisation liegen muss und DSGVO-Compliance mehr erfordert als die bloße formale Einbeziehung eines Mitarbeiters am Ende eines automatisierten Prozesses.
Fazit
Die menschliche Aufsicht ist ein unverzichtbarer Mechanismus zur Absicherung von ADM-Systemen. Der EDPS TechDispatch verdeutlicht jedoch, dass optimistische Fehlannahmen das Risiko bergen, ein falsches Sicherheitsgefühl zu fördern, das fehlerhaften Algorithmen erlaubt, unter dem Deckmantel der menschlichen Kontrolle ungeprüft zu operieren. In ADM-Systemen inhärente Mängel wie systemischer Bias lassen sich nicht allein durch menschliche Aufsicht beheben.
Vor diesem Hintergrund gewinnt auch eine strukturierte Herangehensweise an KI-Compliance an Bedeutung. Unternehmen stehen vor der Aufgabe, nicht nur technische Risiken zu adressieren, sondern KI-Anwendungen ganzheitlich rechtskonform und verantwortungsvoll zu gestalten. KINAST unterstützt hierbei mit praxisnaher Beratung für einzelne KI-Projekte ebenso wie bei der Entwicklung umfassender Strategien. Dazu zählen die laufende Betreuung als externer KI-Beauftragter sowie zielgruppengerechte Schulungen zur Erfüllung der neuen KI-Kompetenzpflicht.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
