Die KI-Verordnung verpflichtet Anbieter von Hochrisiko-KI-Systemen zur Meldung schwerwiegender Vorfälle. Vor diesem Hintergrund hat die Europäische Kommission Entwürfe für Leitlinien und Meldevorlagen zu schwerwiegenden KI-Vorfällen nach Artikel 73 der KI-Verordnung (KI-VO) veröffentlicht. Die eigentliche Geltung der Pflichten für Hochrisiko-KI-Systeme beginnt erst August 2026.
Ziel der Meldepflicht nach Art. 73 KI-VO
Ziel dieser Berichtspflicht ist es, ein Frühwarnsystem zu etablieren, das es den Marktüberwachungsbehörden ermöglicht, potenziell schädliche Muster oder Risiken in Hochrisiko-KI-Systemen frühzeitig zu erkennen. Darüber hinaus soll die Rechenschaftspflicht der Anbieter sichergestellt, rechtzeitige Korrekturmaßnahmen ermöglicht und letztlich das öffentliche Vertrauen in KI-Technologien gestärkt werden. Die EU verfolgt dabei das Ziel, sich international mit Rahmenwerken wie dem AI Incidents Monitor der OECD abzustimmen.
Was ist ein „Schwerwiegender KI-Vorfall“?
Die KI-Verordnung definiert einen schwerwiegenden Vorfall in Artikel 3 Nr. 49 als ein Vorkommnis oder eine Fehlfunktion eines KI-Systems, das direkt oder indirekt zu einem oder mehreren der folgenden Schäden führt. Zu dem Tod einer Person oder einer schweren Beeinträchtigung der Gesundheit, einer schwerwiegenden und irreversiblen Störung des Managements oder Betriebs kritischer Infrastrukturen, der Verletzung von Verpflichtungen nach Unionsrecht zum Schutz der Grundrechte, oder einem schwerwiegenden Schaden an Eigentum oder der Umwelt. Eine Fehlfunktion ist dabei jede Funktion des KI-Systems, die nicht wie beabsichtigt funktioniert. Oder eine Situation, in der das System die vom Anbieter angegebene Leistung nicht erfüllt. Beispiele für Vorfälle oder Fehlfunktionen sind Fehlklassifizierungen, signifikante Genauigkeitsabfälle oder unerwartetes Systemverhalten.
Die Kausalität zwischen Vorfall und Schaden kann auch indirekt sein. Ein Beispiel für einen indirekten Schaden im Bereich der Grundrechte liegt vor, wenn ein KI-basiertes Kreditbewertungssystem die Unzuverlässigkeit einer Person fälschlicherweise kennzeichnet, woraufhin ein Kredit verweigert wird. Auch ein KI-gestütztes Einstellungssystem, das Kandidaten aufgrund ihres Geschlechts oder ihrer ethnischen Zugehörigkeit aussondert, stellt eine Verletzung der Grundrechte dar. Solche Diskriminierungsrisiken sind ein bekanntes Problem bei KI-Anwendungen, die zu algorithmischer Diskriminierung führen können.
Meldefristen und der Compliance-Dschungel
Die Meldefristen für Anbieter von Hochrisiko-KI-Systemen sind knapp bemessen und variieren je nach Schwere des Vorfalls. Generell muss die Meldung unverzüglich, spätestens jedoch 15 Tage nach Kenntnisnahme des schwerwiegenden Vorfalls erfolgen. Bei einer schwerwiegenden und irreversiblen Störung der kritischen Infrastruktur oder einer weit verbreiteten Verletzung beträgt die Frist nur zwei Tage. Sollten die Informationen jedoch zum Zeitpunkt der frühestmöglichen Meldung unvollständig sein, ist zunächst ein unvollständiger Initial Report einzureichen.
Unternehmen müssen dabei die Überlappung mit anderen Berichtspflichten im Auge behalten, insbesondere mit der NIS-2-Richtlinie, der CER-Richtlinie und der DORA-Verordnung. In Sektoren, die bereits gleichwertigen Meldepflichten unterliegen (wie Teile der kritischen Infrastruktur oder Finanzdienstleistungen), beschränkt sich die Meldung nach Artikel 73 KI-VO oft auf Verstöße gegen die Grundrechte.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
Lektionen aus der Praxis
Die Pflicht des Anbieters umfasst nicht nur die Meldung, sondern auch die unverzügliche Durchführung notwendiger Untersuchungen in Bezug auf den schwerwiegenden Vorfall und das betroffene KI-System, einschließlich einer Risikobewertung und der Einleitung von Korrekturmaßnahmen. Dies verlangt eine tiefgehende Analyse der Kausalität und der möglichen Systemursachen. Die mangelnde Nachvollziehbarkeit von Zugriffen, wie sie die Audit-Log-Sicherheitslücke in M365 Copilot ermöglichte, oder die Umgehung von Guardrails durch Zero-Click-Schwachstellen in Large Language Models (LLMs), verdeutlichen, dass Fehlfunktionen in KI-Systemen oft auf einer architektonischen Ebene liegen, bei der die Unterscheidung zwischen harter und weicher Sicherheit essenziell ist.
Die Meldevorlage der Kommission (Sektion 4) verlangt vom Anbieter bei einem abschließenden Bericht eine Beschreibung der Evaluierung möglicher Grundursachen und kausativer Faktoren und die Überprüfung der Angemessenheit der Risikobewertung. Angesichts der Komplexität, die entsteht, wenn LLMs aufgrund versteckter Anweisungen (Prompt Injections) selbstständig schädliche Aktionen ausführen, ist die Einhaltung dieser Untersuchungs- und Dokumentationspflichten eine erhebliche Herausforderung für die Compliance-Teams.
Schlussfolgerungen für Unternehmen
Angesichts der bevorstehenden KI-VO-Pflichten sollten betroffene Unternehmen interne Prozesse für das Vorfallmanagement von Hochrisiko-KI-Systemen etablieren. Dabei sind klare Kriterien für schwerwiegende Vorfälle festzulegen, insbesondere zur Frage der Kausalität und zur Schwere der Irreversibilität, etwa bei kritischer Infrastruktur. Zudem sollten eindeutige Abläufe und Zeitpläne sicherstellen, dass die gesetzlichen Meldefristen von 2, 10 oder 15 Tagen eingehalten werden. Dabei ist die Nutzung der veröffentlichten Meldevorlage ratsam. Darüber hinaus sollten die Schnittstellen zu bestehenden Meldepflichten, etwa nach DSGVO oder NIS 2, geprüft werden. Um Risiken zu minimieren, ist es entscheidend, dass Mitarbeitende KI-Ergebnisse kritisch bewerten können. Die Sicherstellung der KI-Kompetenz nach Art. 4 KI-VO ist hierfür zentral und beugt einem blinden Vertrauen in automatisierte Entscheidungen (Automation Bias) vor.
Fazit
Der Entwurf der Leitlinien und Meldevorlagen der Kommission liefert Unternehmen Orientierung, um sich auf die Berichtspflichten des Artikels 73 KI-VO vorzubereiten. Dennoch stellen die Einhaltung der Meldefristen und die korrekte Klassifizierung eines schwerwiegenden Vorfalls eine komplexe Herausforderung dar, die eine enge Verzahnung von Compliance, IT-Sicherheit und Rechtsberatung erfordert. Angesichts der nachgewiesenen Sicherheitsrisiken und der Gefahr von Grundrechtsverletzungen durch Hochrisiko-KI-Systeme ist die proaktive strategische Vorbereitung und Investition in KI-Kompetenz unerlässlich, um Haftungsrisiken zu minimieren und eine rechtskonforme KI-Nutzung in Ihrem Unternehmen sicherzustellen.
