Die europäische KI-Verordnung (KI-VO) schafft einen neuen Rechtsrahmen für künstliche Intelligenz in der Europäischen Union. Während sich Unternehmen auf die weitreichenden Vorgaben vorbereiten, sorgt der aktuelle Referentenentwurf des Bundesministeriums für Digitales und Staatsmodernisierung (BMDS) zur nationalen Umsetzung für erhebliche Diskussionen. Insbesondere die unabhängigen Datenschutzaufsichtsbehörden der Länder üben scharfe Kritik an den Plänen des Bundes, die Kontrolle grundrechtsrelevanter KI-Systeme primär bei der Bundesnetzagentur (BNetzA) zu bündeln.
Hintergrund
Die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates, bekannt als KI-Verordnung, ist am 1. August 2024 in Kraft getreten. Sie legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der EU fest. Ihr übergeordnetes Ziel ist es, einen einheitlichen Binnenmarkt für KI-gestützte Waren und Dienstleistungen zu schaffen, Innovationen zu fördern und gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte zu gewährleisten. Dazu zählt auch der Schutz von Demokratie und Rechtsstaatlichkeit. Die Regelungen der KI-Verordnung gelten größtenteils unmittelbar ab dem 2. August 2026. Die Mitgliedstaaten sind verpflichtet, bis zum 2. August 2025 mindestens eine notifizierende und eine Marktüberwachungsbehörde einzurichten oder zu benennen.
Bereits Ende 2024 hatte die damalige Ampelregierung einen ersten Gesetzentwurf vorgelegt, der jedoch nicht mehr verabschiedet werden konnte. Die nunmehr amtierende schwarz-rote Bundesregierung setzt diese Aufgabe mit einer gewissen Verspätung fort. Nach der Neuwahl im Februar 2025 ist die Aufgabe der zügigen und rechtskonformen Umsetzung der KI-Verordnung auf die nächste Bundesregierung übergegangen. Die Durchführungsgesetzgebung hätte von den Mitgliedstaaten bis zum 2. August 2025 abgeschlossen sein müssen. Die Verspätung war bereits abzusehen.
Der zweite Referentenentwurf
Der von netzpolitik.org veröffentlichte Referentenentwurf des Bundesdigitalministeriums trägt den Titel „Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz“ (KI-MIG). Er unterscheidet sich nur geringfügig von dem Entwurf der vorherigen Ampelregierung. Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich direkt aus der EU-Verordnung, und das Durchführungsgesetz schafft hierfür keine neuen Verpflichtungen, sondern benennt lediglich die zuständigen Behörden und regelt deren Aufgaben und Zusammenarbeit.
BNetzA als Marktüberwachungsbehörde und notifizierende Behörde
Der Entwurf sieht vor, der Bundesnetzagentur (BNetzA) eine zentrale Rolle bei der nationalen Umsetzung der KI-Verordnung zuzuweisen. Sie soll als Marktüberwachungsbehörde und notifizierende Behörde agieren. Die BNetzA soll zudem als zentrale Anlauf- und Beschwerdestelle dienen. Sie wird Unternehmen darüber informieren, wie sie die Regelungen der KI-Verordnung anwenden, Schulungen anbieten und die Vernetzung relevanter Akteure fördern. Die BNetzA hat bereits damit begonnen, ihre Unterstützungsangebote auszubauen, mit gezielter Beratung, digitalen Tools und der Vorbereitung auf die Marktüberwachung.
Vermeidung von Doppelstrukturen
Das BMDS betont im Gesetzentwurf, keine neue Aufsichtsbehörde für KI-Anbieter schaffen zu wollen, um Doppelstrukturen zu vermeiden. Die BNetzA, die seit 1998 besteht und dem Bundeswirtschaftsministerium untersteht, soll fortan auch KI-Anbieter kontrollieren. Dies gilt insbesondere in Bereichen, für die es bislang keine Aufsichtsstruktur gibt, wie Biometrie, kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen sowie Migration, Asyl, Grenzkontrolle und Justiz. Das Ministerium argumentiert, dass eine möglichst einheitliche Anwendung der KI-Verordnung für Rechtssicherheit und Innovationsförderung unerlässlich sei.
Aufsichtsstruktur neben der BNetzA
Der Gesetzentwurf strebt ein Konglomerat verschiedener Aufsichtsbehörden an. Neben der BNetzA sollen auch andere Behörden, die bereits in anderen Sektoren mit Produktregulierung betraut sind, für die Marktüberwachung und Notifizierung von KI-Systemen verantwortlich sein. Beispielsweise ist die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) für den Finanzbereich zuständig. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) soll übergangsweise Aufgaben im Bereich der IT-Sicherheit übernehmen, bis eine langfristige Stelle festgelegt ist. Auch Datenschutzbehörden, der Kinder- und Jugendmedienschutz sowie das Bundeskartellamt sollen einbezogen werden, sofern ihr Zuständigkeitsbereich berührt ist.
Einrichtung neuer Aufsichtseinrichtungen
Über die bestehenden Behörden hinaus sieht der Referentenentwurf die Einrichtung neuer Aufsichtseinrichtungen vor:
- Eine Unabhängige KI-Marktüberwachungskammer (UKIM) soll direkt bei der BNetzA angesiedelt werden. Sie soll die Marktüberwachung in sensiblen Bereichen wie Biometrie, Strafverfolgung oder Migration übernehmen. Die UKIM soll völlig unabhängig handeln und dem Bundestag jährlich einen Tätigkeitsbericht vorlegen. Den Vorsitz des Gremiums soll der Präsident oder die Präsidentin der Bundesnetzagentur innehaben, mit den Vizepräsidenten der BNetzA als beisitzenden Mitgliedern.
- Ein Koordinierungs- und Kompetenzzentrum (KoKIVO) ist ebenfalls bei der BNetzA geplant. Es soll die Zusammenarbeit der zuständigen Behörden koordinieren, horizontale Rechtsfragen einheitlich beantworten und den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft fördern.
- Des Weiteren sieht der Entwurf die Schaffung von KI-Reallaboren bei der BNetzA vor. Diese bieten Unternehmen geschützte Umgebungen zum Testen von KI-Anwendungen, bevor diese auf den Markt kommen. Die BNetzA soll mindestens ein solches Reallabor errichten und betreiben, das bis zum 2. August 2026 einsatzbereit sein muss.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
Kritik von Landesdatenschutzbeauftragten
Die unabhängigen Datenschutzaufsichtsbehörden der Länder üben scharfe Kritik am Referentenentwurf, da er zu einer „massiven Schwächung von Grundrechten“ führe. Meike Kamp, Berliner Beauftragte für Datenschutz und Informationsfreiheit, betont: „Laut KI-Verordnung ist es originäre Aufgabe der Datenschutzaufsichtsbehörden, in diesem Bereich der Marktüberwachung die Einhaltung von Grundrechten zu kontrollieren. Stattdessen will das Ministerium die Aufgabe nun einem neu zu schaffenden Gremium übertragen. Diese Entscheidung steht nicht zur Disposition des deutschen Gesetzgebers, weil das europäische Recht es bereits anders geregelt hat.“ Betroffen sind Hochrisiko-KI-Systeme, die für Strafverfolgungszwecke, Grenzmanagement und Justiz eingesetzt werden.
Die Begründung des BMDS, Innovationshemmnisse abbauen zu wollen, da sich „die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren“, lässt laut Kamp ein „merkwürdiges Verständnis der Bedeutung von Grundrechten“ erkennen. Kamp weist darauf hin, dass Grundrechtsschutz „kein Makel, sondern eine demokratische Notwendigkeit“ sei und die Datenschutzbehörden schon immer Datenschutzrecht im Einklang mit anderen Grundrechten wie Wissenschafts- und Gewerbefreiheit gewährleistet hätten, um Innovationen zu ermöglichen. Die Landesdatenschutzbehörden stellen klar, dass weder alle Kompetenzen bei der Bundesnetzagentur gebündelt werden müssen, noch die gesamte Zuständigkeit der Marktüberwachung bei ihnen liegen muss, da die europäische KI-Verordnung einen Ausgleich der Kompetenzen vorsieht.
Kritik der Verfassungswidrigkeit
Ein weiterer wesentlicher Kritikpunkt ist, dass der Gesetzentwurf vorsieht, die Marktaufsicht über den Einsatz von KI durch Landesbehörden für originäre Landesaufgaben der Bundesnetzagentur zuzuweisen. Dies sei jedenfalls in diesen Fällen verfassungsrechtlich bedenklich beziehungsweise verfassungswidrig. Thomas Fuchs, der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit, bemängelt, dass die zentrale Zuständigkeit der BNetzA in Bereichen der Landesverwaltung die in Artikel 30 GG geschützte Eigenstaatlichkeit der Länder berühre, da die Kontrolle der Landespolizeiarbeit durch eine Bundesbehörde einen Eingriff in den Kernbereich der Länderexekutive darstelle.
Prof. Dr. Tobias Keber aus Baden-Württemberg merkt an, dass die nationale Umsetzung mit diesem Entwurf und der vorgeschlagenen Vorgehensweise insgesamt dysfunktional werde. Er befürchtet zudem, dass auf Länderebene künftig keine eigenen KI-Reallabore im Sinne der Verordnung betrieben werden könnten, obwohl gerade dort lokale Expertise und Beratung erforderlich seien.
Fazit
Der Referentenentwurf des Bundesministeriums für Digitales und Staatsmodernisierung zur Umsetzung der KI-Verordnung in Deutschland löst einen grundlegenden Kompetenzstreit aus. Die Kritik der Landesdatenschutzbehörden zielt auf die befürchtete Schwächung von Grundrechten, die missachtete Kompetenzverteilung der europäischen KI-Verordnung und verfassungsrechtliche Bedenken ab.
Für Unternehmen bedeutet diese Debatte, dass die nationale Aufsichtsstruktur noch nicht final geklärt ist. Unabhängig von den laufenden Diskussionen ist es jedoch unerlässlich, sich frühzeitig mit den Anforderungen der KI-Verordnung auseinanderzusetzen. Denn viele Regelungen gelten bereits seit Februar, diesem August 2025 bzw. ab dem 2. August 2026 gelten werden.
Die Bundesnetzagentur hat bereits Unterstützungsangebote wie den KI-Service Desk und den KI-Compliance Kompass gestartet. Diese interaktiven Online-Tools sollen Unternehmen, insbesondere KMU und Start-ups, dabei helfen, zu prüfen, ob ihre KI-Systeme unter die Verordnung fallen und welcher Risikoklasse sie zugeordnet werden könnten. Die Ergebnisse dienen dabei als erste, nicht bindende Orientierungshilfe. Auch Austauschformate wie das „KI-Café“ sowie Webinare und Workshops werden angeboten. Diese Werkzeuge können dabei unterstützen, die KI-Kompetenz im eigenen Unternehmen aufzubauen.
Es bleibt abzuwarten, inwieweit die neue Bundesregierung die vorliegenden Bedenken aufgreifen und den Entwurf anpassen wird, um eine konsensfähige und rechtskonforme Lösung zu finden.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
