Künstliche Intelligenz (KI) ist längst eine zentrale Triebfeder der Digitalisierung. Unternehmen aller Branchen investieren in generative KI-Systeme, um ihre Effizienz und Innovationskraft zu steigern. Doch der unkritische Einsatz dieser Technologien birgt erhebliche Risiken, nicht nur für die Produktivität, sondern auch für die Compliance und Informationssicherheit. Vor diesem Hintergrund gewinnt die Notwendigkeit qualifizierter Mitarbeitender und klar definierter KI-Strategien immer mehr an Bedeutung. Das Forschungsprojekt CAIL – Critical AI Literacy – der Österreichischen Akademie der Wissenschaften (ÖAW) hat untersucht, wie sich die Arbeitspraktiken durch KI verändern und welche Kompetenzen erforderlich sind, um diese Technologien konstruktiv und verantwortungsvoll zu nutzen.
Die KI-Verordnung und das Forschungsprojekt CAIL
Die Europäische Union hat mit der Verordnung (EU) 2024/1689, besser bekannt als KI-Verordnung (KI-VO), neue Pflichten für Unternehmen geschaffen. Eine zentrale, bereits seit dem 2. Februar 2025 geltende Vorschrift ist Artikel 4 KI-VO. Dieser Artikel verpflichtet Anbieter und Betreiber von KI-Systemen, ein ausreichendes Maß an KI-Kompetenz (sog. „AI Literacy“) bei ihrem Personal sicherzustellen, welches mit KI-Systemen umgeht. Die in Artikel 3 Nr. 56 definierte KI-Kompetenz umfasst Wissen, Fähigkeiten und ein grundlegendes Verständnis der Chancen, Risiken und möglichen Schäden durch KI.
Das Forschungsprojekt CAIL – Critical AI Literacy – unter der Leitung von Stefan Strauß, forscht genau an dieser Schnittstelle. CAIL stellt jedoch eine kritische KI-Kompetenz dar, die über das herkömmliche Verständnis von AI Literacy hinausgeht. Während die gängige Definition die Kompetenz beschreibt, KI-Technologien effektiv und verantwortlich zu nutzen, betont CAIL die Fähigkeit, die Eignung oder Nicht-Eignung eines KI-basierten Systems in spezifischen Anwendungskontexten zu beurteilen und dessen Grenzen zu verstehen. Die Entwicklung technischer Fähigkeiten steht hierbei nicht im Vordergrund. Stattdessen geht es darum, Anwender:innen und Entscheidungsträger:innen ohne spezifische technische Expertise zu befähigen, KI-Systeme zu verstehen, ihre Ergebnisse kritisch zu hinterfragen und deren Aussagekraft im situativen Kontext einzuschätzen.
Die Notwendigkeit kritischer KI-Kompetenz
Die Pflicht aus Art. 4 KI-VO erfordert konkrete, zumutbare Maßnahmen zur Sicherstellung der KI-Kompetenz; symbolische Schulungen sind nicht ausreichend. Organisationen müssen einen differenzierten, risikobasierten Ansatz verfolgen, wobei Inhalt und Tiefe der Schulung von der Rolle und dem Nutzungskontext abhängen. Wie Projektleiter Stefan Strauß betont, müssen Unternehmen wissen: „wie KI-Systeme funktionieren, was sie können und nicht können, für welchen Zweck sie glauben sie zu brauchen, und welche Anwendung konkret in die eigenen Arbeitsprozesse sinnvoll integrierbar ist“.
Da KI-Systeme komplexer, dynamischer und volatiler sind als herkömmliche regelbasierte Automatisierungsformen, werden sie auch schwerer versteh- und kontrollierbar. Dies erzeugt neue Anforderungen an das Personal. Nur wer KI-Systeme in ihrer Funktionsweise und ihren Schwächen versteht, kann die potenziellen Risiken für Compliance, Informationssicherheit und die Entscheidungsqualität im Unternehmen minimieren.
Zwischen Mehrwert und Mehraufwand
Viele Unternehmen erhoffen sich von KI primär eine Steigerung der Effizienz, Produktivität und Innovationskraft. Das Forschungsprojekt CAIL ist jedoch zu dem Schluss gekommen, dass ein möglicher Mehrwert nur eintritt, wenn die Handlungsfähigkeit der Mitarbeitenden und der Arbeitsorganisation gestärkt wird. Entgegen dem gängigen Narrativ können KI-Systeme nämlich nicht nur Mehrwert, sondern auch erheblichen Mehraufwand („Workslop„) verursachen.
Dieser Mehraufwand entsteht, weil KI zwar Ergebnisse schnell produziert, aber ohne zusätzliche Maßnahmen keine Korrektheit oder Zuverlässigkeit bietet. Durch die höhere Dynamik, Volatilität und Unberechenbarkeit KI-basierter Automation steigen die Anforderungen an die Qualitätskontrolle deutlich. Auch in Bereichen wie der Softwareentwicklung, wo KI-Tools die Codegenerierung beschleunigen, steigt im Gegenzug der Aufwand für Qualitätskontrolle und Fehlerkorrektur (z.B. durch Pakethalluzinationen) deutlich an. Die Interpretation und Überprüfung von KI-generierten Ergebnissen bleibt eine wesentliche menschliche Aufgabe, die durch den KI-Einsatz sogar noch wichtiger wird. Wie Stefan Strauß betont: „KI ist letztlich ein Werkzeug und der Einsatz ist mit Wissensbedarf und Zusatzaufwand verbunden“.
Zentrale Problemfelder
Über die zahlreicher Anwendungsfelder verschiedener Branchen hinweg, stellt CAIL grundlegende Problemfelder und Herausforderungen im Umgang mit KI-basierten Technologien fest. Die mit dem KI-Einsatz einhergehenden Herausforderungen sind vielschichtig. Wir wollen hier zwei Problemfelder hervorheben.
Automation Bias
Ein zentrales Risiko im Umgang mit KI ist der Automation Bias. Dieses Risiko beschreibt die Tendenz, die von automatisierten Technologien generierten Ergebnisse unhinterfragt zu akzeptieren und das kritische Denken einzuschränken. Im Kontext von KI sprechen Experten von Deep Automation Bias (DAB), da die höhere Komplexität, Dynamik und Intransparenz der KI-Systeme dieses Risiko potenziell weiter verstärken. Blindes Vertrauen in Technologie, kombiniert mit unberechenbarem Systemverhalten, kann zu Fehleinschätzungen und letztlich zu falschen geschäftlichen Entscheidungen führen.
Verdeckte KI & schleichende KI-Einführung über Standardsoftware
Ein wachsendes und unterschätztes Problemfeld für Compliance und Informationssicherheit ist die schleichende Einführung von KI-Funktionen über Standardsoftware. Weit verbreitete Betriebssysteme und Office-Anwendungen (wie z. B. Microsoft) integrieren sukzessive KI-Funktionen (z.B. Copilot), wodurch der Einsatz oft beiläufig und ohne bewusste betriebliche Strategie erfolgt. Dies führe zu einer Zunahme der Intransparenz und mache Datenflüsse schwerer kontrollierbar. Unternehmen geraten so in ein hohes Abhängigkeitsverhältnis („Lock-ins“) zu den wenigen großen Softwareanbietern, was ihre Vulnerabilität erhöhen kann. Dies erschwert die notwendige Kontextualisierung des KI-Einsatzes und kann Datenschutz- und Sicherheitsprobleme verschärfen.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
Neuer Qualifikationsbedarf
Angesichts der neuen Risikolandschaft und der rechtlichen Pflicht aus der KI-VO ist der Aufbau von KI-Kompetenz unverzichtbar. Allerdings wird der Kompetenzaufbau in vielen Unternehmen bislang vernachlässigt. Der konstruktive Einsatz von KI erfordert eine Verschiebung der Tätigkeiten: Weg von reinen Routineaufgaben, hin zu Aufgaben des Datenmanagements, der Qualitätskontrolle, der Fehlerkorrektur und der Interpretation der KI-Outputs.
Der Qualifikationsbedarf geht dabei über rein technische Skills hinaus. Im Gegenteil gewinnen „klassische“ Kernkompetenzen wie logisches und analytisches Denken, Interpretationsfähigkeit und Problemlösungskompetenz gerade durch den KI-Einsatz noch mehr an Bedeutung. Diese Fähigkeiten sind notwendig, um die KI-generierten Ergebnisse zu verifizieren und sinnvoll in die Arbeitspraxis zu integrieren.
CAIL-Framework
Um Unternehmen bei der Stärkung der Critical AI Literacy zu unterstützen, hat das Projekt ein Bewertungsrahmenwerk entwickelt. Dieses Framework dient als niedrigschwelliges Instrument zur Vermittlung von Basiswissen und zur Bewertung der Brauchbarkeit von KI-Anwendungen. Das CAIL-Framework differenziert drei miteinander verbundene Ebenen zur Analyse eines KI-Systems.
Die erste Ebene betrifft die technische Bewertung. Diese bezieht sich auf die technische Beschaffenheit des KI-Systems, das zugrundeliegende Datenmodell und die Art des Machine Learning. In der zweiten operativen Bewertung steht die Einschätzung des Systemverhaltens im konkreten Anwendungsfall im Zentrum. Es werden vier Hauptindikatoren herangezogen, um festzustellen, ob eine detaillierte Prüfung notwendig ist. Diese sind zuerst die Verständlichkeit, die Zuverlässigkeit, die Plausibilität und zuletzt die Akzeptabilität. Die dritte Ebene der ethischen Bewertung adressiert die Rechtmäßigkeit, Legitimität und Notwendigkeit des KI-Einsatzes, einschließlich ethischer Aspekte, Einhaltung der Grundrechte sowie Datenschutz und Sicherheit. Das Framework kann als Werkzeug zur Bewertung des DAB-Risikos dienen, da bei Unklarheiten in der operativen Phase eine detaillierte Überprüfung auf allen Ebenen notwendig wird.
Handlungsempfehlungen für Unternehmen
Für Unternehmen, die KI einführen oder bereits nutzen, leiten sich aus den CAIL-Ergebnissen folgende Compliance- und Organisationsmaßnahmen ab. Unternehmen sollten zunächst den Mehraufwand des KI-Einsatzes nicht unterschätzen und eine realistische Planung vornehmen. Es ist entscheidend, den Nutzungszweck und klare Ziele des KI-Einsatzes zu definieren und aktiv mitzugestalten, welche Tätigkeiten automatisiert werden sollen. Eine Grundvoraussetzung für den konstruktiven KI-Einsatz ist die Integration der KI-Anwendung in bestehende Arbeitsabläufe, wobei die Technologie diese ergänzen soll, nicht ersetzen. Dabei ist eine klare Kontextualisierung und Nutzungs-Transparenz zu gewährleisten. Zusätzlich sollte die Kennzeichnung von KI-Anwendungen und KI-generierten Ergebnissen zur Stärkung des Bewusstseins im Betrieb beitragen.
Um die Anwendungs- und Prozessqualität zu sichern, sollte der Ressourcenbedarf für menschliche Tätigkeiten wie Datenpflege, Qualitätsmanagement und Fehlerkorrektur explizit eingeplant und berücksichtigt werden. Unternehmen sollten ihren Schulungs- und Qualifikationsbedarf umfassend decken und die Critical AI Literacy (CAIL) der Belegschaft stärken, um sie zu befähigen, die Brauchbarkeit von KI-Ergebnissen kritisch zu beurteilen. Schließlich ist die aktive Einbindung der betrieblichen Mitbestimmung (Betriebsräte) zentral, um Akzeptanz zu fördern und die Einhaltung arbeitsrechtlicher Bestimmungen sicherzustellen.
Fazit
Das Forschungsprojekt CAIL verdeutlicht, dass KI die Arbeitsorganisation verändert, aber Arbeit nicht automatisch abnimmt. Der Erfolg von KI im Unternehmen hängt maßgeblich von einer strategischen, kompetenten und kritischen Nutzung ab. Angesichts der gesetzlichen Pflicht zur KI-Kompetenz gemäß Art. 4 KI-VO und der inhärenten Risiken des Deep Automation Bias und der schleichenden KI-Einführung, ist die Investition in (Critical) AI Literacy unverzichtbar. Nur durch ein tieferes, kritisches Verständnis der KI-Funktionsweise und die Etablierung klarer Prozesse und Kontrollmechanismen können Unternehmen Haftungsrisiken minimieren und das Vertrauen sowie die Produktivität im Umgang mit KI nachhaltig stärken. Der Umgang mit KI ist Teil eines größeren gesellschaftlichen Lernprozesses, der in Unternehmen eine Reflexion über Arbeitsorganisation und sozialverträgliche Bedingungen erfordert.
Unsere Expertinnen und Experten unterstützen Sie mit unseren KI-Beratungsleitungen, von der Einhaltung der europäischen KI-Verordnung über Datenschutz-Compliance bis hin zur Schulung Ihrer Mitarbeiter, um rechtssichere KI-Compliance in Ihrem Unternehmen zu gewährleisten.
