Künstliche Intelligenz (KI) wird im Gesundheitswesen als Wegbereiter für präzisere Diagnosen und effizientere Behandlungen gefeiert. Doch jüngste Studienergebnisse aus der medizinischen Diagnostik, insbesondere im Bereich der Koloskopien, werfen ernste Fragen nach den unbeabsichtigten Nebenwirkungen dieser Technologie auf. Diese Erkenntnisse sind nicht nur für das Gesundheitswesen, sondern für jedes Unternehmen relevant, das den Einsatz von KI in entscheidungsrelevanten Prozessen erwägt.
Was hinter dem Kompetenzverlust steckt
Ein zentrales, besorgniserregendes Phänomen ist das sogenannte „Deskilling“ – der Verlust oder die Verschlechterung menschlicher Fähigkeiten durch die übermäßige Abhängigkeit von Technologie. Die Autoren einer aktuellen, in The Lancet Gastroenterology & Hepatology veröffentlichten Beobachtungsstudie aus Polen beschreiben dies als den „Google Maps Effekt“. So wie Autofahrer ohne GPS unsicher werden, könnten auch Ärztinnen und Ärzte ohne KI ihre diagnostische Sicherheit einbüßen.
Signifikanter Rückgang der Detektionsrate
Die polnische Studie untersuchte 19 erfahrene Endoskopiker in vier Zentren und analysierte 1.443 Koloskopien ohne KI-Unterstützung. Die Adenom-Detektionsrate (ADR), ein kritischer Qualitätsindikator für die Erkennung von Krebsvorstufen, sank signifikant um 6 Prozentpunkte von 28,4 % auf 22,4 %, nachdem die Ärzte routinemäßig KI in ihrer Praxis eingesetzt hatten. Dieser Rückgang sei den Forschern nach statistisch signifikant. Dennoch ist die Untersuchung eine nicht-randomisierte Beobachtungsstudie und basiert auf nur einem KI-System. Die Resultate sind daher nur eingeschränkt übertragbar
Die Forscher vermuten, dass die ständige Exposition gegenüber KI-gestützten Entscheidungssystemen zu einer übermäßigen Abhängigkeit führt. Dies kann Kliniker weniger motiviert, fokussiert und verantwortlich bei rein kognitiven Entscheidungen machen. Omer Ahmad vom University College London weist darauf hin, dass dies visuelle Suchgewohnheiten schwächen, Blickmuster verändern, die Mustererkennung abstumpfen und das diagnostische Vertrauen reduzieren kann. Er betont, dass KI die Aufmerksamkeit und Wahrnehmung auf subtile Weise verändern kann, was eine „leise Erosion“ fundamentaler Fähigkeiten mit sich bringen kann.
Höheres Risiko für weniger erfahrene Mediziner
Interessanterweise stieg die Gesamt-ADR nach der KI-Implementierung zwar an (von 22,4 % auf 25,3 %), was jedoch den Rückgang der ADR bei den nicht-KI-gestützten Koloskopien maskierte. Dies legt nahe, dass der scheinbare Vorteil von KI in anderen Studien teilweise eine reduzierte Leistung ohne die Technologie widerspiegeln könnte. Obwohl die Studie mit sehr erfahrenen Ärzten durchgeführt wurde, bestehe die Sorge, dass weniger erfahrene Mediziner noch anfälliger für diesen Kompetenzverlust sein könnten. Zudem könne der Effekt mit zunehmender Leistungsfähigkeit der KI sogar noch zunehmen.
5 Handlungsfelder für das Gesundheitswesen
Die Studienergebnisse zum Kompetenzverlust im medizinischen Bereich beleuchten fundamentale Schwachstellen aktueller KI-Systeme. Daraus lassen sich wichtige Schlussfolgerungen ableiten.
- Kompetenzerhalt sichern: Das Risiko des Deskilling ist real. Unternehmen müssen Strategien entwickeln, um menschliche Fähigkeiten trotz KI-Nutzung zu erhalten – etwa durch Schulungen, Leistungsüberwachung und Phasen bewusster Arbeit ohne KI.
- Transparenz und Nachvollziehbarkeit: Die „Black-Box-Problematik“ erschwert Haftungsfragen und informierte Einwilligungen nach der DSGVO. Erklärbare KI (XAI) kann Transparenz und Vertrauen schaffen. Aktuell ist jedoch noch mehr Forschung in deren Entwicklung notwendig.
- Datensicherheit und Manipulation: KI-Modelle sind anfällig für „Data Poisoning“. Schon minimale Manipulationen können gravierende Folgen haben. Unternehmen benötigen robuste Schutzmechanismen.
- Datenschutzrechtliche Anforderungen: Im Gesundheitswesen sind sensible Patientendaten betroffen. DSGVO-Vorgaben wie Datenminimierung, Löschrechte und DSFA-Pflichten machen die Nutzung komplex.
- Regulatorische Vorgaben: Medizinische KI-Systeme gelten nach der EU-KI-Verordnung als Hochrisiko-Systeme. Sie unterliegen strengen Anforderungen an Risikomanagement, Robustheit und menschliche Kontrolle. Unternehmen müssen diese regulatorischen Rahmenbedingungen in ihre Compliance-Strukturen integrieren.
Fazit
Die Einführung von KI birgt erhebliche Chancen, aber auch neue und komplexe Risiken. Ein verantwortungsvoller Umgang erfordert nicht nur technologische Innovation, sondern auch ein tiefes Verständnis für die menschliche Komponente, klare rechtliche Rahmenbedingungen und robuste Sicherheitsmaßnahmen. Nur mit ausreichender KI-Kompetenz und Strategie kann das volle Potenzial der KI ausgeschöpft werden, ohne die Patientensicherheit und die Integrität medizinischer Praktiken zu gefährden.
Unsere Expertinnen und Experten unterstützen Sie beim rechtskonformen und praxisgerechten Einsatz von KI – sowohl im Gesundheitswesen als auch mit Blick auf die Rolle des KI-Beauftragten in Ihrem Unternehmen.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
