Mit der rasanten Entwicklung von Künstlicher Intelligenz, insbesondere allgemein einsetzbaren Systemen (General Purpose AI, GPAI), wächst zugleich der Druck, Sicherheits- und Kontrollfragen konsequent mitzudenken. Das enorme Potenzial solcher Systeme für Wirtschaft, Wissenschaft und Gesellschaft geht mit der Verantwortung einher, ihre Risiken strukturiert zu erfassen und systematisch zu adressieren.
Der „Singapore Consensus on Global AI Safety Research Priorities“ liefert hierfür eine zentrale Grundlage. Er gibt Einblick in jene technischen Forschungsbereiche, die künftig im Zentrum jeder sicherheitsbewussten KI-Strategie stehen müssen. Für Unternehmen, die KI entwickeln oder einsetzen, lassen sich daraus konkrete Handlungsansätze ableiten, die wir im Folgenden beleuchten.
Drei technische Prioritäten der KI-Sicherheit
Der Singapore Consensus wurde im Rahmen der „2025 Singapore Conference on AI“ von über 100 Fachleuten aus elf Ländern formuliert und greift die Einteilung des IAISR auf, indem er technische KI-Sicherheitsforschung in drei Kernbereiche strukturiert. Erstens die Risikobewertung, zweitens die Entwicklung vertrauenswürdiger Systeme und drittens Kontrollmechanismen nach der Auslieferung. Diese Bereiche bilden kein starres Raster, sondern sind eng miteinander verzahnt und zielen gemeinsam darauf ab, ein vertrauenswürdiges, robustes und kontrollierbares Ökosystem für GPAI zu etablieren.
1. Risikobewertung
Die Risikobewertung umfasst Methoden zur Messung, Bewertung und Vorhersage möglicher Gefahren durch KI-Systeme. Im Fokus stehen standardisierte Auditverfahren, präzise Benchmarks für sogenannte „gefährliche Fähigkeiten“ und die Etablierung eines verlässlichen Systems der technischen „Metrologie“. Ziel ist es, Risiken frühzeitig zu erkennen und Schwellenwerte für potenziell gefährliche Systemfähigkeiten klar zu definieren.
2. Entwicklung vertrauenswürdiger Systeme
Die Entwicklung vertrauenswürdiger Systeme verlangt nach einem präzisen Verständnis von Zielverhalten (Spezifikation), dessen sicherer technischer Umsetzung sowie verlässlicher Verifikation. Nur wenn Systeme so gestaltet und überprüft werden, dass sie zuverlässig im Sinne ihrer ursprünglichen Zielvorgaben agieren, kann Sicherheit tatsächlich gewährleistet werden.
3. Kontrolle nach dem Deployment
Schließlich fokussiert sich der dritte Bereich auf Kontrollmöglichkeiten nach dem Deployment. Hierzu zählen klassische Überwachungsmaßnahmen, wie kontinuierliches Monitoring, aber auch Notfallprotokolle für das Eingreifen bei unvorhergesehenem Verhalten. Besondere Aufmerksamkeit gilt der Frage, wie leistungsstarke Systeme, die möglicherweise versuchen, sich externen Kontrollen zu entziehen, dauerhaft überwacht und in ihren Handlungen eingegrenzt werden können.
Der International AI Safety Report als Fundament
Der International AI Safety Report (IAISR) wurde auf Initiative der britischen Regierung erstellt und vereint die Perspektiven internationaler Expertinnen und Experten. Der im Januar veröffentlichte Bericht dient als Grundlage für den Singapore Consensus und stellt eine umfassende Bestandsaufnahme des wissenschaftlichen Verständnisses über die Risiken von GPAI dar – einschließlich identifizierter Konsenslinien, offener Fragen und systemischer Unsicherheiten.
Diverse Risikoquellen bei GPAI
Die Berichte zeichnen ein differenziertes Bild der Risiken von GPAI-Systemen, das von gezieltem Missbrauch über unbeabsichtigte Fehlfunktionen bis hin zu gesellschaftlich-systemischen Herausforderungen reicht.
- Risiken durch böswillige Nutzung: Als besonders gravierend gelten Risiken durch böswillige Nutzung, etwa bei der Generierung von Deepfakes, der Unterstützung bei Cyberangriffen oder gar der Entwicklung biologischer und chemischer Waffen durch automatisierte Planung und Simulation. Besorgniserregend ist hierbei insbesondere die potenzielle Rolle offener, unregulierter „Open-Weight“-Modelle (z.B. DeepSeek).
- Risiken durch Fehlfunktionen: Zudem bestehen erhebliche Gefahren durch Fehlfunktionen – etwa durch fehlerhafte Modellverhalten, unzureichende Robustheit, Verzerrungen (Bias) oder einen Kontrollverlust über ausgelieferte Systeme. Ein zentrales Risiko ist der sogenannte „Automation Bias“: das übermäßige Vertrauen von Menschen in maschinelle Entscheidungen, das Kontrollinstanzen untergraben kann.
- Systemische Risiken: Schließlich betreffen systemische Risiken breitere gesellschaftliche Bereiche wie Arbeitsmärkte, Marktkonzentration, Umweltfolgen, Datenschutz und Urheberrecht. GPAI kann bestehende wirtschaftliche Machtverhältnissev verschärfen, zugleich aber auch die Gefahr unerlaubter Datenverwendung, Intransparenz bei Trainingsdaten und mangelnde Rechenschaftspflichten erhöhen.
Strukturelle Herausforderungen verschärfen das Risikomanagement
Was die Bewertung und Begrenzung dieser Risiken so anspruchsvoll macht, sind weitere strukturelle Faktoren. GPAI-Systeme lassen sich in einer Vielzahl unvorhersehbarer Anwendungsfälle einsetzen, was eine vollständige Sicherheitsprüfung vorab praktisch unmöglich macht – insbesondere bei multimodalen Modellen, die Sprache, Bilder und andere Modalitäten kombinieren. Hinzu kommt, dass selbst Entwickler ihre eigenen Modelle häufig nicht in vollem Umfang verstehen können. Auch persistentes schädliches Verhalten, das trotz explizitem Gegen-Training erhalten bleibt oder durch sogenannte „Jailbreaks“ reaktiviert wird, erschwert das Risikomanagement erheblich.
Eine weitere Herausforderung liegt in der mangelnden Standardisierung von Bewertungskriterien: Sicherheitsbewertungen erfassen bisher häufig nicht alle relevanten Risikodimensionen („Evaluation Gap“), und viele Fehlermodi werden erst nach dem Einsatz in der Praxis sichtbar. Gleichzeitig bestehe eine erhebliche Informationsasymmetrie zwischen Entwicklern und externen Prüfern – insbesondere staatlichen Stellen –, da Unternehmen über deutlich mehr Daten und Einblicke verfügen. Fragen der Haftung, Transparenz und Rechenschaft sind bislang noch nicht abschließend geklärt.
Konsequenzen für GPAI-Entwickler
Unternehmen, die GPAI-Systeme entwickeln, stehen vor der dringlichen Aufgabe, Sicherheit von Anfang an in den Entwicklungsprozess zu integrieren. Dies kann über die Priorisierung technischer Sicherheitsforschung ebenso wie einen gezielten Ausbau von Risikoanalyse- und Testkapazitäten erfolgen. Insbesondere „Uplift Studies“ und Szenarioanalysen zur Identifikation gefährlicher Fähigkeiten sowie robuste Verfahren zur Spezifikation, Verifikation und Systemdesign sollten zum Standard werden.
Auch nach der Auslieferung bedarf es klarer Kontrollmechanismen. Dazu gehören Monitoring-Protokolle, Logging-Verfahren, Authentifizierungsschritte und im Idealfall skalierbare Überwachungsmechanismen für lernfähige Agentensysteme. Transparenzmaßnahmen wie „Model Cards“, Systemdokumentationen oder begrenzte Offenlegungen von Trainingsdaten ermöglichen zudem externe Prüfbarkeit und stärken die Vertrauenswürdigkeit.
Strategisch sinnvoll sind ferner abgestufte Release-Strategien, bei denen Modelle zunächst über API-Zugänge bereitgestellt oder Zugriffsrechte differenziert vergeben werden. Organisatorisch erfordert dies eine Verankerung des Risikomanagements auf Führungsebene, klare Verantwortlichkeiten, interne Entscheidungsgremien sowie externe Fachberatung. Als Orientierung können dabei Sicherheitsansätze aus verwandten Bereichen dienen, etwa „Defence in Depth“-Methoden oder formalisierte Sicherheitsnachweise („Safety Cases“).
Empfehlungen für GPAI-Nutzer
Auch Unternehmen, die GPAI lediglich als Nutzer in Form von Diensten wie ChatGPT, Microsoft Copilot oder anderen KI-basierten Tools einsetzen, tragen Verantwortung. Sie müssen sich der technischen Begrenzungen bewusst sein und dürfen sich nicht blind auf die Ergebnisse verlassen. Fehlfunktionen, sogenannte Halluzinationen oder unerwartetes Verhalten sind reale Risiken, die gerade bei geschäftskritischen Anwendungen zu Problemen führen können.
Datenschutz und Vertraulichkeit spielen dabei eine zentrale Rolle. Sensible oder urheberrechtlich geschützte Informationen sollten grundsätzlich nicht in KI-Systeme eingegeben werden, ohne vorherige vertraglichen Sicherungen. Unternehmen sollten zudem den Einfluss auf Arbeitsprozesse und Mitarbeitende reflektieren, etwa im Hinblick auf Qualifikationsanforderungen, Automatisierung oder Abhängigkeiten von einzelnen Anbietern. Ein robustes Risikomanagement – einschließlich Backup-Szenarien – ist essenziell, da selbst gut getestete Modelle durch neue Fehlermodi oder missbräuchliche Nutzung problematisch werden können. Eine mit der KI-Verordnung konformes Schulungskonzept zur Sicherstellung der KI-Kompetenz aller beteiligten Mitarbeitenden ist dabei seit Februar obligatorisch.
Zusammenarbeit als Schlüssel
Sowohl der Singapore Consensus als auch der International AI Safety Report rufen zu verstärkter Zusammenarbeit zwischen KI-Entwicklern, Anwendern, Forschungseinrichtungen und Regierungen auf. Standards und Metriken zur Bewertung von Sicherheit, der Austausch über Vorfälle sowie gemeinsame Forschungsinitiativen zur Sicherheitsoptimierung sind nur im Verbund effektiv zu realisieren. Die Herausforderungen sind zu tiefgreifend und global, als dass ein einzelner Akteur ihnen allein begegnen könnte. Nur durch Kooperation und Informationsaustausch lassen sich tragfähige Lösungen schaffen.
Fazit: Sicherheit als Voraussetzung für nachhaltige KI-Nutzung
Die aktuellen Berichte des Singapore Consensus und der International AI Safety Report verdeutlichen: Die technische Sicherheit von GPAI ist keine abstrakte Zukunftsfrage, sondern eine akute Herausforderung, die sowohl Entwickler als auch Nutzer betrifft. Die identifizierten Risiken – von gezieltem Missbrauch über unkontrolliertes Verhalten bis hin zu systemischen Effekten auf Datenschutz, Arbeitswelt und Haftung – erfordern klare Strategien, belastbare Prozesse und regulatorische Orientierung.
Unternehmen, die KI entwickeln oder einsetzen, stehen vor der Aufgabe, rechtliche, technische und organisatorische Anforderungen miteinander zu verzahnen. Genau hier setzen die KINAST Rechtsanwälte an: Als Kanzlei mit interdisziplinärer Expertise in Datenschutzrecht, KI-Regulierung und Informationssicherheit unterstützen wir Sie dabei, diese Herausforderungen strukturiert, risikobewusst und zukunftssicher anzugehen.
Ob bei der Gestaltung verantwortungsvoller Release-Strategien, der Implementierung von Compliance-Standards im Rahmen des EU AI Act oder bei Fragen rund um Haftung, Transparenz, DPIAs oder Verträge mit KI-Dienstleistern – wir beraten Sie fundiert, technologievertraut und mit Weitblick. Wenn Sie den nächsten Schritt gehen wollen, um KI-Innovationen rechtssicher und verantwortungsvoll in Ihrem Unternehmen zu verankern, stehen die KINAST KI-Beauftragten Ihnen als kompetenter Partner zur Seite.
