Die rasante Integration von Künstlicher Intelligenz (KI), insbesondere von Large Language Models (LLMs), birgt für Unternehmen große Chancen, aber auch neue, komplexe Sicherheitsrisiken. Um diesen Herausforderungen zu begegnen, haben das Bundesamt für Sicherheit in der Informationstechnik (BSI) und die französische Agence nationale de la sécurité des systèmes d’information (ANSSI) am 11. August 2025 die gemeinsamen „Design Principles for LLM-based Systems with Zero Trust“ veröffentlicht. Dieser Leitfaden bietet zentrale Designprinzipien für den sicheren Einsatz von LLM-basierten Systemen und richtet sich an IT-Experten, Systemarchitekten und Betreiber.
Warum Zero Trust für LLM-Systeme unerlässlich ist
LLM-Systeme, die zunehmend autonom Aufgaben ausführen und Entscheidungen treffen, sind anfällig für verschiedene Angriffsarten wie Evasion Attacks, Poisoning Attacks und Privacy Attacks. Besonders gefährlich sind dabei sogenannte Indirect Prompt Injections, die zu Datenlecks, falschen Entscheidungen oder unautorisierten Aktionen führen können. Das BSI betont, dass Ausgaben und automatisierte Aktionen eines potenziell kompromittierten LLM-Systems nicht blind vertraut werden sollten. Hier kommt die Zero Trust-Architektur ins Spiel, die implizites Vertrauen zwischen Nutzern, Geräten und Systemen im Netzwerk fundamental infrage stellt und stattdessen eine kontinuierliche Überprüfung von Authentizität und Autorisierung fordert.
Sechs Designprinzipien für robuste LLM-Sicherheit
Das gemeinsame Papier von BSI und ANSSI leitet sechs Designprinzipien ab. Diese bieten konkrete Gegenmaßnahmen, um solche Bedrohungen zu adressieren und die Resilienz von LLM-Systemen gegen Angriffe und unbeabsichtigte Fehler zu erhöhen. Diese Prinzipien umfassen:
1. Authentifizierung und Autorisierung
Ein zentrales Einfallstor für Angriffe ist der unzureichend gesicherte Zugriff auf LLM-Systeme. Beispiele reichen von missbräuchlicher Datenabfrage über RAG-Schnittstellen bis hin zu übermäßig vergebenen Administratorrechten.
Gegenmaßnahmen:
Gegenmaßnahmen bestehen in konsequenter Multi-Faktor-Authentifizierung und dem Prinzip der geringsten Privilegien (Least-Privilege-Prinzip), sodass Nutzer und Agenten nur die unbedingt erforderlichen Rechte erhalten. LLMs selbst sollten niemals für Authentifizierungsprozesse genutzt werden, da sie für diese Aufgabe nicht verlässlich genug sind. Ergänzend empfiehlt sich eine dynamische, attributbasierte Zugriffskontrolle, die Faktoren wie Rolle, Ort, Zeit oder Gerätetyp berücksichtigt. Eine Multi-Tenant-Architektur mit klarer Trennung von Daten und Agenten verstärkt die Sicherheit zusätzlich.
2. Input- und Output-Beschränkungen
LLM-Systeme sind besonders anfällig für manipulative Eingaben. Angreifer können bösartige Anweisungen in Texten, Bildern oder Links verstecken, sodass das Modell unbeabsichtigt sensible Informationen preisgibt. Auch sogenannte Preloading Image Prompt Injections, bei denen verborgene Texte per OCR erkannt werden, gehören dazu.
Gegenmaßnahmen:
Um dem entgegenzuwirken, empfiehlt sich ein Gateway, das Eingaben vorab validiert und verdächtige Muster blockiert. Vertrauensbewertungen anhand von Quellen, Nutzerhistorie oder Kontext helfen zusätzlich. Auf der Ausgabeseite müssen Inhalte kontrolliert werden, bevor sie automatisiert weiterverarbeitet oder freigegeben werden. Externe Inhalte dürfen niemals ungeprüft vorgeladen werden, und Nutzer sollten stets in kritische Entscheidungen eingebunden sein.
3. Sandboxing
Eine robuste Isolierung ist entscheidend, um unkontrollierte Ausbreitung von Angriffen zu verhindern. Ohne Sandboxing könnten Fehler in einzelnen LLM-Komponenten, bösartige Payloads oder ein geteilter Speicher zwischen Sitzungen zur Kompromittierung des Gesamtsystems führen.
Gegenmaßnahmen:
Daher sollten Sitzungen strikt voneinander getrennt und sensible Daten nach jeder Nutzung gelöscht werden. Auch Netzwerksegmentierung, klare Trennung von Entwicklungs-, Test- und Produktionsumgebungen sowie Whitelists für externe Interaktionen sind zentrale Bausteine. Notfalls muss das System oder einzelne Module sofort heruntergefahren werden können, um Schäden zu begrenzen.
Der KINAST „KI-Beauftragte“
Ihre Lösung für rechtssichere KI-Compliance
4. Überwachung, Reporting und Steuerung
Eine lückenlose Überwachung ist unverzichtbar, da viele Angriffe durch auffällige Nutzungsmuster erkannt werden können. Beispiele sind exzessive Token-Abfragen, ungewöhnliche API-Nutzung oder die Zweckentfremdung eines Chatbots.
Gegenmaßnahmen:
Systeme sollten Anomalien automatisch identifizieren, Ressourcenverbrauch überwachen und im Ernstfall sofort Gegenmaßnahmen ergreifen. Token-Limits verhindern Missbrauch, während detaillierte Protokollierung und regelmäßige Tests Transparenz schaffen und die Reaktionsfähigkeit erhöhen. Echtzeit-Monitoring und automatisierte Sperrmechanismen bilden die letzte Verteidigungslinie.
5. Bedrohungsanalyse (Threat Intelligence)
Da sich Angriffsmethoden ständig weiterentwickeln, reicht ein statisches Sicherheitskonzept nicht aus. Bedrohungsinformationen aus aktuellen Vorfällen und Sicherheits-Communities müssen kontinuierlich integriert werden, um neue Prompt-Injection-Techniken oder Schwachstellen in der Lieferkette frühzeitig zu erkennen.
Gegenmaßnahmen:
Red-Teaming und Audits sind wichtige Werkzeuge, um Sicherheitslücken unter realistischen Bedingungen aufzudecken. Eine dynamische Threat Intelligence erlaubt es, kompromittierte Komponenten schnell zu ersetzen und das System laufend an neue Bedrohungslagen anzupassen.
6. Sensibilisierung (Awareness)
Technische Schutzmaßnahmen entfalten ihre Wirkung nur, wenn auch das menschliche Element berücksichtigt wird. Entwickler und Nutzer müssen die Risiken von KI-Systemen verstehen, um Fehlkonfigurationen und Leichtsinnsfehler zu vermeiden. Das Speichern sensibler Daten in System-Prompts oder das Anklicken manipulativer Links kann verheerende Folgen haben.
Gegenmaßnahmen:
Durch praxisnahe Trainings, Red-Team-Übungen und die Vermittlung realer Fallstudien wird das Bewusstsein für Gefahren geschärft. Klare Sicherheitskommunikation, regelmäßige Updates und Transparenz in Entscheidungsprozessen fördern ein gesundes Misstrauen gegenüber LLM-Ausgaben – ein wesentlicher Bestandteil von Zero Trust.
Reale Risiken durch Zero-Click-Angriffe
Aktuelle Vorfälle wie die Sicherheitslücke „EchoLeak“ in Microsoft 365 Copilot zeigen eindringlich, dass moderne KI-Anwendungen, insbesondere LLM-Agenten, schwer kalkulierbare Risiken bergen können. Ein „Zero-Click-Angriff“, der sensible Daten exfiltrieren kann, ohne Zutun des Nutzers, verdeutlicht eine grundlegende Designschwäche vieler KI-Systeme. Klassische Sicherheitsmechanismen reichen nicht mehr aus; es bedarf spezifischer Schutzmechanismen für LLMs und KI-Agenten sowie regelmäßiger Sicherheitsbewertungen und Datenschutz-Folgenabschätzungen.
Auch die Warnungen des LfDI MV vor KI-gestützten Phishing-Angriffen unterstreichen die Notwendigkeit kontinuierlicher Sensibilisierung und Awareness-Programme. Phishing-Angriffe werden durch KI immer raffinierter und erfordern von Unternehmen einen ganzheitlichen Ansatz, der sowohl technische Schutzmechanismen als auch fortlaufende Schulungen der Mitarbeiter umfasst, um menschliches Verhalten nicht manipulieren zu lassen.
Prävention und kontinuierliche Anpassung
Für Unternehmen bedeutet die Veröffentlichung dieser Prinzipien einen wichtigen Impuls, ihre KI-Sicherheitsstrategien neu zu bewerten und anzupassen. Die Datenschutzkonferenz (DSK) unterstreicht bereits die Notwendigkeit eines „Privacy by Design“-Ansatzes in der KI-Entwicklung, was bedeutet, dass datenschutzkonforme Systeme von Anfang an, also in der Designphase, geschaffen werden müssen. Dabei sind die Technischen und Organisatorischen Maßnahmen (TOMs) der DSK, zu beispielsweise Datenminimierung, Vertraulichkeit und Intervenierbarkeit, eine praktische Hilfestellung für Hersteller und Entwickler.
Fazit
Zusammenfassend ist eine grundsätzliche Neubewertung eingesetzter KI-Technologien unerlässlich. Das BSI warnt davor, LLM-Systemen blind zu vertrauen oder sie vollständig autonom ohne menschliche Aufsicht zu betreiben. Unternehmen müssen strikte Grenzen zwischen Systemkomponenten ziehen, Autonomie bewusst limitieren, für Transparenz in Entscheidungsprozessen sorgen und menschliche Supervision bei kritischen Entscheidungen verlangen, um eine verantwortungsvolle und sichere KI-Landschaft zu gestalten.
Wir unterstützen Sie bei der Entwicklung und Implementierung maßgeschneiderter Informationssicherheitsstrategien. Mit seinem Fachwissen sorgt unser KINAST „KI-Beauftragter“ dafür, dass der Einsatz von KI im Einklang mit den geltenden gesetzlichen Bestimmungen steht, und trägt so maßgeblich Sicherung der Compliance Ihres Unternehmens bei. So identifizieren potenzielle Informationssicherheitsrisiken und entwickeln Lösungen zur Risikominimierung.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
