Die Präsidentin der gemeinnützigen Signal Foundation, Meredith Whittaker, hat die Technologie der sogenannten „KI-Agenten“ (Agentic AI) scharf kritisiert und sie als existenzielle Bedrohung für fundamentale Sicherheits- und Datenschutzgarantien bezeichnet.
Signal-Chefin Whittaker beleuchtet aktuell in verschiedenen Interviews (z.B. auf Deutschlandfunk Kultur, auf dem United Nations’ AI for Good Summit oder hier) die tiefgreifenden architektonischen und ökonomischen Spannungen, die zwischen dem datenhungrigen KI-Paradigma und den Anforderungen an Informationssicherheit und Compliance bestehen.
KI-Agenten durchbrechen Systembarrieren
Das zentrale Risiko von KI-Agenten liegt in ihrem exorbitanten Datenzugriff und ihrer Fähigkeit, etablierte Barrieren im System zu überwinden. Damit KI-Agenten ihre Versprechen erfüllen können – etwa Konzertkarten zu buchen und Freunde zu benachrichtigen – benötigen sie Zugriff auf das gesamte digitale Leben des Nutzers. Dazu gehören Browserverläufe, Kalender, Kreditkarteninformationen, Kontakte und private Nachrichten.
Whittaker beschreibt, dass diese Systeme quasi eine Art „root permission“ benötigen, um systemübergreifend zu arbeiten. Dieser umfassende Zugriff führe zum Durchbruch der metaphorisch gesprochenen „Blut-Hirn-Schranke“ zwischen der Anwendungsebene (App-Layer) und der Betriebssystemebene (OS-Layer). Die Signal-Chefin warnt, dass diese Integration selbst stark verschlüsselte Kommunikationsplattformen wie Signal gefährde. Da die leistungsstarken KI-Modelle fast immer auf Cloud-Servern verarbeitet werden, müssen die Daten wahrscheinlich unverschlüsselt ausgelesen und gesendet werden. Für Dritte entsteh durch den Agenten eine Hintertür oder Schwachstelle, die leicht ausgenutzt werden kann. Beispielsweise könnten so Daten durch sogenannte Prompt Injection abfließen. Signal musste bereits Maßnahmen ergreifen, um zu verhindern, dass das Betriebssystem Windows 11 (mittels Microsoft Recall) Screenshots von Signal-Nachrichten in einer unverschlüsselten Datenbank ablege. Signal fordert daher Opt-outs auf Entwicklerebene. Anwendungen müssten die Möglichkeit haben den Zugriff von KI-Systemen auf ihre Daten kategorisch zu verbieten.
Datenschutzrisiken durch Datenhunger der KI
Die fundamentalen Datenschutzrisiken würden sich aus der Natur des vorherrschenden KI-Paradigmas, das auf dem Ansatz „Big Data, bigger is better“ basieren. Whittaker kritisiert, dass die Politik der Datensparsamkeit aufgegeben wurde, da große Konzerne aus Angst, im KI-Rennen zurückzufallen, riesige Mengen persönlicher Daten sammeln. Sie spricht in diesem Zusammenhang von einem regelrechten „Datenraubzug“.
Darüber hinaus würden die extrem hohen Kosten für die Entwicklung und den Betrieb von KI-Systemen zu einem massiven Gewinndruck führen. Dieser Druck resultiere in einer „schlampigen“ und „überstürzten Produktion“, bei der Sicherheitsstandards und Qualitätssicherung vernachlässigt werden. Whittaker bemängelt, dass angesichts des Hypes die Grundlagen dieser Systeme – wie die Sicherheit der verwendeten Softwarebibliotheken und die Datenschutzrichtlinien der Betreiber – nicht gründlich genug überprüft werden.
BSI bestätigt steigende Cyberrisiken
Die Warnungen von Meredith Whittaker stehen im Einklang mit den Analysen des Bundesamtes für Sicherheit in der Informationstechnik (BSI). Das BSI warnt deutsche Unternehmen vor einem „trügerischen Sicherheitsgefühl“. Es bestätigt, dass KI-Agenten im Bereich offensiver Cyber-Angriffe bereits sehr leistungsfähig sind und in Hacker-Wettbewerben menschliche Spitzenteams übertreffen. Die durch KI effizienter werdenden Angriffsformen, wie Phishing, profitieren zunehmend von KI-generierten Inhalten.
Die Forderung Whittakers nach strikten Zugriffsbarrieren und dem Prinzip der geringsten Privilegien wird direkt durch die vom BSI veröffentlichten „Zero Trust Design Principles for LLM-based Systems“ gestützt. Diese Prinzipien sind eine Reaktion auf die Anfälligkeit von LLM-Systemen für Angriffe wie Indirect Prompt Injections.
Zero-Trust-Prinzipien als Schutzstrategie
Das BSI empfiehlt Unternehmen daher dringend die Kontinuierliche Überprüfung von Authentizität und Autorisierung. Denn den Ausgaben eines potenziell kompromittierten LLM-Systems sollte nicht blind vertraut werden. Zudem seien die strikte Isolierung von Sitzungen und Netzwerksegmentierung (Sandboxing) entscheidend, um die unkontrollierte Ausbreitung von Angriffen zu verhindern. Auch die Notwendigkeit, datenschutzkonforme Systeme von Anfang an zu schaffen (Privacy by Design), wird vom BSI betont.
Das BSI warnt zudem vor den systematische Verzerrungen (Bias) in KI-Systemen. Diese können die Schutzziele der Vertraulichkeit, Integrität und Verfügbarkeit beeinträchtigen und Angriffsvektoren schaffen. Da KI-Agenten anfällig für Manipulation sind, muss menschliche Aufsicht bei kritischen Entscheidungen sichergestellt werden. Zudem sind Schulungen und Awareness-Programme unerlässlich, da technische Schutzmaßnahmen nur wirken, wenn Mitarbeiter die Risiken, insbesondere durch raffinierte, KI-gestützte Phishing-Angriffe, verstehen.
Fazit
Die synchronen Warnungen von Signal Chefin Meredith Whittaker und BSI machen deutlich, dass der unregulierte oder unkritische Einsatz von KI-Agenten massive Risiken für die Informationssicherheit und die Compliance eines jeden Unternehmens darstellt. Für Unternehmen ist eine grundsätzliche Neubewertung der eingesetzten KI-Technologien unerlässlich. Unternehmen sollten technologische Skepsis und Compliance-Vorgaben gezielt mitdenken.
Der „KI-Beauftragte“ –
Ihre Lösung für rechtssichere KI-Compliance
Wir bieten Unternehmen eine umfassende Lösung für die rechtlichen und regulatorischen Herausforderungen, die der Einsatz von KI mit sich bringt.
