Die Integration großer Sprachmodelle (LLMs) wie GPT-4 und Llama in Unternehmensstrukturen schreitet rasant voran, wobei diese Technologien zunehmend Aufgaben im Bereich der Entscheidungsfindung oder Empfehlung wie bei der Bewerberauswahl übernehmen. Eine aktuelle Studie wirft jedoch ein Schlaglicht auf eine systemische Verzerrung den sogenannten „AI-AI-Bias“. Dieser Bias beschreibt die Tendenz von LLMs, Inhalte zu bevorzugen, die von anderen KI-Modellen generiert wurden, wenn sie zwischen maschinell und menschlich erstellten Inhalten wählen müssen.
Untersuchung des „Anti-Human“-Bias in LLMs
Die Forscher untersuchten mehrere gängige LLMs, darunter GPT-4, GPT-3.5 und Meta’s Llama 3.1-70b, in binären Auswahlszenarien, die praxisnahe Anwendungen im wirtschaftlichen Entscheidungsbereich widerspiegeln. Die KIs wurden als Entscheidungsassistenten eingesetzt und mussten beispielsweise ein Produkt, eine wissenschaftliche Arbeit oder einen Film auf Basis einer Beschreibung auswählen. Für jeden Vergleich wurde der KI eine menschlich verfasste und eine KI-generierte Beschreibung des gleichen Objekts präsentiert.
Die Studienergebnisse
Im Ergebnis zeigten die LLMs durchweg eine starke Präferenz für die KI-generierten Beschreibungen. Im Vergleich dazu zeigten menschliche Testpersonen zwar eine leichte Präferenz für einige KI-Texte, diese war jedoch nicht so stark wie die der LLMs selbst. Die deutliche Diskrepanz legt nahe, dass die Präferenz der KIs nicht allein auf einer validen Qualitätsüberlegenheit der Texte basiere. Die Autoren vermuten die Ursache eher in modellspezifischen Bewertungskriterien oder einer epistemisch fehlerhaften Disposition der KI, die die stilistischen Korrelate der KI-Präsentation fälschlicherweise als Beweis für die Überlegenheit der präsentierten Güter interpretiert.
Infolgedessen warnen die Autoren vor dieser Voreingenommenheit. Menschliche Akteure, die entweder bewusst auf den Einsatz von LLM-Tools verzichten oder sich den Zugang zu modernen, kostenpflichtigen LLMs nicht leisten können, können dadurch systematisch ins Hintertreffen geraten. Eine solche anhaltende anti-menschliche Voreingenommenheit in wirtschaftlichen Entscheidungen könne die ökonomische Lage der Menschen über verschiedene Kanäle beeinträchtigen.
Systemische Risikolandschaft wächst
Der untersuchte AI-AI-Bias ist nur ein Teil einer größeren Risikolandschaft, die Unternehmen durch Halluzinationen, Verzerrungen und Qualitätsprobleme bei KI-Inhalten zunehmend bedroht. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) aderssiert diese regelmäßig in Veröffentlichungen. Mit seinen „Zero Trust Design Principles for LLM-based Systems“ fordert das BSI ausdrücklich, KI-Ausgaben niemals blind zu vertrauen, sondern Resilienz gegen Fehler und Fehlentscheidungen zu schaffen. Zugleich verstärkt sogenannter Workslop, also scheinbar professionelle, aber inhaltlich substanzlose KI-Inhalte, Compliance-Risiken. In Verbindung mit Halluzinationen und Falschinformationen entsteht so ein Kreislauf systematischer Verzerrungen, der die Qualität und Zuverlässigkeit von Entscheidungsprozessen gefährden kann.
Fazit & Schlussfolgerungen für Unternehmen
Die Studienergebnisse zeigen deutlich das Risiko großer Sprachmodelle, unbewusst eine Form der Diskriminierung gegen Menschen zu fördern. Wenn Unternehmen und Institutionen LLMs als Entscheidungsassistenten einsetzen – etwa bei der Bewertung von Bewerbungen, Förderanträgen oder Geschäftsvorschlägen – besteht die Gefahr einer systematischen Bevorzugung KI-generierter Inhalte. Daraus ergibt sich die dringende Notwendigkeit, klare Governance- und Compliance-Strukturen zu etablieren. Neben verbindlichen Leitplanken sollten Unternehmen insbesondere auf die Stärkung der KI-Kompetenz ihrer Mitarbeitenden achten. Wird ein LLM in Entscheidungsprozessen eingesetzt, muss ebenso gewährleistet sein, dass dessen Bewertungen transparent auf nachvollziehbaren, aufgabenrelevanten Kriterien beruhen und nicht auf einer impliziten Bevorzugung von KI-Texten. Ein Privacy-by-Design-Ansatz sowie die gezielte Begrenzung der Autonomie von LLM-Systemen sind daher zentrale Bausteine für verantwortungsvolle KI-Nutzung. Wir bei KINAST unterstützen Unternehmen dabei mit individueller KI-Beratung oder als externer KI-Beauftragter.
