Co-Working mit LLMs: Wo automatisieren, wo absichern?

Die Sicherheit von LLMs ist zu einer operativen Frage geworden. Sprachmodelle halten Einzug in Security Operations, Betrugsüberwachung und Softwareentwicklung – schneller, als die Regelwerke nachkommen, die sie steuern sollen. Der Beitrag zeigt die neuen Angriffsflächen auf – von Prompt Injection bis zu übermässiger Handlungsmacht autonomer Agenten – und fragt, was Confidential, Sovereign und Trustworthy AI realistisch leisten können.

In der jüngeren Berichterstattung zeigt sich ein wiederkehrendes Muster: Ein Mitarbeiter bittet einen KI-Copiloten um Rat bei einem Sicherheitsvorfall, das Modell schlägt mit grosser Selbstsicherheit etwas Falsches vor – und der Mensch folgt dem Vorschlag. Nicht jedes Mal entsteht daraus ein Schaden, doch wenn es passiert, sorgt es für Schlagzeilen. Bei Amazon gab ein Ausfall bei Amazon Web Services [1] und der Verlust von Millionen von Transaktionen [2] Anstoss zur Diskussion über den verantwortungsvollen Einsatz generativer KI-Agenten. Eine der Ursachen war, dass KI-Agenten Änderungen an Produktivsystemen ohne menschliche Prüfung vornehmen durften. Die Produktionsdatenbank von McKinsey und die interne KI-Plattform Lilli wurden durch eine agentische SQL-Injektion kompromittiert [3]; CodeWall handelte dabei im Rahmen des öffentlichen Responsible-Disclosure-Programms von McKinsey auf HackerOne [4].

Vom experimentellen Chatbot zur operativen Infrastruktur

LLMs sind längst keine experimentellen Chatbots mehr. Sie werden zunehmend in operative Arbeitsabläufe eingebunden. Häufig geschieht dies, bevor die Mitarbeitenden angemessen informiert und geschult sind: Unternehmensvorgaben verpflichten sie dazu, LLMs zu nutzen und mit ihnen zusammenzuarbeiten. Der Hype um LLMs hat zudem viele in einen Wettbewerb mit ihresgleichen um die intensivste Nutzung gedrängt. LLMs sind heute überall anzutreffen – als Copiloten in Security Operations Centers (SOC), in der Betrugsüberwachung, in der Compliance, im Kundendienst oder in der Softwareentwicklung, um nur einige Bereiche zu nennen [5], [6]. Menschen können anhand von Aufgabenpriorität und Arbeitsablauf einschätzen, wie sicherheitskritisch eine Situation ist – genau daran fehlt es LLMs in einer nicht deterministischen Welt: Ihre Entscheidung beruht auf Wahrscheinlichkeitsberechnungen zum nächstwahrscheinlichen Schritt. In Umgebungen mit hohem Risiko können solche Modelle menschliche Entscheidungen deshalb nur unterstützen.

Neue Angriffsflächen: Was LLMs unterscheidet

LLMs öffnen Einfallstore, die klassische Software nicht kennt – darunter Model Poisoning, Data Poisoning und Prompt Poisoning [7], [8]. Wiederkehrende Muster sind:

• Prompt Injection: Angreifende verändern die zentralen Systemanweisungen des Modells.
• Zielabweichung (Goal Misalignment): Die emergenten Ziele eines Agenten weichen von den beabsichtigten menschlichen Zielen ab – die Optimierung eines scheinbar harmlosen Ziels kann schädliche Folgen haben.
• Datenabfluss (Data Leakage): Vertrauliche Informationen werden bei der Verfolgung eines Ziels offengelegt.
• Manipulierte Wissensquellen (Poisoned Retrieval): Das Modell wird dazu gebracht, bestimmte Marken oder URLs zu bewerben.
• Übermässige Handlungsmacht (Agentic Overreach): Einem Agenten wird ein grösserer Handlungsspielraum eingeräumt, als er haben sollte.

In klassischen Softwaresystemen sind Entscheidungen weitgehend regelbasiert und deterministisch. LLMs sind hingegen von Grund auf probabilistisch, zeigen emergentes Verhalten und erzeugen Ausgaben, die sich nur schwer überprüfen lassen.

Die Governance-Lücke

Bei der Einführung von LLMs und ihrer Steuerung in Entscheidungsprozessen besteht eine deutliche Governance-Lücke. Organisationen setzen LLMs schneller ein, als Sicherheitsrahmenwerke, Monitoring, Auditierung und Evaluationsstandards nachkommen. Gängige Massnahmen gegen Angriffe über LLMs sind Human-in-the-Loop-Verfahren, die Isolation von RAG-Systemen, Audit-Trails, Modellevaluation, adversariale Tests, Erklärbarkeit sowie ein datenschutzbewusster Betrieb [7].

Drei Richtungen statt Angst

Statt uns vom Fortschritt der LLMs verunsichern zu lassen, sollten wir lernen, mit welchen Massnahmen wir unsere Sicherheit schützen. Es ist zunehmend unrealistisch, LLMs als harmlose Assistenten zu behandeln. Da sie in kritische Arbeitsabläufe eingebettet werden, müssen wir sie als sicherheitsrelevante Infrastruktur betrachten. Doch wie? Höhere Token-Kosten in Kauf nehmen und auf geschlossene, proprietäre Modelle setzen, weil diese derzeit leistungsfähiger und effizienter sind als offene Modelle – auf Kosten des Datenschutzes und der Geschäftslogik der Kundschaft? Das ist nicht der richtige Weg. Die künftige Entwicklung dürfte in Richtung Confidential AI, Sovereign AI und Trustworthy AI gehen.

Confidential AI: Daten während der Inferenz schützen

Immer häufiger nutzen wir LLMs, die über cloudbasierte Inferenz betrieben werden, um proprietäre Dokumente, Kundeninteraktionen und interne Wissensdatenbanken zu verarbeiten. Herkömmliche cloudbasierte Inferenz wirft jedoch Fragen zur Vertraulichkeit der Daten auf: Sensible Informationen können über Infrastrukturen Dritter laufen oder durch Logging, Modelltraining oder unbefugten Zugriff offengelegt werden. Confidential AI begegnet diesen Herausforderungen, indem sie moderne KI-Systeme mit Sicherheitstechnologien kombiniert, die Daten über den gesamten Inferenzprozess hinweg schützen.

Offene Gewichte als Voraussetzung für Souveränität

Statt sich auf einen einzelnen Mechanismus zu stützen, verbindet Confidential AI mehrere Schutzebenen: Confidential Computing mit Trusted Execution Environments (TEE) wie Intel SGX, AMD SEV oder Nvidia GPU-CC, hardwaregestützte Verschlüsselung für gespeicherte und übertragene Daten, sicheres Identitäts- und Zugriffsmanagement, Ende-zu-Ende-verschlüsselte Kommunikation sowie zunehmend datenschutzwahrende Verfahren des maschinellen Lernens wie Federated Learning, Differential Privacy und sichere Mehrparteienberechnung [9].

Plattformen wie PrivateMode.ai veranschaulichen diesen Wandel: Sie ermöglichen es Organisationen, generative KI zu nutzen und zugleich die Kontrolle über ihre wertvollen Daten zu behalten. In der Schweiz arbeiten öffentliche Institutionen wie das Bundesamt für Statistik daran, das Potenzial von Verwaltungsdaten für die Sekundärnutzung zu erschliessen und dabei den Datenschutz strikt zu wahren. Das Team entwickelt Lomas, eine Plattform für die vertrauliche Analyse sensibler Datensätze – von Gesundheitsdaten bis zu Sozialstatistiken –, ohne dass die Rohdaten offengelegt werden. Auch Verfahren des Confidential Computing werden dort erprobt.

Offene Modelle holen allmählich auf. Die rasche Entwicklung von LLMs mit offenen Gewichten hat die Möglichkeiten für Confidential-AI-Anwendungen deutlich erweitert. Anders als geschlossene kommerzielle Modelle, auf die in der Regel über proprietäre Cloud-APIs zugegriffen wird, erlauben es Open-Weight-Modelle den Organisationen, die gesamte KI-Pipeline in vertrauenswürdigen Rechenumgebungen zu betreiben, zu prüfen, nachzutrainieren und zu steuern. Besonders wertvoll ist dies in Branchen, die mit sensiblen oder regulierten Informationen umgehen und in denen Datensouveränität, Transparenz und Nachvollziehbarkeit unerlässlich sind. Zu den jüngeren Beispielen zählt OLMo [10], eine Open-Science-Initiative des Allen Institute for AI (Ai2), die Modellgewichte, Trainingscode und Datensätze veröffentlicht, um reproduzierbare KI-Forschung zu fördern. In Europa verfolgt EuroLLM [11] das Ziel, mehrsprachige Basismodelle mit offenen Gewichten zu entwickeln, die die technologische Souveränität Europas stärken und zugleich die sprachliche Vielfalt des Kontinents berücksichtigen. Ergänzend dazu richten Modelle und Plattformen wie Apertus [12] den Fokus auf den sicheren Betrieb und die Governance von LLMs und ermöglichen es Organisationen, offene Modelle einzubinden, ohne die Kontrolle über sensible Daten zu verlieren. Zusammen zeigen diese Initiativen, wie Offenheit, Transparenz und sicherer Betrieb zu tragenden Säulen vertrauenswürdiger KI werden.

Trustworthy AI: Modelle an Domänenregeln binden

Eine weitere Säule der LLM-Sicherheit ist die Gestaltung von Trustworthy-AI-Frameworks, die KI-Lösungen an branchenspezifische Regulierungen, Fachwissen und Leitplanken (Guardrails) binden. Systematische Lösungen für vertrauenswürdige KI gibt es bislang nicht; für einzelne Branchen liegen Ontologien vor, die jedoch nicht von sich aus maschinenlesbar sind [13]. Unser Team arbeitet mit Cuomo IT Consulting zusammen. Das Unternehmen verfügt über eine breite Kundschaft im Finanz- und Gesundheitswesen und hat grossen Bedarf an einem automatisch integrierten Trustworthy-AI-Framework, mit dem sich die von LLMs generierten Antworten validieren lassen.

Ausblick: Patchen, dauerhaft

Wir stehen am Scheideweg LLM-gestützter Anwendungen – ähnlich wie bei früheren Umbrüchen in der Softwareentwicklung und bei Betriebssystemen, die laufend Sicherheitspatches erfordern. Diesmal ist es allerdings etwas anders: Aufgrund der agentischen und generativen Natur von LLMs wissen wir womöglich nicht, wo, wie und wann vertrauliche Informationen abgeflossen sind. Die sichersten Gegenmassnahmen scheinen eine Haltung des kontinuierlichen Lernens und der Weiterbildung zu sein, der Einsatz vollständig offener LLMs (Daten, Gewichte und Modelle) sowie die Nutzung datenschutzwahrender Recheninfrastruktur.

Referenzen

[1] B. Nolan, “An AI agent destroyed this coder’s entire database. He’s not the only one with a horror story,” Fortune. Accessed: Aug. 04, 2026. [Online]. Available: https://fortune.com/2026/03/18/ai-coding-risks-amazon-agents-enterprise/

[2] E. Kim, “Amazon orders 90-day reset after code mishaps cause millions of lost orders,” Business Insider. Accessed: Jul. 16, 2026. [Online]. Available: https://www.businessinsider.com/amazon-tightens-code-controls-after-outages-including-one-ai-2026-3

[3] “How We Hacked McKinsey’s AI Platform.” Accessed: Jul. 16, 2026. [Online]. Available: https://codewall.ai/blog/how-we-hacked-mckinseys-ai-platform

[4] “McKinsey & Company | Response Policy,” HackerOne. Accessed: Jul. 16, 2026. [Online]. Available: https://hackerone.com/mckinsey-company?type=team

[5] H. Xu et al., “Large Language Models for Cyber Security: A Systematic Literature Review,” ACM Trans. Softw. Eng. Methodol., Sep. 2025, doi: 10.1145/3769676.

[6] I. Hasanov, S. Virtanen, A. Hakkala, and J. Isoaho, “Application of Large Language Models in Cybersecurity: A Systematic Literature Review,” IEEE Access, vol. 12, pp. 176751–176778, 2024, doi: 10.1109/ACCESS.2024.3505983.

[7] M. Q. Li and B. C. M. Fung, “Security concerns for Large Language Models: A survey,” J. Inf. Secur. Appl., vol. 95, p. 104284, Dec. 2025, doi: 10.1016/j.jisa.2025.104284.

[8] J. Yan et al., “Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection,” in Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), K. Duh, H. Gomez, and S. Bethard, Eds., Mexico City, Mexico: Association for Computational Linguistics, Jun. 2024, pp. 6065–6086. doi: 10.18653/v1/2024.naacl-long.337.

[9] F. Mo, Z. Tarkhani, and H. Haddadi, “Machine Learning with Confidential Computing: A Systematization of Knowledge,” ACM Comput. Surv., vol. 56, no. 11, p. 281:1-281:40, Jun. 2024, doi: 10.1145/3670007.

[10] D. Groeneveld et al., “OLMo: Accelerating the Science of Language Models,” in Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), L.-W. Ku, A. Martins, and V. Srikumar, Eds., Bangkok, Thailand: Association for Computational Linguistics, Aug. 2024, pp. 15789–15809. doi: 10.18653/v1/2024.acl-long.841.

[11] P. H. Martins et al., “EuroLLM: Multilingual Language Models for Europe,” Procedia Comput. Sci., vol. 255, pp. 53–62, Jan. 2025, doi: 10.1016/j.procs.2025.02.260.

[12] P. Apertus et al., “Apertus: Democratizing Open and Compliant LLMs for Global Language Environments,” Dec. 01, 2025, arXiv: arXiv:2509.14233. doi: 10.48550/arXiv.2509.14233.

[13] C. B. Griesinger, V. Reina, D. Panidis, and H. Chassaigne, “AI evidence pathway for operationalising trustworthy AI in health: An ontology unfolding ethical principles into translational and fundamental concepts,” JRC Publications Repository. Accessed: Jul. 16, 2026. [Online]. Available: https://publications.jrc.ec.europa.eu/repository/handle/JRC140726