Sicherheit für AI-Anwendungen, AI-Agenten und Large Language Models
Large Language Models (LLMs), AI-Anwendungen und AI-Agenten schaffen neue Möglichkeiten für Unternehmen. Ob in Helpdesk-Systemen, Wissensplattformen, in Entwicklungsassistenten oder autonomen Agenten: AI-Systeme verarbeiten sensible Daten, greifen auf interne Wissensquellen zu und interagieren zunehmend mit anderen Anwendungen und Diensten. Dadurch entstehen neue Angriffsflächen.
Compass Security unterstützt Sie dabei, Sicherheitsrisiken frühzeitig zu erkennen, Schwachstellen gezielt zu beheben und Ihre AI-Lösungen sicher zu betreiben.
Herausforderungen bei AI-Anwendungen
AI-Systeme unterscheiden sich grundlegend von klassischen Anwendungen. Sie verarbeiten Eingaben dynamisch und greifen häufig auf externe Datenquellen, Werkzeuge oder interne Systeme zu. Dadurch entstehen Risiken, die mit herkömmlichen Sicherheitsprüfungen oft nicht ausreichend abgedeckt werden.
Typische Risiken:
- Prompt Injection und Jailbreak-Angriffe
- Unautorisierter Zugriff auf vertrauliche Informationen
- Datenabfluss aus RAG-Systemen und Wissensdatenbanken
- Missbrauch von Agenten und Tool-Integrationen
- Unsichere Konfigurationen von AI-Plattformen
- Fehlerhafte Berechtigungs- und Zugriffskonzepte
- Umgehung von Sicherheits- und Governance-Mechanismen
Die Risiken entstehen nicht bei jeder AI-Anwendung in gleichem Mass. Mit zunehmender Integration in Geschäftsprozesse steigt jedoch die Bedeutung einer unabhängigen Sicherheitsbewertung.
Gründe für ein AI & LLM Security Assessment
Ein AI & LLM Security Assessment ist besonders sinnvoll, wenn Sie
- AI-Anwendungen produktiv einsetzen
- AI-Agenten mit internen Systemen verbinden
- Retrieval-Augmented Generation (RAG) einsetzen
- sensible Daten über AI-Systeme verarbeiten
- eine unabhängige Sicherheitsbewertung Ihrer AI-Lösung durchführen wollen
Unser Vorgehen
Je nach Architektur, Einsatzgebiet und Risikoprofil kommen unterschiedliche Prüfverfahren zum Einsatz. Unsere AI & LLM Security Assessments werden auf Ihre Umgebung und Ihre Anforderungen abgestimmt.
Zu Beginn analysieren wir gemeinsam mit Ihren Fachverantwortlichen, Entwicklern und Architekten die AI-Lösung sowie deren Einbettung in die bestehende Systemlandschaft.
Dabei betrachten wir:
- Architektur und Datenflüsse
- Eingesetzte LLMs und Agenten
- RAG-Komponenten und Datenquellen
- Tool- und MCP-Integrationen
- Zugriffs- und Berechtigungskonzepte
Auf Basis dieser Analyse identifizieren wir potenzielle Angriffsvektoren und modellieren realistische Angriffsszenarien.
In einer zweiten Phase überprüfen unsere Experten die identifizierten Szenarien praktisch und simulieren reale Angriffe auf die AI-Lösung.
Die Tests werden nachvollziehbar dokumentiert und hinsichtlich ihrer Auswirkungen bewertet.
Für jede identifizierte Schwachstelle entwickeln wir konkrete und praxisnahe Gegenmassnahmen.
Der Abschlussbericht umfasst:
- Beschreibung der Schwachstellen
- Technische Analyse der Risiken
- Dokumentierte Angriffsszenarien
- Priorisierte Handlungsempfehlungen
Beispiel aus der Praxis
Ein internes AI-gestütztes Helpdesk-System beantwortet Anfragen auf Basis von Wissensdatenbanken, Dokumentationen und internen Dokumenten und kann gleichzeitig auf weitere Anwendungen und Datenquellen zugreifen.
Im Rahmen eines Assessments prüfen wir zum Beispiel, ob
- Benutzer auf Informationen zugreifen können, für die sie keine Berechtigung besitzen
- vertrauliche Inhalte aus internen Datenquellen offengelegt werden können
- Sicherheitsmechanismen durch manipulierte Eingaben umgangen werden können
- Agenten zu unerwarteten oder unerwünschten Aktionen veranlasst werden können
- Berechtigungen ausgeweitet oder interne Systeme missbraucht werden können
Dabei betrachten wir nicht nur das Large Language Model selbst, sondern die gesamte Lösung einschliesslich Datenquellen, Integrationen, Agentenfunktionen und Berechtigungskonzepten.
Ihr Nutzen
Ein AI Security Assessment durch Compass Security hilft Ihnen dabei,
- Risiken bei Agenten und Tool-Integrationen zu reduzieren
- Sicherheitsvorfälle und deren (finanziellen) Folgen zu vermeiden
- die Sicherheit geschäftskritischer Prozesse und sensibler Daten zu erhöhen
- Compliance- und Governance-Anforderungen besser zu erfüllen
Warum Compass Security
Compass Security verfügt über mehr als 25 Jahre Erfahrung in Penetration Testing, Application Security und Offensive Security sowie über spezialisierte Expertise im Bereich AI- und LLM-Sicherheit.
Unsere Assessments orientieren sich an etablierten Frameworks wie dem OWASP Top 10 for LLM Applications, der OWASP Agentic AI Security Guidance und MITRE ATLAS.
Gleichzeitig fliessen aktuelle Forschungserkenntnisse zu modernen AI-Systemen, Agenten und AI-gestützten Entwicklungswerkzeugen in unsere Assessments ein.
Internationale Forschungserfolge
Beim internationalen Wettbewerb Pwn2Own Berlin 2026 identifizierte das Team von Compass Security in der Kategorie «AI Coding Agents» erfolgreiche Angriffswege in Anthropic Claude Code, Cursor und OpenAI Codex und erreichte damit den 4. Platz.
Day One Results – OpenAI Codex Exploit
Lassen Sie Ihre AI-Lösung prüfen
Möchten Sie wissen, welche Risiken in Ihrer AI-Anwendung bestehen und welche Sicherheitsmassnahmen den grössten Mehrwert bieten?
Sprechen Sie mit unseren Experten über ein AI Security Assessment.
Lesen Sie hier, wie Kunden unsere Services erlebt haben: Kundenstimmen
Gerne geben wir Ihnen persönlich Auskunft: Ihre Ansprechpartner