Glossar
Aktualisiert
Eine strukturierte Angriffsübung, bei der spezialisierte Teams („Red Teams“) versuchen, die Sicherheitsvorkehrungen von Modellen auszuhebeln, beispielsweise durch Prompt-Injections, Data Poisoning, API-Missbrauch oder Modell-Extraktion. Das Red Teaming identifiziert Schwachstellen in den Abwehrmechanismen, liefert Erkenntnisse für Minderungsstrategien und validiert, dass die Sicherheits- und Richtlinienebenen unter realistischen Bedrohungssimulationen standhalten. Die Governance regelt dabei den Umfang des Red Teamings, die Einsatzregeln (Rules of Engagement) sowie die erforderliche Berichterstattung zur Behebung der gefundenen Mängel.
Beispiel
Eine Finanz-KI-Plattform beauftragt ein externes Red Team mit der Durchführung von Datenextraktionsangriffen auf ihre API. Dem Team gelingt es, Stichproben der Trainingsdaten erfolgreich zu rekonstruieren. Basierend auf diesen Erkenntnissen implementiert die Plattform Ratenbegrenzungen (Rate Limiting), differentielles Rauschen zum Schutz der Privatsphäre (Differential Privacy) sowie eine stärkere Authentifizierung und behebt damit kritische Schwachstellen noch vor dem öffentlichen Start.