Zuletzt aktualisiert am:
Ein proaktiver Testansatz, bei dem interne oder externe Experten Angriffe oder Missbrauchsszenarien simulieren, um Schwachstellen in KI-Systemen aufzudecken.
Eine strukturierte, kontradiktorische Übung, bei der spezialisierte Teams („Red Teams“) versuchen, die Sicherheitsvorkehrungen von Modellen auszuhebeln – beispielsweise durch Prompt-Injections, Data Poisoning, API-Missbrauch oder Modell-Extraktion. Das Red Teaming identifiziert Schwachstellen in den Abwehrmechanismen, liefert Erkenntnisse für Minderungsstrategien und validiert, dass die Sicherheits- und Richtlinienebenen unter realistischen Bedrohungssimulationen standhalten. Die Governance regelt dabei den Umfang des Red Teamings, die Einsatzregeln (Rules of Engagement) sowie die erforderliche Berichterstattung zur Behebung der gefundenen Mängel.
Praxisbeispiel:
Eine Finanz-KI-Plattform beauftragt ein externes Red Team mit der Durchführung von Datenextraktionsangriffen auf ihre API. Dem Team gelingt es, Stichproben der Trainingsdaten erfolgreich zu rekonstruieren. Basierend auf diesen Erkenntnissen implementiert die Plattform Ratenbegrenzungen (Rate Limiting), differentielles Rauschen zum Schutz der Privatsphäre (Differential Privacy) sowie eine stärkere Authentifizierung – und behebt damit kritische Schwachstellen noch vor dem öffentlichen Start.
