Audit von KI-Algorithmen

1) Was ist ein KI-Audit und warum wird es benötigt?

Das Audit von KI-Algorithmen ist eine systematische Überprüfung von Daten, Modellen, Prozessen und Kontrollen, die beweist, dass KI zuverlässig, fair, sicher und legal funktioniert und Risiken gemanagt werden.

• Stärkung des Vertrauens (Stakeholder, Kunden, Regulator).
• Reduzieren Sie Betriebs-/Reputations-/Rechtsrisiken.
• Sicherstellung der Reproduzierbarkeit und Beherrschbarkeit des Lebenszyklus (ML/LLM Ops).
• Unterstützen Sie Geschäftsentscheidungen mit messbaren Qualitäts- und Risikometriken.

2) Umfang und Grenzen des Audits

Datenebene: Sammlung/Zustimmung, Qualität, Verschiebungen, Privatsphäre, Abstammungslinien.
Modellebene: Methodik, Validierung, Erklärbarkeit, Robustheit, Schwachstellen.
Produktebene: UX-Risiken, Mensch-in-Kreislauf, Feedback und Eskalationen.
Betriebsebene: Überwachung, SLO, Incidents, Rollbacks, Versionierung.
Recht und Ethik: Betroffenenrechte, Verbote/Einschränkungen, Dokumentation.
Anbieter und 3rd-party: externe Modelle, APIs, Daten, Lizenzen, vertragliche Garantien.

3) Risikoorientierte Methodik (Skelett)

1. Kritikalität der Nutzung: Auswirkungen auf Finanzen/Gesundheit/Rechte (niedrig/mittel/hoch).
2. Identifizierung von Risiken: Daten, Fairness, Sicherheit, Privatsphäre, Halluzinationen, Missbrauch.
3. Kontrollen und Evidenz: Welche Mechanismen reduzieren das Risiko und welche Artefakte bestätigen.
4. Bewertung und Scoring: Punkteskalen (0-3/0-5) nach Domains, „go/no-go“ -Schwellen.
5. Remission und Verbesserungsplan: SLA-Korrekturen, Eigentümer, Fristen.
6. Kontinuität: Häufigkeit wiederholter Audits, Auslöser einer ungeplanten Überprüfung.

4) Dokumentation und Artefakte (evidence)

Datenblatt: Quellen, Schemata, Rechte und Zustimmungen, Bereinigung, Verschiebungen, Retention.
Model Card: Zweck, Trainingsdaten, Metriken, Einschränkungen, Bedingungen für die sichere Verwendung.
Eval Report: Offline-Bewertungstechnik, Splits, Bootstrap/CI, Stressfälle.
Risk Register: Liste der Risiken mit Wahrscheinlichkeit/Einfluss, Remediationsstatus.
Änderungsprotokoll: Daten-/Code-/Modell-/Prompt-Versionen, Veröffentlichungsdaten.
Playbooks: Runbooks Rollback, Eskalation, DSAR/Datenlöschung, Reaktion auf Vorfälle.
Lieferant Dossier: Bedingungen der Anbieter (LLM API, Modelle), Grenzen und Garantien.

5) Datenaudit

Rechtmäßigkeit und Einwilligungen: Rechtsgrundlage, Verarbeitungszwecke, grenzüberschreitende Übermittlungen.
Qualität/Vertrauen: Frische, Vollständigkeit, Einzigartigkeit, Drift der Verteilungen.
Bias: Klassenungleichgewichte, Repräsentativität, Proxy-Merkmale.
Privatsphäre: Pseudonymisierung/Tokenisierung, differenzielle Privatsphäre (sofern anwendbar), Zugriffsprotokolle.
Linige: Tracing von der Quelle zu den Schaufenstern und zur Fiche-Plattform; Reproduzierbarkeit von Datasets.
Lizenzen und IP: Rechte an der Ausbildung/Verbreitung von Derivaten.

Mini-Checkliste: Gibt es ein Glossar von Metriken/Feldern, Schaltungsverträgen, DQ-Tests, Einwilligungsprotokoll, DSAR-Verfahren?

6) Auditierung klassischer ML-Modelle

Validierung und Umschulung: korrekte Splits, Leakage-Checks, Stabilität auf Zeitscheiben.
Robustheit: Stresstests (Lärm, Emissionen, Lücken, Verschiebungen), adversarial Sample's in vernünftigen Domänen.
Gerechtigkeit: disparate Wirkung, gleiche Chance, Kalibrierparität; Analyse nach Segmenten.
Erklärbarkeit: lokal/global SHAP/ICE, Stabilität der Bedeutungen.
Anwendungsbeschränkungen: Unsicherheitszonen, Fallback-Logik, Human-in-the-Loop.
Qualitätsökonomie: Kostenkurven, Fehlerprofile, Guardrail-Metriken.

7) Prüfung von LLM/generativen Systemen (optional)

Halluzinationen und Zuverlässigkeit: Anteil der Antworten mit Quellen, Fakten evals.
Content-Sicherheit: Filterung bösartig/verboten, Schutz vor jailbreak/prompt-injection.
Kontext und Lecks: Einschränkungen in RAG (PII/Secrets), Richtlinien für Quellenangaben.
Tools und Funktionen: Sichere Grenzen beim Aufruf von Funktionen (keine DDL/DML, Limits).
Verhaltensregressionen: A/B nach Prompt-Sätzen, „Erstarren“ von Systemanweisungen, Prompt-Version.
Usability und Ethik: Ablehnung/Umleitung in Risikofällen, korrekte Disclaimer, Schutz vor Missbrauchsautomatisierung.

8) Sicherheits- und Betriebsrisiken

Modellsicherheit: Trainingsdatenextraktion, Mitgliederüberschuss, Modellstealing - Tests und Wachen.
Supply-chain ML: Integrität von Artefakten (Modelle, Gewichte, Embeddings), Signaturen, Kontrolle von Abhängigkeiten.
Infrastruktur: Isolation von Umgebungen, Secret Management, Egress Control, Quoten.
Beobachtbarkeit: Protokolle/Metriken/Tracing, Drift- und Qualitätsalerts, Request/Export-Audit.
Vorfälle: Definition von „KI-Vorfall“, RACI, Benachrichtigungsfristen, Post-Mortems.

9) Metriken und Eval-Praktiken

Qualität nach Aufgabe: accuracy/AUC/MAE/F1; для LLM — pass@k, faithfulness, groundedness.
Fairness: Diskontinuitäten nach Segmenten, equalized odds/TPR-gap, unfairness-score.
Robustheit: Abfall der Metriken bei Rauschen/Scherung; worst-case nach Segmenten.
Sicherheit: jailbreak-rate, toxicity/abuse rate, data exfil success rate.
Wirtschaft: cost-to-serve, latency p95/p99, cache hit-rate, bugs/1000 requests.
Vertrauen und Erfahrung: Beschwerden, Appelle, Anteil manueller Overrides, Reaktionszeit.

10) Online-Überwachung und Risikomanagement

Drift-Detektoren: Bevölkerungsvergleiche von Fich/Vorhersagen; Alertas und Auto-Degradation.
Guardrails: Bereiche, Vertrauensschwellen, Blocklisten/Allow-Listen.
Human-in-the-Loop: in kritischen Fällen - obligatorische Überprüfung, Lernen durch Feedback.
A/V und die beobachteten Effekte: Verknüpfung von Modellmetriken mit Geschäftsmetriken und Guardrail-KPIs.
Rollbacks und Releasekontur: canary/blue-green, Modell-/Prompt-/Datenversion.

11) Einhaltung von Normen und internen Richtlinien

Privatsphäre und Rechte der Probanden: Recht auf Zugang/Löschung/Erklärung, Retention, Lokalisierung.
Transparenzanforderungen: Zweck, Kontakt für Beschwerden, Einschränkungen.
KI-Risikomanagement: Registrierung von Systemen mit hohem Risiko, Folgenabschätzung (AIA/PIA), regelmäßige Überprüfungen.
Verträge und SLAs mit Anbietern: Logexport, Verarbeitungsort, Unterauftragsverarbeiter, Prüfungsrechte.

12) Rollen und Verantwortung

AI/ML Owner: Besitzer von Modell und Qualität.
Data Steward: Eigentümer der Daten und DQ/Lineage.
Risiko & Compliance: Richtlinien, Prüfungen, Interaktion mit der Regulierungsbehörde.
Sicherheit/Datenschutz: Zugangskontrolle, Angriffs-/Lecktests.
Product/UX: Risikobasiertes Schnittstellen- und Content-Design.
Audit Lead (extern/intern): unabhängige Bewertung und Bericht.

13) Tools und Lösungsklassen

DQ/Katalog/Lineage: Qualitätstests, Lineage, Glossare, Kitdatenblätter.
Evals und Test-Kits: Offline/Online-Auswertung, Stressfallgenerierung, Benchmark-Kits.
LLM-Sicherheit: Prompt-Injection-Scanner, Inhaltsfilter, Policy-Checkers.
Überwachung: Inference-Telemetrie, Drift-Detektoren, Action/Export-Audit.
Prompt-/Modellmanagement: Register, Versionskontrolle, Reproduzierbarkeit.
Red Team Plattform: Angriffskataloge, Szenarien, automatische Tests.

14) Antipatterns

„accuracy only“: fairness/robustness/privacy/security ignorieren.
Keine Dokumentation: Fehlende Model Card, Datenblatt, Änderungsprotokoll.
Rohe PII in Fich/LLM Kontext: Lecks und rechtliche Risiken.
Fehlende Online-Überwachung: Das Ereignis ist eingetreten - niemand hat es bemerkt.
Undurchsichtige UX: Der Benutzer versteht nicht, dass es sich um eine KI handelt und wie er herausgefordert werden kann.
Einmaliges Audit: ohne Zyklizität und Revisionsauslöser.

15) Fahrplan für die Durchführung des Audits

1. Gründung: KI-Politik, Rollenmodell, Risikoregister, Musterkarten-/Datenblatt-Vorlagen.
2. Datenkontrolle: Verträge, DQ-Tests, Herkunftslinien, Lizenzen und Einwilligungen.
3. Eval-Rahmen: Qualitäts-/Fairness-/Sicherheitsmetriken, Stresssets.
4. LLM-Hygiene: RAG-Richtlinien, Filter, Injection Protection, Quellenprotokoll.
5. Überwachung und Vorfälle: Telemetrie, Alerts, Rollbacks, Runbooks, Mitarbeiterschulungen.
6. Externe Bereitschaft: Berichterstattung an die Regulierungsbehörde/Kunden, unabhängiges Audit mit hoher Kritikalität.
7. Kontinuierliche Verbesserung: Retro-Zyklen, Budgetgarden, regelmäßige rote Teamsitzungen.

16) Checkliste vor dem Start des KI-Modells/der Funktion

• Datenblatt und Modellkarte ausgefüllt; Rechte/Lizenzen bestätigt.
• Evals wurden durchgeführt: Qualität, Fairness nach Segmenten, Robustheit, Sicherheit.
• Für LLM: Halluzinationen/Bodenness-Messungen; Schutz vor prompt-injection/jailbreak.
• Überwachung und Alerts (Qualität, Drift, Toxizität, Latenz/Kosten) sind bekannt.
• Es gibt ein Human-in-the-Loop und ein Berufungsverfahren für kritische Entscheidungen.
• DSAR/Deletion/Retention werden beschrieben und am Stage getestet.
• Modell-/Promptregister aktualisiert; bereit Rollbacks und canary.
• Security-Review und red teaming durchgeführt; Blockierungsfindungen wurden beseitigt.

17) Beispiel für die Struktur eines Auditberichts (Skelett)

1. Zusammenfassung und Bewertung der Risiken (Tabelle nach Bereichen).
2. Beschreibung des Systems (Zweck, Benutzer, Kontext).
3. Daten (Quellen, Rechte, Qualität, Verschiebungen, Abstammungslinien).
4. Modell/LLM (Architektur, Training, Metriken, Einschränkungen).
5. Sicherheit/Datenschutz (Kontrollen, Angriffstests, Zugriffsprotokoll).
6. Eval-Ergebnisse (Qualität, Fairness, Robustheit, Sicherheit, UX).
7. Operationen (Monitoring, SLO, Incidents, Rollbacks).
8. Einhaltung von Normen (Richtlinien, Prozesse, Artefakte).
9. Verstöße/gap's und Remediationsplan (SLA, Eigentümer).
10. Anwendungen: Modellkarte, Datenblatt, Versuchsprotokolle, Versionen.

18) Mini-Templates (Pseudo-YAML)

Model Card (kurz)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) Das Ergebnis

Das Audit von KI-Algorithmen ist kein einmaliger „Tick“, sondern ein kontinuierlicher Prozess des Risikomanagements entlang der gesamten Daten- und Modellkette: von Zustimmungen und Verschiebungen bis hin zu Halluzinationen und Vorfällen. Wenn Dokumentation, eval-frame, Betriebskontrollen und transparente UX zusammenarbeiten, wird KI zu einer zuverlässigen, überprüfbaren und kostengünstigen Komponente des Produkts.