Reaktion auf Zwischenfälle und Unfälle

(Abschnitt: Operationen und Management)

1) Definitionen und Ziele

Ein Vorfall ist ein Ereignis, das gegen SLO/Sicherheit/Compliance verstößt oder ein Risiko für Kunden, Geld, Daten und Reputation darstellt.
Die Ziele der Reaktion: Dienst schnell wieder herstellen, Schaden minimieren, Beweise festhalten, transparent kommunizieren und eine Wiederholung verhindern.

Wichtige Grundsätze

Safety first: Der Schutz von Personen/Daten/Geld ist wichtiger als Funktionen.
One throat to choke: Ein einziger Incident Commander (IC) trifft Entscheidungen.
Jetzt aktiv: Jede Hypothese wird von einer Prüfung/Aktion begleitet.
Evidence matters: alles wird protokolliert, Artefakte werden signiert, die Timeline ist detailliert.

2) Klassifizierung (severity & Priorität)

Auslöser: SLO-Verstoß, Alert-Regel, manueller Bericht, rechtlicher Vorfall (DPO/CCO).

3) Rollen und Verantwortung (RACI)

Incident Commander (A) - Incident Leader, Aufgabenstellung, Entscheidungsfindung, IC-Wechsel bei langen Vorfällen.
Tech Lead (R) - Technische Diagnose/Fixierung, SRE/Engineering Koordination.
Comms Lead (R) - schreibt Status-Updates (intern/extern), Besitzer der Status-Seite.
Scribe (R) - Protokoll, Zeitlinie, Sammlung von Artefakten.
Sicherheit/Recht (C/A für Security-Fälle) - Risikobewertung, Meldepflicht.
Customer Support (C) - Antwortvorlagen, Ticket-Routing.
Partner Liaison (C) - Kommunikation mit Anbietern/Tenanten.
Management (I) - Information, Geschäftsentscheidungen (Kredite/Vergütung).

4) Die ersten 15 Minuten (Vorlage)

1. Weisen Sie IC zu und öffnen Sie die Incident Card (Chat-Kanal, Video-Brücke, Jira/Tracker).
2. Weisen Sie das SEV zu und fixieren Sie das SLO-Symptom (was genau verletzt wird).

• Runbooks/Runen einbeziehen: Circuit-Breakers, Trotting, Routenumschaltung, Pausenpromo;
• wenn kompromittiert - Kill-Switch empfindliche Funktionen.
• 4. Befehle: Tech Lead - Diagnose; Comms - "Tech Hold' (nach 10-15 min - erstes Update).
• 5. Identifizieren Sie Hypothesen (drei Maximum), weisen Sie Besitzer zu, stellen Sie Timer zur Überprüfung (5-10 Minuten).
• 6. Sammeln Sie Artefakte: Metrik-Snapshots, Configs, Release-Hashes, Protokolle mit 'trace _ id', Quittungen.

5) Erste Stunde (Vorlage)

Kommunikation v1 (15-20 min): Fakt, Reichweite, Symptome, was wir tun, nächstes Update. Ohne Spekulation.
Grenzen des Vorfalls: Welche Regionen/Tenanten/Kanäle/Versionen sind betroffen.
Schadenskontrolle: zeitweilige Abstriche/Einschränkungen, Deaktivierung von „lauten“ Integrationen, Aktivierung des Degradationsmodus.
Forenzika: Logrotationen einfrieren, Artefakte schützen (WORM/Signaturen).
Recovery Roadmap: T + 30/T + 60 mit Check-Points.

6) Kommunikation und Status-Seite

Interne Intervalle: P1 - alle 15 Minuten, P2 - 30-60 Minuten.
Extern: Status-Seite/Tenanten/SLA-Partner.

• Was zu sehen ist: „mit X: YY UTC Anstieg der Checkout-Ausfälle in der EU-Region (p95> 250 ms)“
• Wer ist betroffen: „A/B/C-Betreiber ~ 40% des Datenverkehrs“
• Was wir tun: "enthalten alternative route, trottling promo; Wir arbeiten mit dem Anbieter zusammen PSP-1"
• Daten/Termine: „nächstes Update in 15 min“
• Entschädigung: „anwendbare Gutschriften nach SLA nach Abschluss des Vorfalls“

7) Playbooks (Referenzen für iGaming/Fintech)

PriceMismatch (Schaufenster ≠ Checkout): höhere Behinderung des Caches, Abgleich 'fx _ version/tax _ rule _ version', Einfrieren dynamischer Promo-Aktionen, Ausgleich von Abweichungen in der Politik.
WebhookLag (Partner/Affiliates): Skalieren von Workern, Erhöhen von Batch, Priorisieren von Retrays, temporäres Cap für neue Abonnements.
Zahlungen Outage/PSP-Degradierung: Umstellung auf Backup-PSP, Reduzierung der Kunden-Timeouts, manuelles Warteschlangen-Clearing, „graue“ Transaktionen in Quarantäne.
RTP Drift: Bonus Pause, Überprüfung der Auszahlungstabellen/Versionen, Erweiterung des Überwachungsfensters, RTP Profil Rollback.
Fraud Spike: Velocity/Limits verschärfen, zusätzlichen KYC-Check ermöglichen, verdächtige Kohorten isolieren, hohe Gewinne manuell Revue passieren lassen.
Data/PII Exposure: Systemisolierung, DPO/Legal Notification, Inventar der betroffenen Datensätze, regulatorische Fristbenachrichtigungen.

8) Werkzeuge und Runen (Auto-Aktionen)

Кнопки: Pause Promo, Re-Route, Raise Limit, Rollback, Flush Cache, Disable Webhooks, Enable Safe Mode.
Guard Rails: Schutz vor „Satteln“ - Rollbacks sind begrenzt, Protokolle sind signiert, jede Aktion ↔ IC/Scribe.
Nachweisbarkeit: DSSE-Signaturen, Snapshot-Hashes, Merkle-Log-Slices.

9) Beendigung des Vorfalls

Kriterien: SLOs wiederhergestellt, Warteschlange ausgelöscht, Daten/Geld abgeglichen, Risiken geschlossen, Kommunikation versendet.
Abschlussritual: Finale Statusaktualisierung, fixierte Timeline, Liste der Einflüsse, vorläufige Ursachenhypothesen, Datum des Nachmortems zugeordnet.

10) Post-Mortem (keine Anklage)

Laufzeit: P1 - innerhalb von 3 Werktagen; P2 - 5 Werktage.
Inhalte: Fakten/Timeline, Ursachen (5 Whys/FRAM), Wirkung (SLO, Finanzen, Kunden), was gewirkt hat/nicht, Aktionselemente (Eigentümer, Laufzeit, messbare Wirkung).
Wirksamkeitsprüfung: nach 30-60 Tagen - Revue-Leistung und Metriken (Wiederholbarkeit, MTTR, Alarmgeräusch).

11) Kennzahlen und SLO des Incident Managements

MTTD/MTTA/MTTR, Change Failure Rate, Time to Comms v1,% autorisiert (Runen).
Alert Noise: Anteil irrelevanter Signale, Seiten pro On-Call-Shift.
Repeat Incidents: Anteil der Wiederholungen in 90 Tagen.
Post-mortem SLA: Anteil der gehaltenen/geschlossenen in der Zeit.
SLO-Reaktion: P1 - erste Kommunikation ≤ 15 Minuten; MTTR ≤ 60 min; Vollständigkeit der Artefakte = 100%.

12) Recht/Compliance/Privatsphäre

Rechtliche Hinweise: Fristen für lokale Aufsichtsbehörden für Lecks/Vorfälle.
PII-Minimierung: Zugang zum Primus nur über genehmigte Jobs; Tokenisierung/Maskierung.
Lagerung von Artefakten: WORM-Protokolle, Aufbewahrungszeitraum nach Gerichtsbarkeit; Zugangskontrolle (RBAC/ABAC, JIT).
Vertragspartner: vertragliche SLAs, Eskalationsprozess, Verfahrensbelege.

13) Organisation von Dienstzeiten und Eskalationen

24 × 7 On-Call: Rollenrotationen (SRE, App, Daten, Sicherheit, Zahlungen).
Eskalationsmatrix: Wer für die Regionen/Produkte/Anbieter ist; Duplizierung von Kontakten (Chat/Voice/SMS).
Übungen (GameDays): Simulationen - PSP-Sturz, Lawine von Retrays, Preis-Debakel, Schlüssel-Kompromittierung, Region-Ausfall.

14) Dashboards von Vorfällen

Hitze (jetzt): SLO-Status, p95/p99, Karte der Regionen/Tenanten, Aufgabenwarteschlange, Artefakte gesammelt/nicht.
Geschichte: Trends nach Art der Vorfälle, Wirksamkeit der Runen, Wiederholbarkeit der Ursachen.
Qualitätskontrolle: Timeline-Vollständigkeit, Post-Mortems „Coverage“, SLA-Kommunikation.

15) Checkliste Umsetzung

• SEV-Skala und SLO-Trigger genehmigen.
• Rollen zuweisen (IC/Tech/Comms/Scribe/Sec/Legal) und Rotation 24 × 7.
• Führen Sie eine einzelne Incident-Map-Vorlage und eine Status-Seite aus.
• Beschreiben Sie die Playbooks (PriceMismatch/WebhookLag/Payments/RTP/Fraud/PII).
• Runen mit Audit und „rotem Knopf“ umsetzen.
• Aktivieren Sie forensic policy: WORM/Signaturen/Sammlung von Artefakten.
• Kommunikationsverordnung (intern/extern) , SLA-Updates.
• Post-Mortem Prozess und Vorlagen; KPIs der Ausführung von Aktionselementen.
• GameDays monatlich; vierteljährlicher Überblick über die Trends der Vorfälle.
• IR-Metriken auf dem Dashboard (MTTA/MTTR/Noise/Repeat/Comms SLA).

16) FAQ

Warum „IC One“?
Ein einziger Entscheidungspunkt beseitigt das Chaos und beschleunigt die Reaktion.

Wann öffentlich bekannt geben?
Sobald es eine bestätigte Tatsache und einen Stabilisierungsplan gibt. Bewerten Sie die regulatorischen Fristen.

Was ist wichtiger - ein Fix oder ein Bericht?
Zuerst die Wiederherstellung und Sicherheit. Parallel dazu die Sammlung von Artefakten. Bericht - nach Stabilisierung.

Kann man alles automatisieren?
Nein, aber Runen schließen „häufige und einfache“ Schritte. Der Rest ist durch klare Playbooks und Training.

Zusammenfassung: Eine starke Incident Response ist nicht nur PagerDuty und ein Chat-Kanal. Es ist die Disziplin der Rollen, die schnellen ersten 15 Minuten, die überschaubaren Runen, die transparente Kommunikation, die Forenzika mit Nachweisbarkeit und das obligatorische Post-Mortem. Mit dieser Kontur senken Sie die MTTR, schützen Geld und Daten und erhöhen das Vertrauen von Kunden und Aufsichtsbehörden.