[SEV] Σύντομη περιγραφή και ημερομηνία

1) Αρχές και πολιτισμός

Άψογα. Σφάλμα είναι μια ιδιότητα του συστήματος, όχι ένα πρόσωπο. Αναζητούμε «γιατί συνέβη» και όχι «ποιος φταίει».
Γεγονότα και αναλλοίωτες. Κάθε έξοδος βασίζεται σε χρονοδιάγραμμα, SLO, ίχνη και αρχεία καταγραφής.
Δημοσιότητα εντός της εταιρείας. Τα σύνολα και τα μαθήματα διατίθενται στις σχετικές ομάδες.
Οι δράσεις είναι σημαντικότερες από τα πρωτόκολλα. Αμετάβλητο έγγραφο ≡ χαμένος χρόνος.
Γρήγορες εκδόσεις. Σχέδιο μεταθανάτιου - εντός 48-72 ωρών μετά το συμβάν.

2) Κριτήρια ταξινόμησης και συμβάντων

• πλήρης απροσπέλαστη/απώλεια χρημάτων/δεδομένων,
• σημαντική υποβάθμιση (σφάλματα> SLO, p99 εκτός),
• υπάρχει μερική υποβάθμιση/εργασία γύρω.
• Αντίκτυπος: επηρεαζόμενες περιφέρειες/ενοικιαστές/προϊόντα, διάρκεια, επιχειρηματικές μετρήσεις (μετατροπή, GMV, αποτυχία πληρωμής).
• SLO/εσφαλμένος προϋπολογισμός: πόσος προϋπολογισμός έχει εξαντληθεί, πώς επηρεάζει την ταχύτητα των απελευθερώσεων και των πειραμάτων.

3) Ρόλοι και διαδικασίες περιστατικών

Διοικητής Συμβάντων (IC): διαχειρίζεται τη διαδικασία, δίνει προτεραιότητα στα βήματα, αναθέτει τους ιδιοκτήτες.
Επικεφαλής επικοινωνιών: ενημερώνει τους ενδιαφερόμενους/πελάτες σχετικά με ένα υπόδειγμα.
Ops/On-call: εκκαθάριση, μετριαστικές ενέργειες.
Γραφέας: Διατηρεί χρονοδιάγραμμα και αντικείμενα.
Εμπειρογνώμονες επί θεμάτων (ΜΜΕ): βαθιά διάγνωση.

Στάδια: ανίχνευση → κλιμάκωση → σταθεροποίηση → επαλήθευση → αποκατάσταση → μεταθανάτια → εισαγωγή βελτιώσεων.

4) Μεταθανάτια υποδείγματα (δομή)

5) RCA Techniques (Root Cause Search)

5 Why - sequential clarification of causes to the system level.
Ishikawa (fish bone) - factors "People/Processes/Tools/Materials/Environment/Dimensions."
Event-Chain/Ripple - a chain of events with probabilities and triggers.
Barrier Analysis - which "fuses" (timeouts, breakers, quotas, tests) were supposed to stop the incident and why they did not work.
Change Correlation - correlation with releases, config digs, feature flags, provider incidents.

Practice: Avoid "root cause = person/one bug." Look for a system combination (debt + lack of guard rails + irrelevant runbooks).

6) Communications and transparency

Internal: single channel (war-room), short updates according to the template: status → actions → ETA of the next update.
External: status page/newsletter with facts without "guilt," with apologies and an action plan.
Sensitivity: do not disclose PD/secrets; legal wording to be agreed.
After the incident: a summary note with human language and a link to a technical report.

External update template (brief):
"31 Oct 2025, 13:40 UTC - some users encountered payment errors (up to 18 minutes). The reason is the degradation of the dependent service. We turned on bypass mode and restored operation at 13:58 UTC. Apologies. Within 72 hours, we will publish a report with actions to prevent recurrence"

7) Actions and implementation management

Each action is owner, deadline, acceptance criteria, risk and priority relationship.
Action classes:
1. Engineering: timeout budgets, jitter retreats, breakers, bulkheads, backprescher, stability/chaos tests.
2. Observability: SLI/SLO, alert guards, saturation, traces, steady-state dashboards.
3. Process: runbook update, on-call workouts, game day, CI gates, bipartisan review for risky changes.
4. Architecture: cache with coalescing, outbox/saga, idempotency, limiters/shading.
Gates: releases fail unless "post-mortem critical actions" are closed (Policy as Code).
Verification: retest (chaos/load) confirms the elimination of the risk.

8) Integration of feedback

Sources:
Telemetry: p99/p99 tails. 9, error-rate, queue depth, CDC lag, retray budget.
VoC/Support: topics of calls, CSAT/NPS, churn signals, "pain points."
Product/Analytics: user behavior, failure/friction, drop-off in funnels.
Partners/Integrators: webhook failures, contract incompatibility, SLA timing.

Signal → decision loop:
1. The signal is classified (severity/cost/frequency).
2. An architectural ticket is created with a hypothesis and the price of the problem.
3. Falls into the engineering portfolio (quarterly/monthly), ranked by ROI and risk.
4. Execute → measure effect → update SLI/SLO/cost baselines.

9) Post-mortem maturity metrics

% postmortems published ≤ 72 h (target ≥ 90%).
Average "lead time" from incident to closure of key actions.
Reopen rate of actions (quality of DoD formulations).
Repeated incidents for the same reason (target → 0).
Proportion of incidents caught by guards (breaker/limiter/timeouts) vs "breakthrough."
Saturation of dashboards (SLI covering critical paths) and "noise" of alerts.
Share of game-day/chaos scenarios that simulate detected failure classes.

10) Example of postmortem (summary)

Event: SEV2. Payment API: up p99 to 1. 8s, 3% 5xx, 31 Oct 2025 (13:22–13:58 UTC).
Impact: 12% of payment attempts with retrays, part - cancellation. Erroneous budget q4: − 7%.
Root Cause: "slow success" of currency dependence (p95 + 400 ms), retrai without jitter → cascade.
Barrier failure: the breaker is configured only for 5xx, not for timeouts; there was no rate-cap for low priority.
What worked: hand shading and stale-rates feature flag.
Actions:
Enter timeout budget and jitter retrays (DoD: p99 <400 ms at + 300 ms to dependency).
Breaker for "slow success" and fallback stale data ≤ 15 minutes.
Update runbook "slow dependency," add chaos script.
Add dashboard "served-stale share" and alert at> 10%.
Enter release-gate: without passing chaos-smoke - prohibit release.

11) Artifact patterns

11. 1 Timeline (example)

13: 22:10 Προειδοποίηση p99> 800ms (πύλη)

13: 24:00 IC, ανοικτή αίθουσα πολέμου

13: 27:30 νόμισμα-api «αργή επιτυχία»

13: 30:15 Bale-rate-flag ON (10% κυκλοφορία)

13: 41:00 Stale-rates 100%, p99 σταθεροποιημένο 290ms

13: 52:40 Περιορισμός Retreas στην Πύλη

13: 58:00 Περιστατικό που έκλεισε, παρακολούθηση 30 λεπτών

11. 2 Solutions and Validation (DoD)

Διάλυμα: ενεργοποιήστε τον διακόπτη (slow_success)

DoD: αλφάβητο χάους «+ 300ms έως νόμισμα» - p99 <450ms, error_rate <0. 5%, stale_share <12%

11. 3 Policy "gate" (check)

εάν υπάρχει ( . Καθεστώς! = «Έγινε» και δράση. σοβαρότητα σε [«κρίσιμη»])

12) Αντι-μοτίβα

«Κυνήγι μαγισσών» και τιμωρία → απόκρυψη λαθών, απώλεια σημάτων.
Πρωτόκολλο για χάρη του πρωτοκόλλου: μακρά έγγραφα χωρίς δράσεις/ιδιοκτήτες/προθεσμίες.
Επίπεδο OCA «σφάλμα στον κωδικό» χωρίς παράγοντες συστήματος.
Κλείσιμο του συμβάντος χωρίς επανεξέταση και επικαιροποίηση των γραμμών βάσης.
Έλλειψη δημοσιότητας στην εταιρεία: επανάληψη των ίδιων σφαλμάτων σε άλλες ομάδες.
Αγνοώντας την ανατροφοδότηση από την υποστήριξη/τους εταίρους και την «αόρατη» υποβάθμιση (αργή επιτυχία).
Περίληψη «καθόριζε τα πάντα, προχωρούσε» - καμία αλλαγή στην αρχιτεκτονική/διαδικασίες.

13) Κατάλογος ελέγχου αρχιτεκτόνων

1. Έχετε ένα μόνο μεταθανάτιο πρότυπο και έκδοση SLA ≤ 72 ώρες
2. Οι ρόλοι (IC, Comms, Scribe, MME) ανατίθενται αυτόματα
3. Τα χρονοδιαγράμματα βασίζονται στην τηλεμετρία (μονοπάτια/μετρήσεις/αρχεία καταγραφής) και στις ετικέτες απελευθέρωσης/σημαίας
4. Οι μέθοδοι RCA εφαρμόζονται συστηματικά (5 Γιατί, Ishikawa, Barrier)
5. Οι δράσεις έχουν ιδιοκτήτες, προθεσμίες και DoD, που συνδέονται με τις πύλες κινδύνου και απελευθέρωσης
6. Ενημερώνει το περιστατικό το runbook/xaoc σενάρια/καταχωρίσεις
7. Ενσωματωμένα κανάλια VoC/Υποστήριξη, υπάρχει τακτική επανεξέταση των «κορυφαίων πόνων»
8. Επηρεάζει ο εσφαλμένος προϋπολογισμός την πολιτική των απελευθερώσεων και των πειραμάτων
9. Παρακολουθούνται μετρήσεις ωριμότητας (χρόνος έως μεταθανάτια, ρυθμός επανέναρξης, επαναληψιμότητα)
10. Διατίθενται δημόσια ενδοομιλική ανάλυση και βάση γνώσεων με αναζήτηση

Συμπέρασμα

Τα μεταθανάτια και η ανατροφοδότηση είναι ένας μηχανισμός μάθησης αρχιτεκτονικής. Όταν η ανάλυση χωρίς ευθύνες, η μετρήσιμη επίδραση των ενεργειών και η ενσωμάτωση των σημάτων από την παραγωγή γίνονται ο κανόνας, το σύστημα γίνεται πιο σταθερό, γρηγορότερο και σαφέστερο κάθε εβδομάδα. Κάνοντας τα γεγονότα ορατά, τις ενέργειες υποχρεωτικές και τις γνώσεις προσβάσιμες, και τα περιστατικά γίνονται καύσιμα για την εξέλιξη της πλατφόρμας σας.