Wakadan soňky derňew

1) Näme üçin wakadan soňky seljermeler gerek?

Wakadan soňky seljerme (post-mortem/AAR) - şowsuzlykdan soň guramany okatmagyň gurluşly prosesi. Maksat günäkärleri tapmak däl-de, eýsem, gaýtalanma töwekgelçiligini we hadysalaryň bahasyny azaldýan, SLO, MTTR we müşderileriň/düzgünleşdirijileriň ynamyny ýokarlandyrýan esasy we höweslendiriji sebäpleri (CAPA) ýüze çykarmak we ölçenip boljak hereketleri berkitmek.

2) Ýörelgeler (Just Culture)

Aýyplamalarsyz: şahsyýetleri däl-de, ulgamlary, kararlary we mazmuny seljerýäris.
Faktlar pikirlerden has möhümdir: wagt, loglar, metrikler, söwdalar, üýtgeşmeleriň artefaktlary.
E2E-görnüş: müşderidäki alamatlardan başlap, içerki garaşlylyklara we daşarky üpjün edijilere çenli.
Barlanylyşy: her bir çaklama synag/maglumatlar bilen tassyklanýar.
Aýlawyň ýapylmagy: analiz → CAPA → gözegçilik nokatlary → retest.

3) Seljermäni haçan başlamaly we haýsy formatlar bar

Hökmany: SEV-0/1; SLA/kadalaşdyryjy talaplaryň bozulmagy; maglumatlaryň syzmagy; möhüm PR töwekgelçiligi.
Çaltlaşdyrylan (ýagtylyk): göze görnüp duran täsir ýa-da gaýtalanýan alamatlar bilen SEV-2.
Aragatnaşyk AAR: eger şowsuzlyk status-sahypasyna/goldawyna täsir eden bolsa, täzelenmeleriň SLAsyny we habarlaryň hilini barlaýarys.

Möhletler: taslama 48-72 sagadyň dowamynda, soňky wersiýasy - 5 iş gününe çenli (eger başgaça bellenilmedik bolsa).

4) Rollar we jogapkärçilik

Derňewiň eýesi (RCA Lead): prosesi gurnaýar, ýygnak geçirýär, hasabatyň hiline we CAPA-a jogapkärdir.
Incident Commander (IC): hadysanyň faktologiýasyny we çözgütlerini berýär.
Tech Leads (ulgamlar boýunça): artefaktlary tassyklaýan sebäpleriň seljermesi.
Comms/Support/Legal: aragatnaşyklara we laýyklyk talaplaryna baha bermek.
Scribe: teswirnama, subutnamalary ýygnamak, gurluşy berjaý etmek.
Önümiň/işiň steýkholderleri: müşderilere täsiri/dolanyşygy, CAPA-nyň ileri tutulmagy.

5) Taýýarlyk: duşuşyga çenli näme ýygnamak

Timline (UTC): T0 tapmak → Tn dikeldiş; relizler/fiç-baýdaklar/konfigalar, üpjün edijileriň statusy.
Syn ediliş maglumatlary: SLI/SLO grafikleri, error-rate, pertsentili, loglar, yzarlamalar, skrinshotlar.
Üýtgeşmeleriň mazmuny: PR/deploýa, DB migrasiýasyna, fiç-baýdaklara, iş meýilnamalaryna salgylanmalar.
Impakt: täsir eden kogortlar/sebitler/üpjün edijiler, iş wagty, SLA boýunça karzlar.
Aragatnaşyk: status-sahypadaky taslamalar/ýazgylar, sapport jogaplary, içerki bildirişler.
Syýasatlar/pleýbuklar: gyşarmalar bolan proses boýunça näme bolmalydy.

6) Seljeriş usullary (kombinasiýany saýlaň)

5 Why: sebäpler zynjyrynyň çalt açylmagy (töwekgelçilik - artykmaç ýönekeýleşdirmek).
Isikawa diagrammasy (Fishbone): People/Process/Platform/Policy/Partner/Product.
Fault Tree Analysis (FTA): Wakadan köp sebäplere çenli (AND/OR).
Change Analysis: waka döwründe näme üýtgedi vs durnukly ýagdaý.
Causal Graph: çylşyrymly mikroservisler we daşarky garaşlylyk üçin sebäp-netije gatnaşyklary grafasy.
Human Factors Review: ýadawlyk, maglumat sesi, ähmiýetsiz runbook.

7) Hasabatyň gurluşy (şablon)

1. Gysgaça maglumat (Executive Summary): näme, haçan, kime täsir etdi, jemleýji statusy.
2. Impact: SLI/SLO, ulanyjylar, sebitler/üpjün edijiler, min. iş wagty, maliýe/kadalaşdyryjy täsirleri.
3. Timline (UTC): esasy wakalar, goýberişler, IC çözgütleri, aragatnaşyklar.
4. Gözegçilikler we maglumatlar: grafikler, loglar, treýslar, konwensiýalaryň/shemalaryň diffleri.
5. Çaklamalar we barlaglar: kabul edilen/ret edilen, synaglara/simulýasiýalara salgylanmalar.
6. Kök sebäpleri: ulgamlaýyn/prosessual/tehniki (aýdyň formulalar).
7. Goşant goşýan faktorlar: näme üçin öň duýmadyk/saklamadyk?
8. Näme işledi/näme işlemedi: prosesler, gurallar, adamlar.
9. CAPA: eýeleri/möhletleri/üstünlik ölçegleri bilen düzediş we duýduryş çäreleri.
10. Barlag meýilnamasy: gözegçilik nokatlary D + 14/D + 30, ýapylyş ölçegleri.
11. Daşarky taraplar üçin wersiýalar: müşderi/düzgünleşdiriji (duýgur maglumatlarsyz).
12. Programmalar: artefaktlar, biletlere/PR salgylanmalar, daşbordlaryň ekran suratlary.

8) CAPA: hereketleri nädip işlemeli

Her hereketiň eýesi, möhleti we KPI täsiri bar (mysal üçin, change-failure-rate-iň X% peselmegi, 90 günüň nol gaýtalanmagy, burn-rate-iň iň ýokary derejelerinde azalmagy).
Corrective (düzetmek) we Preventive (öňüni almak) çärelerini bölüň.
Policy-as-code bilen baglanyşdyryň: alertler, SLO-oýunlar, awtoskeýl/çäkler, GitOps.
CAPA hepdelik operasiýa ýygnaklarynda syn bilen köpçüligiň belligine düşýär.

9) Täsirini barlamak we ýapmak

Gözegçilik nokatlary: D + 7 (aralyk), D + 14/D + 30 (esasy), D + 90 (jemi).
Barlamak: synaglar/simulýasiýa (oýun güni), şadow-traffik, syn etmek (ýaşyl zolakda durnukly SLI), gaýtalanmazlyk.
Ýapmak diňe CAPA we tassyklanan metrikler ýerine ýetirilende mümkindir.

10) Aragatnaşyk we gabat gelmek

Içerki: önüm/goldaw/dolandyryş üçin düşnükli status, täzelenmeleriň SLA-lary berjaý edilýär.
Daşarky: status-sahypa, müşderilere/hyzmatdaşlara ibermek; aýyplamasyz dil, öňüni almagyň anyk meýilnamasy.
Düzgünleşdiriji: habarnamalaryň möhletleri, mysallaryň depersonalizasiýasy, hasabatlaryň we artefaktlaryň üýtgewsiz saklanylmagy.

11) Prosesiň kämillik ölçegleri

Hasabatyň çap edilen wagty: hakykat vs SLA (mysal üçin ≤ 5 iş güni).
CAPA completion rate: wagtynda ýapylan hereketleriň%.
Reopen rate: 90 günde gaýtalanýan hadysalaryň paýy.
Ulgam sebäpleriniň paýy vs "adam ýalňyşlygy".
Alert-arassaçylyk: ýalan jaňlaryň azalmagy, runbook bilen örtülen alertleriň ösüşi.
DORA metrini üýtgetmek: MTTR, change-failure-rate öň/soň.

12) Çek-listler

Gözden geçirmezden ozal

• RCA eýesi we gatnaşyjylaryň düzümi kesgitlenildi.
• Taýmline we artefaktlar (loglar/grafikler/goýberişler/baýdaklar) ýygnaldy.
• Kogortlar/sebit/üpjün edijiler boýunça impakt baha berildi.
• "Impact" we "Timline" bölümleriniň taslamalary taýýarlandy.
• Degişli syýasatlar/pleýbuklar hakyky hereketler bilen deňeşdirilýär.

Wagtynda

• Kabul edilen/ret edilen çaklamalar we esaslar hasaba alyndy.
• Kök we goşant goşýan sebäpler kesgitlenildi.
• KPI we möhletleri bilen CAPA meýilnamasy döredildi.
• Daşarky taraplar üçin hasabatyň görnüşleri ylalaşyldy (zerur bolsa).

• Hasabat wagtynda çap edildi, rollar boýunça elýeterlilik.
• CAPA belliklere girizildi, eýeleri tassyklandy.
• Barlamak üçin gözegçilik nokatlary we kiçi simulýasiýa bellendi.
• Runbook/SOP/alertler/resminamalar täzelendi.

13) Anti-patternler

"Günäkär adam X" - ulgamlaýyn sebäpsiz → gaýtalamak.
CAPA-syz ýa-da eýesiz/möhletsiz hasabat - kagyz üçin kagyz.
Faktlar/artefaktlar ýok - duýgularda netijeler.
Gaty umumy dil ("DB-ni aşa ýüklemek") anyk üýtgeşmeler bolmazdan.
Aragatnaşyklary we laýyklygy äsgermezlik etmek - abraý töwekgelçiligi.
Täsirleri barlamazdan ýapmak - birnäçe hepdeden soň gaýtalanýar.

14) Kiçi şablonlar

Hasabat örtügi

Incident: INC-2025-10-31 (SEV-1)
Window: 2025-10-31 18: 05-18: 47 UTC
Owner of the analysis: @ rca-lead
Affected: EU region, payments (success -28% peak)
Status: corrected; 48 hours monitoring

Kök sebäbiniň formulasy (mysal)

CAPA (bölek)

PSP-A (1% → 5% → 25%), eýesi: @payments -tl, çenli: 2025-11-07, KPI: 30 gün üpjün edijileriň goýberilişinde nol P1 hadysalary.
SLA 800 ms ≤ umumy wagty bolan wagtlary/retralary täzeden sazla, eýesi: @platform -sre, çenli: 2025-11-05, KPI: p99 <600 ms N. ýükünde.
BIN-kogortlar boýunça biznes-SLI goşuň, eýesi: @data -lead, çenli: 2025-11-10, KPI: degradasiýalaryň detekasiýasy <5 minut.

15) Gündelik tejribä goşulmak

Hepdelik RCA-review: CAPA statusy, täze sapaklar, prosesleri täzelemek.
Wiki-de post-mortemleriň katalogy (hyzmat, SEV, sebäpler) we gözleg.
Wakanyň sebäplerine görä simulýasiýa etmek çäreleri barlamak üçin 2-4 hepdeden soň.
On-call onbordingine sapaklary goşmak we okuw ssenarilerini täzelemek.

16) Jemleýji

Wakadan soňky seljermeler ulgamlaýyn gowulaşmagyň mehanizmidir. Faktlar ýygnalanda, sebäpler subut edilende, hereketler ölçelip we barlanylanda, gurama ygtybarlylygyň amal kapitalyny toplaýar: MTTR we gaýtalanýan hadysalar pese gaçýar, goýberilişleriň öňünden aýdylýanlygy we müşderileriň ynamy artýar.