Standard Operating Procedures

1) SOP näme we näme üçin zerur?

SOP (Standard Operating Procedure) - düşnükli girelgeler/çykyşlar, rollar we hil ölçegleri bilen gaýtalanýan amallar üçin resmileşdirilen, tassyklanan ädimler yzygiderliligi.

• Ýerine ýetirilişiň we töwekgelçilikleriň üýtgemeginiň peselmegi.
• Taýýar hereketleriň hasabyna MTTA/MTTR-ni azaltmak.
• Komplayens we audit: köpeltmek, yzarlamak.
• Onbording: okuwy çaltlaşdyrmak we "shadow → solo".

SOP ≠ pleýbuk: pleýbuk - çatryklary bolan çözgütleriň agajy, SOP - belli bir ssenariýa (ýa-da pleýbukyň şahasy) üçin çyzykly düzgün.

2) "Gowy" SOP ýörelgeleri

Outcome-Driven: Netijä üns bermek (SLO/iş ölçegleri), diňe ädimlerde däl.
Birmeňzeşlik: buýruklar, parametrler, garaşylýan täsirler we gözegçilik nokatlary.
Howpsuzlyk: geýtlar, çäkler, backout/rollback ýazylýar.
Iň az kontekst: gysga bellikler + jikme-jik runbook/diagnostika baglanyşyklary.
Aktuallygy: rewew senesi, eýesi, wersiýasy, hereket ediş möhleti.
Ýerine ýetirilişi: JIT/JEA elýeterliligi, deslapky synaglary, artefaktlaryň şablonlary.

3) SOP standart gurluşy (skelet)

ID/Version/Review Date
Name and short purpose (what and why)
Scope (Services/Regions/Tenants, SEV/Risk)
Roles and Responsibilities (RACI: R/A/C/I)
Preconditions (accesses, windows, stage, reserve, artifacts)
Materials/tools (dashboards, feature flags, repos, keys)
Quality gates (SLO-gardrails, quorum of probes, alerts)
Step-by-step instruction (step → command → expected result → verification)
Branches (if X - perform Y) [minimum]
Backout/Rollback (start conditions, steps, verification)
Communications (who, when, where; message templates)
Evidence (what to save: screenshots, logs, chexums, links)
Completion (success criteria, watching who closes the ticket)
Change History (What, By Whom, and Why)

4) SOP katalogy we eýeçilik

"Docs-as-Code": 'domain/ops', 'service/checkout', 'risk/high', 'provider/psp-a'.
Eýesiniň kartoçkasy: topar, nobatçy aragatnaşyklar, ätiýaçlyk eýesi.
SLA aktuallygy (mysal üçin, her ≤ 90 günde ýa-da wakadan/goýberilenden soň täzeden gözden geçirmek).
Linter/SOP (CI) tassyklaýjy: gurluşy, baglanyşyklary, eýeleri, möhleti barlamak.

5) SOP ömri

1. Başlangyç (wakadan/maşkdan/täze prosesden soň).
2. Taslama (awtor = hyzmatyň/prosesiň eýesi).
3. Revew (SRE/Security/Legal/Comms - domen boýunça).
4. Pilot (tabletop/game day): wagt, tapyndylary ölçemek → düzediş.
5. Çap etmek (CMDB/hyzmat katalogynda wersiýa, senesi, belgisi, şablonlary).
6. Amaly ulanmak (belliklerde/söhbetdeşliklerde düşündirişler, evidence ýygnamak).
7. Täzelenme (RCA/CAPA, rewyu, arhitektura üýtgemeleri).
8. Arhiw/deprekasiýa (täze SOP/pleýbuk bilen çalşyryldy).

6) Goňşy artefaktlar bilen gatnaşyklar

Pleýbuklar: SOP - pleýbukyň içinde "çyzykly şahasy"; ädimlerden baglanyşyk.
Runbook 'i: tehniki jikme-jiklikler/skriptlar runbook-a girizildi, SOP salgylanýar.
Syýasatlar (Policy-as-Code): Giriş, Retensiýa, RBAC - hökmany baglanyşyklar.
SLO/SLI: Üstünlik ölçegleri we garde-rails.
Eskalasiýa matrisi: SOP şowsuz bolanda rollar/wagtlar.
Hyzmat penjireleri: high-risk SOP üçin slot/comma talaplary.

7) SOP netijeliliginiň metrikleri

Time-to-Execute (mediana/p95) - prosedura näçe wagt alýar.
Success Rate - eskalasiýa/yzyna gaýtarylmazdan üstünlikli ýerine ýetirişleriň paýy.
"Evidence Completeness" - artefaktlaryň dolulygy.
SLO Impact - ädim/ädim (burn-minut) wagtynda pese gaçmak barmy?
Defect Density - 10 SOP-da gykylyk/maşk wagtynda bellikler.
Freshness - 90 günden ≤ gygyrýan SOP paýy.
Adoption - SOP-e näçe alert/penjire birikdirildi.

8) SOP awtorynyň çek-sanawy

• Ulanmagyň maksady we çäkleri kesgitlenildi.
• Rollar, elýeterlilik we penjireler - beýan edilýär.
• Hil geýtleri we SLO ölçeglidir, signal çeşmeleri bar.
• ädimler ýerine ýetirilip bilner: buýruklar/skriptlar, garaşylýan netijeler, barlamak.
• Backout/rollback we başlangyç kriteriýalary aýdyň.
• Komm şablonlary goşuldy.
• "Evidence" sanawy gurlupdyr.
• Wersiýasy/senesi/eýesi/review bilen görkezilýär.

9) SOP ýerine ýetirijisiniň çek-sanawy

• JIT/JEA-nyň deslapky şertleri we elýeterliligi tassyklandy.
• Bilet açylýar we düşündirişler açylýar.
• Gözegçilik etmek: zerur daşbordlar/alertler açyk.
• Yzygiderli ädimleri ýerine ýetirýärin; her birinden soň - barlamak.
• Gardrailler bozulsa - derrew yza çekilýär we güýçlenýär.
• Evidence doldy; SLO/business-SLI-iň soňky barlagy.
• Giriş ýapyldy, status-sahypa/komms täzelendi.

10) SOP mysallary (bölekler)

10. 1 SOP: Kanar çykyşy (REL-ROLLBACK-01)

The goal: to return the stable version when the burn-rate is exceeded or the p99 grows.
Scope: checkout-api service (prod, EU).
Roles: Release (R), IC (A in SEV-1), P1 (R), Comms (I).
Preconditions: feature flags are ready; JEA accesses; release-annotations included.
Gates: slo. payment_success, http_p99; quorum synthetic EU/US + RUM.
Steps:
1) Freeze unrelated depleys.
2) rollback to tag v2. 3. 7 (command...) → waiting 5 minutes.
I expect: p99↓, error_rate↓, burn-rate <threshold.
3) Business SLI check (payment success, conversion) 10 min.
4) Remove the suppression of alerts; update release annotation.
Backout: if rollback does not help - escalate to IC, enable degrade-UX, consider failover.
Comms: "Rolled back; metrics stabilize; next update in 15 minutes."
Evidence: before/after screenshots, link to dashboards, command and output.
Completion: 30 min green SLOs; close the ticket; assign an RCA (if SEV-1).
Version: 1. 6 (2025-10-28)

10. 2 SOP: Meýilleşdirilen täzelenme BD (MW-DB-UPGRADE-02)

Purpose: update PostgreSQL minor without data loss.
Area: payments-db (prod EU), 02: 00-04: 00 Europe/Kyiv.
Roles: DB Lead (R), SRE (C), Service Owner (A), Comms (R clients).
Preconditions: OK backups; replica in sync; Test upgrade passed.
Gates: lag≤30s, error_rate<0. 5%, p99 <400ms, SLO green 30m.
Steps:
1) Transfer traffic to canary replica 1%→5%→25%; SLI monitoring.
2) Consistently upgrade secondary nodes → switch over → upgrade of the former primary.
3) Restore replication, check consistency.
Backout: promote stable replica; return writer; rolling back packets.
Comms: T-7/-2 days and T-60/-15 min alert; updates q = 30m during the window.
Evidence: migration logs, checksums, p95/p99 graphs.
Completion: observation 60m without burn; MW report with evidence.
Version: 2. 1 (2025-09-12)

10. 3 SOP: PSP üpjün edijisini çalyşmak (PROV-PSP-SWITCH-01)

Objective: to maintain payment success_ratio in case of PSP-A degradation.
Trigger: PSP-A red/partial status + success_ratio% ≥2 drop.
Steps:
1) Install weights: PSP-A 30%, PSP-B 70%.
2) Turn on the degrade_payments_ux; enhance retrays (within SLA).
3) Monitor fraud_rate/chargeback-risk 30m.
Backout: Regain weights at green SLI 60m.
Comms: status page (first ≤15m, cadence 30m).

10. 4 SOP: Arka hatyň dikeldilmegini barlamak (DATA-BACKUP-RESTORE-CHECK-03)

Objective: weekly verification of recoverability.
Steps: lift from backup in isolation → hash control → consistency requests → report.
Success criterion: time-to-restore ≤ 45 min; 100% integrity.

11) SOP töwereginde awtomatlaşdyryş

SOP şablonlaşdyryjy: RACI/geýt/komm-blok bilen skelet döretmek.
Bot-ýerine ýetiriji: çek-gutular bilen ädimler, taýmerler, cadence boýunça ýatlatmalar, awto-ýygnamak evidence.
CMDB/katalog bilen integrasiýa: hyzmatyň degişli SOP sanawy bar.
Telemetriýanyň düşündirişleri: "SOP-RUN: <ID> step N" → çalt seljerme.
Giriş syýasaty: deploy/penjire diňe ýaşyl SOP geýtleri bilen başlaýar.

12) Anti-patternler

Eýesi/senesi bolmadyk SOP - "öli" resminama.
Üstünlik we backout kriteriýalary bolmazdan ulaldylan görkezmeler.
Utgaşdyrylmadyk buýruklar/açarlar - ýalňyşlyk we syzmak töwekgelçiligi.
Wiki we ammarda dürli wersiýalar - hakykat çeşmeleriniň gapma-garşylygy.
Ýok evidence - hilini/komplayensini tassyklap biljek zat ýok.
"Ähli ýagdaýlar üçin bir SOP" - ýerine ýetirilişi ýitýär.

13) Durmuşa geçirmegiň ýol kartasy (4-6 hepde)

1. Ned. 1: SOP şablonyny, linterini we katalogyny tassyklaň; iň gowy 10 ssenariýany saýlaň.
2. Ned. 2: goýbermek/yzyna gaýtarmak/üpjün ediji/yzyna gaýtarmak üçin SOP ýazmak; tabletop uçarmanlary.
3. Ned. 3: ChatOps-boty we telemetriýa düşündirişlerini birikdirmek; alertleri SOP bilen baglanyşdyrmak.
4. Ned. 4: çärýekleýin grafik; Freshness/Success Rate metrlerini giriziň.
5. Ned. 5-6: möhüm amallaryň 90% -ini ýapmak; DR/Security-SOP; "evidence" ýygyndysyny awtomatlaşdyrmak.

14) Jemleýji

SOP amallary öňünden aýdylýan we barlanylýan edýär: hil, jikme-jik ädimler, aç-açan rollar we gaýdyp gelmek. Pleýbuklar, syýasatlar, SLO we awtomatlaşdyryş bilen bilelikde bu ekspluatasiýany ygtybarly önümçilik liniýasyna - çalt reaksiýalara, iň az töwekgelçilige we düşnükli jogapkärçilige öwürýär.