Operatorlary taýýarlamak we taýýarlamak

1) Okuw maksatnamasynyň maksatlary

MTTA/MTTR-i azaltmak we ilkinji gezek dogry hereketleriň ähtimallygyny ýokarlandyrmak.
Reaksiýany standartlaşdyrmak: pleýbuklar, eskalasiýa matrisa, koms şablonlary.
Toparyň durnuklylygyny saklamak: ýüküň paýlanyşy, ynam, howpsuzlyk medeniýeti.
Bilimleri köpeltmek: Docs/GitOps, LMS, yzygiderli gykylyk.

2) Başarnyk profilleri (Skill Matrix)

3) Okuw modullary (programmanyň özeni)

1. SLO & Hadysalaryň ölçegleri: SLI/SLO, burn-rate, MTTD/MTTA/MTTM/MTTR.
2. Eskalasiýa matrisa: SEV kriteriýalary, wagt, rollar (P1/P2/IC/Comms).
3. Playbook & runbook 'i: gurluş, çözgüt agajy, backout/fallback.
4. Syn edilişi: logi/metrika/treýs, release-annotasiýa bilen baglanyşyk.
5. Change/Release: kanareýa/gök-ýaşyl, awto-yza gaýdyp, hyzmat penjiresi.
6. Howpsuzlyk bazasy: JIT/JEA-elýeterlilik, syrlar, howpsuzlyk hadysalary.
7. DataOps-bazis: maglumatlaryň täzeligi/hili, bellikler, şertnamalar.
8. Aragatnaşyk: ilkinji täzelenmeler, kadence, äheňlilik we aç-açanlyk.

Her modul: 60-90 min teoriýa + 30-45 min tejribe (laboratoriýa/simulýasiýa).

4) Türgenleşikleriň formatlary

Tabletop (stol ssenarileri): wagtlaýynça kazyýet seljermesi; rollar çatda/zalda ses bilen ýerine ýetirilýär.
Game Day (amaly iş): steýjde/gözegçilik ýükli" prod-light".
Çaos-sanjymlar: SLO gardreýlleri bilen nokat şowsuzlyklary (tor/garaşlylyk ýalňyşlyklary).
Runbook-drills: çek sahypalary boýunça "kör" (yzyna gaýtarmak, üpjün edijini üýtgetmek, şahadatnamany aýlamak).
On-call Shadow: halypanyň gözegçiligi astynda "kölegede" 2-4 smena.
Hotwash/AAR: maşkdan soň derrew - gowulaşmalary seljermek, düzetmek.

5) Senenama we ritm

Her hepde: 1 gysga tabletop (30-45 minut) bir rol/hyzmat boýunça.
Her aýda: 1 game day (2-3 sagat) ileri tutulýan Tier-0/1 ssenariýalary boýunça.
Her çärýekde: DR-maşk (failover/failback) + howpsuzlyk-waka.
Uly üýtgeşmelerden soň: täze pleýbuk/proses boýunça maksatly drills.

6) Operatoryň onbordingi (4-6 hepde)

1. Ned. 1: esasy modullar (SLO, matrisa, pleýbuklar), elýeterlilik read-only, daşbordlarda "gezelenç".
2. Ned. 2: laboratoriýalar: loglar/söwdalar, oýun kitaplaryny sandyk gutusynda işe girizmek, koms şablonlary.
3. Ned. 3: shadow-smena (2-3 slot), P1 ýaly kiçi tabletop.
4. Ned. 4: mini game day: goýberilişi yzyna gaýtarmak, üpjün edijini üýtgetmek; içerki sertifikatlaşdyrmak P1-L1.
5. Ned. 5-6: P2/IC çenli giňeltmek (trek boýunça), aýlyk game day-a gatnaşmak.

7) Sertifikatlaşdyrmak we rollara kabul etmek

Teoriýa: modullar boýunça synag (LMS), çäk 80% +.
Tejribe: endikleriň çek-sanawy (aşakda serediň) + 2 tabletop we 1 game day-a gatnaşmak.
Shadow → Solo: 2-4 gözegçilik çalşygy → superwiziýa astynda 1 çalşyk → garaşsyz giriş.
Hereket ediş möhleti: 12 aý; pleýbuklar/syýasatlar üýtgän mahalynda gaýtadan attestasiýa.

8) Okuwyň netijeliliginiň metrikleri

Wagt-to-First-Action (maşklarda/söweşlerde): mediana/p95.
Pleýbukyň şahasynyň dogrulygy: "aýlawsyz" ýagdaýlaryň%.
Maşklarda Comms SLA Adherence: öz wagtynda täzelenmeleriň paýy.
Ýerli MTTA/MTTR simulýasiýalarda vs. söweş görkezijileri.
Coverage: çärýekde tälim alan% on-call (maksat ≥ 90%).
Playbook Defect Rate: maşklardan soň tapyldy/düzedildi (CAPA).
Impuls-anket (NPS çalşygy): ynam/ýük, QoQ tendensiýasy.

9) Şablonlar we çek-listler

9. 1 Tabletop barlag sanawy (öňdebaryjy)

• Maksat/SEV/rol tertibi yglan edildi.
• Wagt aralygy: T0, Detected, Ack, Declare, Mitigate, Recover.
• Playbukdan esasy çatryklar geçdi.
• Komms şablony dolduryldy (birinji täzelenme we cadence).
• Netije: 3-5 gowulaşma (pleýbuk/alert/daşbordlar).

9. 2 Çek sanawy game day

• Stend/" prod-light", synag maglumatlary, yza gaýdyp we gardrailler taýýar.
• Ssenariler: azyndan 2 (mysal üçin, üpjün ediji we DB).
• SLO-gözegçilik we goýberiş düşündirişleri işjeň.
• evidence depderçesi: grafikler, ýazgylar, ädimleriň wagty.
• AAR gutarandan 30 minut soň; CAPA açyldy.

9. 3 P1 başarnyk kartasy (bölek)

SLO Triage: (4-level scale)
Playbook launch:
Comms first update:
Feature flags/limits:
Release rollback:
Logs/Trails:

9. 4 Maşk kartoçkasy (şablon)

ID: TR-2025-11-GD-PAY
Format: Game Day
Scenario: PSP-A degradation in EU (SEV-1)
Goals: TTFA≤10m, correct playbook branch, first update ≤15m
Gardrails: payment_success ≥98% on test traffic
Stages: canary 1%→5%→25%, switchover, rollback
Team: IC, P1, P2, Comms, Vendor
Evidence: graphs, logs, timeline
CAPA owners/deadlines:...

9. 5 Birinji täzelenmäniň kiçi şablony (okuw)

Impact: EU payment delays, -2. 8% to SLO (test traffic).
Diagnosis: confirmed by quorum; PSP-A increased latency.
Action: PSP-B overweight 30%→70%, degrade-UX included.
Next update: 14:30 UTC.

10) Gurallar we awtomatlaşdyryş

LMS/Docs-as-Code: kurslar, synaglar, playbook wersiýalary we SOP.
Alert simulýatory: burn-rate, kworum, tupan (Page Storm drills üçin).
Coms-bot: täzelenme şablonlary, taýmerler, cadence gözegçiligi.
Garaşlylyk emulýatorlary: PSP/KYC/CDN.
Awto-ekstrakt evidence: grafikalara salgylanmalar, neşir-düşündirişler, logler.

11) Prosesler bilen baglanyşyk

Maşklaryň netijeleri → Alert Review, Postmortem Review, Change Advisory.
Pleýbuklary/alertleri täzelemek - PR arkaly, hökmany "dry-run" okuwy bilen.
Uly hyzmat/goýberiş penjireleriniň öňüsyrasynda maşklar hökmanydyr.

12) Anti-patternler

Ölçülip bilinmeýän maksatlar we wakalar bolmazdan "görmek üçin" türgenleşikler.
Örän seýrek maşklar → başarnyklar pese gaçýar.
Diňe tejribe we şadow çalşygy bolmadyk teoriýa.
Gardreýlsiz maşklar → stendiň ýa-da önümiň döwülmek howpy.
CAPA ýok → şol bir ýalňyşlyklar gaýtalanýar.
Koms-türgenleşikleriň ýoklugy gowy fikslerdir, ýöne erbet habarlardyr.

13) Durmuşa geçirmegiň ýol kartasy (4-8 hepde)

1. Ned. 1: Skill Matrix, modul programmasy, sertifikat ölçegleri.
2. Ned. 2: LMS-i işe giriziň, 10 sany esasy oýun kitabyny we 2 sany tabletop ssenarisini taýýarlaň.
3. Ned. 3: shadow-smenalary başlamak, Tier-0-da 1 game day geçirmek.
4. Ned. 4: hepdelik tabletop-ritmi, coms-bot, alertleriň simulýatoryny girizmek.
5. Ned. 5-6: DataOps/Security-de giňeltmek, çaos-sanjymlary goşmak.
6. Ned. 7-8: ähli on-call P1-L1 tassyklamak, çärýek DR-gününi geçirmek.

14) Jemleýji

Okuw we okuw hemişelik sikldir: teoriýa → tejribe → kölegede çalyşmak → söweş maşklary → AAR → CAPA → pleýbuklary täzelemek. Şeýle ritmde topar pleýbuklar boýunça ynamly hereket edýär, eskalasiýa we SLO matrisini berjaý edýär, MTTA/MTTR peseldýär we aragatnaşygyň hilini saklaýar - işewürlik bolsa öňünden aýdyp boljak we kämillik iş funksiýasyny alýar.