Amallarda toparlaryň özara gatnaşygy
1) Näme üçin
iGaming platformasy onlarça domen (Payments, Games/Core, Risk/KYC, Data, Infra/SRE, Support, Compliance). Resmileşdirilen özara gatnaşyk bolmazdan MTTR, CFR we amal töwekgelçilikleri ösýär. Maksat bölünen funksiýalary bir operasiýa ulgamyna öwürmek: öňünden aýdyp boljak aragatnaşyklar, aç-açan nobatlar, umumy signallar we ylalaşylan ileri tutulýan ugur.
2) Ýörelgeler
1. SLO-first: Bilelikdäki çözgütler SLO/ýalňyşlyk býudjetine baglydyr.
2. Hakykatyň ýeke-täk çeşmesi: umumy daşbordlar, ýeke-täk statuslar we artefaktlar.
3. Anyk serhetler we interfeýsler: toparlaryň her jübütinde beýan edilen şertnama (OLA/Runbook/API) bar.
4. Kiçijik gapjyklar we yzyna öwrülmek ukyby: ficheflaglar/kanareýa arkaly üýtgeşmeler, çalt rollback.
5. No blame - yes data: faktlar boýunça seljermeler, gowulaşmalar - sikliň hökmany bölegi.
6. Iň az zerur artykmaçlyklar we SoD: duýgur amallar üçin rollaryň bölünmegi.
7. Rutini awtomatlaşdyryň, galanlaryny standartlaşdyryň.
3) Rollar we RACI (üsti bilen)
Baş Ops/SRE Lead - KPI/KRI operasiýa çarçuwasynyň eýesi. A
Service Owners (Payments/Games/KYC/Data) - domen maksatlary, üýtgeşmeler, töwekgelçilik. A/R
Platform/Infra - elýeterlilik, çykyş, relizler/kanareýalar. R
Töwekgelçilik/Compliance/Security - SoD, RG/KYC/PII, auditler. C/A
Support/CRM - oýunçylara şikaýatlaryň, aragatnaşyklaryň öň tarapy. R/C
On-call IC/CL - waka-dolandyryş we daşarky täzelenmeler. R
Release Manager - senenama, CAB, üýtgeşmeler ýagdaýy. R
Data/Analytics - azyk we operasiýa metrikleri, RCA-goldaw. R/C
4) Özara gatnaşyk şertnamalary (OLA/SLx)
OLA (Operational Level Agreement) - toparlaryň arasyndaky içerki şertnamalar (daşarky SLA däl). Aşakdakylar:- Jogapkärçilik zolaklary: haýsy zona (mysal üçin, PSP-routing - Payments; nagt pul/DB - Infra).
- Maksatlar/bosagaly metrikler: Wakanyň MTTA, eskalasiýa jogap wagty, gözegçilik penjiresi.
- Nobatlar we ileri tutulýan ugurlar: P1-P4, işewürlik, freeze-penjireler.
- Interfeýsler: kanallar, bot buýruklary, API/Runbook, eýeleriň kataloglary.
- Artefaktlar: haýsy resminamalar/loglar/daşbordlar wakany ugratmaga borçludyr.
5) Aragatnaşyk kanallary we teswirnamalary
Operasiýa söhbetdeşligi (çalşyk): gündelik täzelenmeler, kiçi däp-dessurlar, handover.
Wakalar boýunça war-rumlar: bot tarapyndan döredilýär; IC/CL rollary topar tarapyndan bellenilýär.
CAB/Change kanaly: üýtgeşmeleri, töwekgelçilikleri, goýberiş senenamasyny ara alyp maslahatlaşmak.
Status-kanaly (read-only): SLO/hadysalar/meýilleşdirilen işler.
Eskalasiýa: buýruk şablonlary '/page ', '/escalate', SLA hasabat.
Bitewi habar protokoly: "hakykat → täsir → ETA/ETR → indiki täzelenme penjiresi → eýesi".
6) Çalşyklar bilen sebitleriň arasyndaky hendowerler
10-15 minut şablon:1. SLO/SLI: bu ýerde býudjetiň tükenmek howpy bar.
2. Açyk hadysalar/güýçlenmeler we olaryň ETA.
3. Ýakyn 24-48 sagatda meýilleşdirilen işler/goýberişler
4. Üpjün edijiler (PSP/KYC/studiýalar): işjeň barlaglar, garaşmalar.
5. On-call düzümi we aragatnaşyklar (IC/CL/domains).
6. "Watchlist" - ýokary üns zolaklary (nobatlar/replikasiýa/keş).
Hendower çalşyk žurnalynda ýazylýar, war-rumlara we daşbordlara salgylanmalar ýazylýar.
7) Wakalar ýüze çykan mahalynda bilelikde işlemek
Başlangyç: alert → bot '#inc -YYYY-MM-DD-XXX' kartoçkasyny döredýär, IC/CL we domen lidlerini belleýär.
Bir sesiň düzgüni: IC - gutarnykly çözgüt; CL - aragatnaşyk.
Faktlar we çaklamalar: bölýäris; "Gyzyl" signallar - ileri tutulýan ugurlar.
Guardrails: ficheflags/PSP-routing diňe SoD/dual-control bilen runbook arkaly üýtgeýär.
Aragatnaşyk: CL arkaly köpçüligiň täzelenmeleriniň taslamasy, hyzmatdaşlar - nyşana alyndy.
Ýapylmagy: post-gözegçilik, post-mortemiň we eýeler/möhletler bilen gowulaşmalaryň wezipeleriniň döredilmegi.
8) Üýtgeşmeler ýüze çykan halatynda bilelikdäki iş
Neşirleriň senenamasy: köpçülige açyk, freeze-döwürleri we on-call slotlary bilen.
Hil geýtleri: unit/contract/e2e, howpsuzlyk, SLO-geýtleri staging.
Kanar aýlawlary: ädimme-ädim 5% → 25% → 100% GEO/tenant/banklar boýunça.
Awto-yza gaýdyp gelmek: esasy SLI/KRI syýasaty, WORM magazineurnaly.
Komm-paketler: CL/Legal bilen öňünden ylalaşylan täzelenme taslamalar.
RACI üýtgeşmeleri: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).
9) Bitewi telemetriýa we artefaktlar
Metrikleriň umumy katalogy: SLI/SLO, iş metrikleri, KRI (nobatlar, PSP, göçürmeler).
Daşbord "Amallar kartasy": domenler, sebitler, hadysalaryň/işleriň ýagdaýy boýunça gysgaça maglumat.
Wagt çäkleri: ýekeje format (wagt, awtor, hereket, netije, baglanyşyk).
Post-mortemalar: aýyplamasyz şablon, öňüni alyş çäreleri, barlagyň senesi.
Runbooks/Checklists: versioned; alertlerden we hadysalaryň kartoçkalaryndan baglanyşyk.
10) Ileri tutmak we meýilleşdirmek
Hepdelik Ops-meýilnama (30-45 minut): top-töwekgelçilikleri, relizleri, çäkleri, post-mortemlerden gowulaşmalary utgaşdyrmak.
Amallaryň kanbany: sütünler 'Backlog → Ready → In Progress → Validate → Done', WIP çäkleri.
Ileri tutulýan kriteriýalar: SLO/girdeji/utgaşma, ululyk/yzyna gaýtarylmak, üpjün edijilere garaşlylyk.
11) Eskalasiýa matrisa (gysmak)
12) Syýasatlar we SoD
SoD/4-eyes: netijeler/bonuslar/PSP marşrutlary/PII eksporty - diňe iki gezek tassyklanan ýagdaýynda.
JIT hukuklary: runbook amallary üçin artykmaçlyklaryň wagtlaýyn güýçlenmegi.
Maglumat syýasaty: açyk kanallarda/daşbordlarda PII gadaganlygy; geo-serhetleri.
Audit: hereketleriň üýtgemeýän žurnallary (WORM), syýasatçylaryň barlaglary.
13) Özara gatnaşyk gurallary
Waka-bot: '/incident new ', rollar, täzelenmeleriň wagtlary, komm-taslamalar, '/runbook', '/flag ', '/config'.
Metrics API: RCA üçin umumy SLO we KRI, exemplars (trace_id).
Release-portal: manifestler, geýtlar, gaýdyş/gaýdyş ýagdaýy.
Eýeleriň gollanmasy/CMDB: domenler, aragatnaşyklar, ätiýaçlyk kanallary.
14) Hyzmatdaşlyk ölçegleri (KPI/KRI)
Domenler we slotlar boýunça MTTA/MTTR (gije/gije), şikaýatlara çenli tutulan hadysalaryň paýy.
Handover Quality: geçiriş kemçilikleri (wagtynda ýapylmadyk barlag sanawynyň nokatlary).
"Change Collaboration": Komm paketleri bilen we yzyna gaýtarylmazdan% -li goýberişler.
Guardrail Discipline: SoD/syýasat bozulmalarynyň ýygylygy (maksat - 0).
Comms Cadence: P1/P2 wagtynda köpçüligiň täzelenmeleriniň aralyklaryny saklamak.
Post-mortem SLA: post-mortemleriň paýy ≤ D + 5, hereketleriň ýerine ýetirilişi.
Fair-Share Load: Gijeleri/iň ýokary derejeleri adamlar/toparlar boýunça paýlamak.
Customer Signal Lead: obýektiw pese gaçmak bilen ilkinji şikaýatlaryň arasynda.
15) Durmuşa geçirmegiň ýol kartasy (6-10 hepde)
Ned. 1-2: domenleriň/eýeleriň sanawy; OLA şablonlary; çalşyk kanalyny we hendower-çek sanawyny işe girizmek; esasy eskalasiýa matrisi.
Ned. 3-4: waka-bot (MVP), umumy status kanaly, ýeke-täk SLO/SLI/KRI kartasy; runbooks.
Ned. 5-6: SAV/goýbermek-senenama, komm-paketler we freeze-penjireler; duýgur amallar üçin SoD/4-eyes.
Ned. 7-8: standart hökmünde kanar aýlawlary we awto-yza gaýdyp gelmek; post-mortem şablon, Exec/Ops-daşbordlary.
Ned. 9-10: P1 türgenleşikleri, kross-sebit hendowerleri, WORM auditi, KPI/KRI hasabatlary, OLA düzedişleri.
16) Şablonlar (bölekler)
16. 1 OLA (Payments ↔ Infra/SRE)
yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"16. 2 Hendower çek-sanawy (10 bal)
1. Domen statuslary
2. Açyk hadysalar (ETA/eýeler)
3. Meýilleşdirilen işler/goýberişler + gözegçilik penjireleri
4. Üpjün edijiler (PSP/KYC/studiýalar) - töwekgelçilikler/garaşmalar
5. Nobatlar/Köpeltmeler/Kesiş - lag/Anomaliýalar
6. Çäkleriň/aýratynlyklaryň üýtgemegi
7. Şikaýatlar/biletler we ýüküň çäkleri
8. Komm-meýilnamalar we status-taslamalar
9. On-call düzümi we ätiýaçlyk
10. "Watchlist" slot
17) Antipatternler
"Kimdir biri?" RACI we eýesi bolmazdan.
IC/CL we täzelenme wagtlary bolmadyk hadysalar.
Gizlin üýtgeşmeler (el bilen basmak), Git/Audit ýok.
Umumy däl telemetriýa: dürli toparlarda dürli sanlar.
Komm-paketsiz we kanarsyz neşirler.
SoD-düzgün bozmalar "tizlik üçin".
Hendowerler dilden, ýazgysyz we çek sahypasyz.
Hereketsiz we möhletsiz post-mortemler.
Jemi
Amallarda toparlaryň özara gatnaşygy - bu şertnamalaýyn hyzmatdaşlyk: OLA/SLx, anyk kanallar we rollar, hendowerleriň tertibi, umumy telemetriýa, ylalaşylan relizler we hadysalar-prosesler. Şeýle çarçuwalar MTTR we CFR-i peseldýär, ileri tutulýan ugurlary deňleşdirýär, SLO-ny, girdejini we laýyklygyny goraýar we gündelik işi öňünden aýdyp boljak we durnukly edýär.