Əməliyyatlarda komandaların qarşılıqlı əlaqəsi
1) Niyə
iGaming platforması onlarla domendir (Payments, Games/Core, Risk/KYC, Data, Infra/SRE, Support, Compliance). Rəsmi qarşılıqlı əlaqə olmadan MTTR, CFR və əməliyyat riskləri artır. Məqsəd müxtəlif funksiyaları vahid əməliyyat sisteminə çevirməkdir: proqnozlaşdırıla bilən kontaktlar, şəffaf növbələr, ümumi siqnallar və razılaşdırılmış prioritet.
2) Prinsiplər
1. SLO-first: ortaq həllər SLO/səhv büdcələrinə bağlıdır.
2. Həqiqətin vahid mənbəyi: ümumi daşbordlar, vahid statuslar və artefaktlar.
3. Dəqiq sərhədlər və interfeyslər: komandaların hər cütündə təsvir edilmiş müqavilə (OLA/Runbook/API) var.
4. Kiçik batches və geri dönüş: ficheflags/kanarea, sürətli rollback vasitəsilə dəyişikliklər.
5. No blame - yes data: fakt təhlili, təkmilləşdirmələr - dövrünün məcburi hissəsi.
6. Minimum tələb olunan imtiyazlar və SoD: həssas əməliyyatlar üçün rolların ayrılması.
7. Rutini avtomatlaşdırın, qalanını standartlaşdırın.
3) Rollar və RACI (keçid)
Head of Ops/SRE Lead - əməliyyat çərçivəsinin sahibi, KPI/KRI. A
Service Owners (Payments/Games/KYC/Data) - domen hədəfləri, dəyişikliklər, risk. A/R
Platform/Infra - əlçatanlıq, performans, buraxılışlar/kanareya. R
Risk/Compliance/Security - SoD, RG/KYC/PII, auditlər. C/A
Support/CRM - şikayət cəbhəsi, oyunçulara rabitə. R/C
On-call IC/CL - hadisə-idarəetmə və xarici yeniləmə. R
Release Manager - təqvim, CAB, dəyişiklik statusu. R
Data/Analytics - qida və əməliyyat metrikası, RCA dəstəyi. R/C
4) Qarşılıqlı müqavilələr (OLA/SLx)
OLA (Operational Level Agreement) - komandalar arasında daxili razılaşmalar (xarici SLA deyil). Daxildir:- Məsuliyyət zonaları: hansı zonadır (məsələn, PSP-routing - Payments; cache/BD - Infra).
- Məqsədlər/eşik metrləri: hadisə MTTA, eskalasiyaya reaksiya vaxtı, post-monitorinq pəncərəsi.
- Növbələr və prioritetlər: P1-P4, biznes kritikliyi, freeze-pəncərələr.
- interfeyslər: kanallar, bot komandaları, API/Runbook, sahiblərinin kataloqları.
- Artefaktlar: hansı sənədlər/loqlar/daşbordlar hadisəni müşayiət etməlidir.
5) Kommunikasiya kanalları və protokolları
Əməliyyat söhbəti (növbəli): gündəlik yeniləmələr, mini rituallar, əl işləri.
Hadisələrə görə var-rum: bot tərəfindən yaradılır; IC/CL rolları komanda tərəfindən təyin edilir.
CAB/Change kanalı: dəyişikliklərin, risklərin, buraxılış təqviminin müzakirəsi.
Status-kanal (read-only): SLO/insident/planlı iş hesabatları.
Eskalasiya: '/page ', '/escalate', SLA hesabat şablonları.
Vahid mesaj protokolu: «fakt → təsir → ETA/ETR → növbəti yeniləmə pəncərəsi → sahibi».
6) Növbələr və bölgələr arasında hendoverlər
10-15 dəqiqə şablon:1. SLO/SLI: harada büdcənin tükənməsi riski.
2. Açıq insidentlər/eskalasiyalar və onların ETA.
3. Növbəti 24-48 saat ərzində planlaşdırılan işlər/buraxılışlar
4. Provayderlər (PSP/KYC/studiyalar): aktiv biletlər, gözləntilər.
5. On-call və kontaktların tərkibi (IC/CL/domains).
6. «Watchlist» - yüksək diqqət zonaları (növbələr/replikasiyalar/cache).
Hendover dəyişdirilə bilən jurnalda qeyd olunur, istinadlar var-rum və daşbordlara aiddir.
7) Hadisələr zamanı birgə iş
Başlanğıc: alert → bot '#inc -YYYY-MM-DD-XXX' kartını yaradır, IC/CL və domen liderlərini təyin edir.
Bir səsin qaydası: IC - son qərar; CL - rabitə.
Faktlar və fərziyyələr: ayrılır; «qırmızı» siqnallar - prioritet.
Guardrails: phicheflags/PSP-routing yalnız SoD/dual-control ilə runbook vasitəsilə dəyişir.
Rabitə: CL vasitəsilə ictimai yeniləmələrin layihələri, tərəfdaşlar - hədəflənmiş.
Bağlanma: post-monitorinq, post-mortem və sahibləri/şərtləri ilə təkmilləşdirmə vəzifələrinin generasiyası.
8) Dəyişikliklər zamanı birgə iş
Buraxılış təqvimi: ictimai, freeze-dövrləri və on-call slotları ilə.
Keyfiyyət geytaları: unit/contract/e2e, təhlükəsizlik, SLO geytaları staging.
Kanaryalı yuvarlanma: addım-addım 5% → 25% → 100% GEO/tenant/banklarda.
Avtomatik geri dönüş: açar SLI/KRI siyasətləri, WORM jurnalı.
Comm paketləri: CL/Legal ilə əvvəlcədən razılaşdırılmış yeniləmə layihələri.
RACI dəyişikliklər: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).
9) Vahid telemetriya və artefaktlar
Metriklərin ümumi kataloqu: SLI/SLO, biznes metriklər, KRI (növbələr, PSP, replikasiyalar).
Daşbord «Əməliyyatlar xəritəsi»: domenlər, regionlar, hadisələrin/işlərin statusu üzrə xülasə.
Time line: vahid format (vaxt, müəllif, hərəkət, nəticə, linklər).
Post-mortemlər: ittiham olmadan şablon, qarşısının alınması, yoxlama tarixi.
Runbooks/Checklists: versioned; alertlər və insident kartlarından keçid.
10) Prioritet və planlaşdırma
Həftəlik Ops-plan (30-45 dəqiqə): üst risklərin, buraxılışların, limitlərin, post-mortemlərdən təkmilləşdirmələrin əlaqələndirilməsi.
Canban əməliyyatları: sütunlar 'Backlog → Ready → In Progress → Validate → Done', WIP limitləri.
Prioritet meyarları: SLO-ya təsir/gəlir/komplayens, ölçü/dönüşümlülük, provayderlərdən asılılıq.
11) Eskalasiya matrisi (sıxma)
12) Siyasət və SoD
SoD/4-eyes: nəticələr/bonuslar/PSP marşrutlaşdırma/PII ixracı - yalnız ikiqat təsdiq ilə.
JIT hüquqları: runbook hərəkətləri üçün imtiyazların müvəqqəti eskalasiyası.
Verilənlər siyasəti: açıq kanallarda/daşbordlarda PII qadağası; geo-sərhədləri.
Audit: Dəyişməz Fəaliyyət Jurnalları (WORM), Siyasət reviziyaları.
13) Qarşılıqlı vasitələr
Hadisə-bot: '/incident new ', rollar, yeniləmə zamanlayıcıları, komm-layihələr, '/runbook', '/flag ', '/config'.
Metrics API: RCA üçün ümumi SLO və KRI, exemplars (trace_id).
Release portalı: manifestlər, geytlər, yuvarlanma/geri çəkilmə statusu.
Sahiblər kataloqu/CMDB: domenlər, kontaktlar, ehtiyat kanallar.
14) Əməkdaşlıq metrikası (KPI/KRI)
MTTA/MTTR domen və slotları (gecə/gündüz), şikayətlərə qədər tutulan hadisələrin nisbəti.
Handover Quality: Ötürmə qüsurları (yoxlama siyahısının nöqtələri vaxtında bağlanmır).
Change Collaboration: hazır komm paketləri ilə və geri qaytarılmadan% relizlər.
Guardrail Discipline: SoD/siyasət pozuntularının tezliyi (hədəf - 0).
Comms Cadence: P1/P2 zamanı ictimai yeniləmə intervallarına riayət etmək.
Post-mortem SLA: post-mortemlərin payı ≤ D + 5, hərəkətlərin yerinə yetirilməsi.
Fair-Share Load: gecələrin/zirvələrin insanlara/komandalara paylanması.
Customer Signal Lead: obyektiv deqradasiya və ilk şikayətlər arasında lag.
15) Yol xəritəsi (6-10 həftə)
Ned. 1-2: domenlərin/sahiblərin inventarlaşdırılması; OLA şablonları; keçid kanalının və hendover-çek siyahısının işə salınması; əsas eskalasiya matrisi.
Ned. 3-4: hadisə-bot (MVP), ümumi status-kanal, vahid SLO/SLI/KRI kartı; runbooks kataloqu.
Ned. 5-6: PSA/buraxılış təqvimi, komm paketləri və freeze pəncərələri; həssas əməliyyatlar üçün SoD/4-eyes.
Ned. 7-8: standart kimi kanar yuvarlanma və avtomatik geri; post-mortem şablon, Exec/Ops-daşbord əməkdaşlıq.
Ned. 9-10: P1 təlimləri, kross-regional hendoverlər, WORM auditi, KPI/KRI hesabatları, OLA düzəlişləri.
16) Şablonlar (fraqmentlər)
16. 1 OLA (Payments ↔ Infra/SRE)
yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"16. 2 Hendover çek siyahısı (10 bal)
1. SLO domen statusları
2. Açıq hadisələr (ETA/sahibləri)
3. Planlaşdırılmış işlər/buraxılışlar + müşahidə pəncərələri
4. Provayderlər (PSP/KYC/studiyalar) - risklər/gözləntilər
5. Növbələr/replikasiyalar/cache - lag/anomaliyalar
6. Limit/Ficheflags dəyişiklikləri
7. Şikayətlər/biletlər və yük həddi
8. Komm planları və status layihələri
9. On-call tərkibi və ehtiyat
10. «Watchlist» slot
17) Antipattern
«Kimsə məşğul olacaq?» RACI və sahibi olmadan.
IC/CL və yeniləmə zamanlayıcıları olmadan insidentlər.
Gizli dəyişikliklər (əl klikləri), heç bir Git/Audit.
Qeyri-ümumi telemetri: müxtəlif komandalarda fərqli rəqəmlər.
Komm paketləri və kanarları olmayan buraxılışlar.
SoD pozuntuları «sürət üçün».
Hendovers şifahi, qeydlər və yoxlama vərəqləri olmadan.
Post-mortemlər heç bir hərəkət və vaxt olmadan.
Yekun
Əməliyyatlarda komandaların qarşılıqlı əlaqəsi müqavilə əməkdaşlığıdır: OLA/SLx, aydın kanallar və rollar, hendoverlərin nizam-intizamı, ümumi telemetriya, razılaşdırılmış buraxılışlar və insident prosesləri. Bu çərçivə MTTR və CFR azaldır, prioritetləri bərabərləşdirir, SLO, gəlir və uyğunluğu qoruyur - və gündəlik iş proqnozlaşdırıla bilən və sabit edir.