Əməliyyat və İdarəetmə → Əməliyyat məsuliyyəti mədəniyyəti

Əməliyyat məsuliyyəti mədəniyyəti

1) Niyə lazımdır

Texnologiya alətlər verir, lakin etibarlılıq insanlar və onların davranışları tərəfindən yaradılır. Əməliyyat məsuliyyəti mədəniyyəti platformanı proqnozlaşdırıla bilən edir, uğursuzluqlardan sonra bərpanı sürətləndirir, «səs-küyü» azaldır və hadisələri təkmilləşdirmək üçün yanacağa çevirir.

• «Etibarlılığın nə olduğunu» və kimin cavabdeh olduğunu anlayın.
• Əməliyyatlarda şəffaf rollar, vəzifələr və səlahiyyətlər.
• Səhvləri və sürətli düzəlişləri müzakirə etmək üçün təhlükəsiz mühit.
• SLO, reaksiya vaxtı və əməliyyat dəyərinin ritmik yaxşılaşdırılması.

2) Prinsiplər (mədəniyyətin nüvəsi)

1. You build it — you run it. Komanda koddan on-call-a qədər domen keyfiyyətinə malikdir.
2. SLO-first. Həllər SLO və error budget təsiri ilə qiymətləndirilir.
3. Blameless & factual. Postmortemlər ittihamsız, yalnız faktlar, məlumatlar və hərəkətlər.
4. Small & reversible. Kiçik dəyişikliklər, fitness, kanaryalar, sürətli geri dönüş.
5. Safety to speak up. Hər kəs qorxmadan «qırmızı bayrağı» qaldıra bilər.
6. Evidence over opinions. Məlumatlar və artefaktlar fikir və statusdan daha vacibdir.
7. Continuously learn. Hadisələr → fərziyyələr → eksperimentlər → standartlar.

3) Rollar və sahiblik

Domen sahibi (Payments/Bets/Games/KYC): SLO, on-call, təkmilləşdirmə yol xəritəsi, səhv büdcəsi.
İnsident-menecer (rotasiya): reaksiyanın koordinasiyası, taymline, kommunikasiya keyfiyyəti.
SRE/Platforma: etibarlılıq alətləri (müşahidə, alertlər, ficheflaglar, kanaryalar).
Team Lead/EM: gözləntilər, bacarıqların inkişafı, rituallara riayət.
Biznes steykholder: SLO/prioritetləri razılaşdırır, riskləri/güzəştləri qəbul edir.

4) SLO məsuliyyət müqaviləsi kimi

Həqiqətin yeganə mənbəyi: metriklərin, pəncərələrin, istisnaların müəyyən edilməsi.
Error budget: açıq risk sərhədləri → relizlər/təcrübələr üçün qapı.
SLO dilində müzakirə: "Bu buraxılış büdcənin 20% -ni yandıracaqmı? ».
Rübdə bir dəfə yoxlama: məhsul və bizneslə birlikdə.

5) On-call və hadisələrə hazırlıq

Aydın gözləntilər: reaksiya vaxtı, kanallar, səlahiyyətlər (sağ «stop-kran»).
Təlimlər: hadisələrin emulyasiyası, shadow-növbə, DR-təlimlər.
Artefaktlar: canlı runbook 'i, eskalasiya matrisi, yeniləmə şablonları.
İnsanlara qayğı: əvəzedici yük, kompensasiya, rotasiya, «no heroics» siyasəti.

• Access və VPN yoxlanılır.
• Bildiriş kanalları və ehtiyat kontaktlar etibarlıdır.
• Runbook yeniləndi ≤ 30 gün əvvəl.
• DR-son 90 gün iştirak.

6) Əməliyyatlarda kommunikasiya

Vahid şablonlar: qısa hadisə yeniləmələri, növbələr arasında «əl» paketləri.
Həllərin açıqlığı: əsas kompromislər yazılı şəkildə qeyd olunur.
Qrafiklərdə şərhlər: buraxılışlar, fayllar, provayderlərin pəncərələri.
Hər kəs üçün SLO panelləri: status şəffaflığı və büdcə səhvləri.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Postmortem ittiham olmadan

Faktlar və vaxt: kim, nə vaxt, nə etdi, hansı məlumatlara əsaslanır.
Sistemli səbəblər: proseslər, alətlər, interfeyslər, «günahkarlar» deyil.
Son tarixlərlə hərəkətlər: düzəliş və profilaktik.
Dərslərin çıxarılması: standartlar, çek vərəqləri, runbook yeniləmələri.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Rituallar və kadensiya

Həftəlik Ops-baxış (30 dəq): SLO, hadisələr, risklər, hərəkətlərin tərəqqisi.
Aylıq etibarlılıq retrospektivi: dərslər, trendlər, standartların yenilənməsi.
Rüblük Reliability Review: SLO/büdcələrə yenidən baxılması, yol xəritəsinə inteqrasiya.
Game-days/Chaos: planlı uğursuzluq ssenariləri və faylover işləmə.

9) Motivasiya, böyümə və trayektoriyalar

Səlahiyyətlər: on-call, insident-management, müşahidə, SLO-engineering, FinOps.
Karyera səviyyələri: etibarlılığa töhfə vermə gözləntiləri (təşəbbüslər, postmortemlər, mentorluq).
Qeyri-maddi motivasiya: tanınması, təkmilləşdirmələrin müəllifliyi, kvartalın «Reliability Champion».
Maddi: on-call kompensasiyası, SLO-KPI-yə nail olmaq üçün bonuslar.

10) Siyasət və davranış normaları (fraqmentlər)

• Hər hansı bir on-call SLO təhlükəsi olduqda sərbəst buraxmaq/fasilə verə bilər.
• Həll risk aradan qaldırıldıqdan sonra qeydə alınır və nəzərdən keçirilir.

• Böyük dəyişikliklər yalnız ficheflages və kanareyks ilə.
• SLO metrik avtoqeytlər; → fasilə/geri çəkilmə.

• Bütün kritik məlumatlar - ümumi kanallarda, şəxsi həllər olmadan.
• ETS (Status üçün xüsusi vaxt) P1/P2 hadisələri üçün məcburidir.

11) Mədəniyyət metrikası (KPI yetkinlik)

SLO Coverage: rəsmi olaraq təsvir edilmiş SLO/alertlər ilə kritik yolların payı.
Pre-Incident Detect Rate: deqradasiya mərhələsində tutulmuş insidentlərin payı.
MTTR/MTTD: rüb dinamikası.
Change Failure Rate: relizlər sonra geri/reqressiya.
Postmortem Action SLA: vaxtında bağlanmış hərəkətlərin payı.
Alert Fatigue Index: on-call/smena üçün alert.
Handoff Quality Score: növbələr arasında ötürmə keyfiyyəti.
Psychological Safety Pulse: qısa müntəzəm sorğu (anonim).

12) Giriş çek siyahısı

• Domenlər müəyyən, sahibləri, on-call və SLO.
• «stop-kran», postmortem və kommunikasiya siyasətləri qəbul edilmişdir.
• SLO paneli və buraxılış qeydləri qaldırıldı.
• Rituallar başladı: həftəlik Ops-review və şablona görə hendovers.
• Postmortem və action tracker şablonları hazırlanmışdır.
• İlk game-day/DR təlimi keçirilib.
• Özelleştirilmiş KPI mədəniyyətləri və aylıq baxış.

13) Anti-nümunələr

Qəhrəmanlar kultu: sistem düzəlişləri əvəzinə son dəqiqədə xilas edin.
İnsanların günahı: səbəbləri deyil, «günahkar» axtarışı.
Gizli həllər: şəxsi söhbətlər, «şifahi razılaşmalar».
Böyük gecə buraxılışları: bayraqlar və kanareyalar olmadan.
Hərəkətsiz metrika: hesabatlar var, həllər yoxdur.
Xaotik hendovers: heç bir şablon və qəbul təsdiqi yoxdur.

14) Alətlər və artefaktlar (minimum)

Sahibləri ilə SLO/alert kataloqu.
Runbook-repository (domen, yeniləmə ≥ aylıq).
Şablonlar: postmortem, hendover, hadisənin yenilənməsi, deqradasiya planı.
Панели: SLO Overview, Incidents, Change Safety, Providers.
Hərəkət izləyicisi: SLA və sahibləri ilə vahid backlog.

15) HR konturları daxil

Onbording: SLO, on-coll, postmortem təlimləri.
Effektivliyin qiymətləndirilməsi: etibarlılıq və mədəniyyətə töhfə - performance review hissəsidir.
Mentorluq: shadow-növbətçilik, cüt insidentlər.
Nəbz sorğuları: rüblük təhlükəsizlik/tükənmə qiymətləndirilməsi.

16) 30/60/90 - başlanğıc planı

• Domen sahibləri və on-call təyin edin, minimum SLO (p95, success rate) qeyd edin.
• Stop-kran və postmortem siyasətlərini qəbul edin, şablonları təsdiq edin.
• Həftəlik Ops Review və Hendover Ritual başlayın.

• 2 game-day/DR məşqləri keçirmək, SLO paneli və Change Safety qaldırmaq.
• 1-2 kritik xidmətlərdə SLO kanareyka və avtoqeytləri inteqrasiya edin.
• Mədəniyyət metriklərini işə salın (MTTR, Action SLA, Pulse-anket).

• Trendlərin təhlili, SLO/büdcələrin yenilənməsi, təkmilləşdirmələrin yol xəritəsinə inteqrasiyası.
• «Reliability Champion» və mentorluq proqramını daxil edin.
• Ritualları və siyasətləri retrospektiv nəticələrə görə düzəldin.

17) Şablonlar (fraqmentlər)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: Yalnız texnologiya deyil, «mədəniyyət» necə ölçülür?
A: Pulse-anket (psixoloji təhlükəsizlik) daxil edin, SLA postmortem, ictimai qərarların payı, HQS hendovers.

Q: «qəhrəmanlıq» ilə nə etmək lazımdır?
A: Təşəkkür edirəm, amma qəhrəmanlıq tələb olunmaması üçün sistem dəyişikliklərini qeyd edin. Performance yalnız «istismar» deyil, profilaktika və təkmilləşdirmələri nəzərə almaq.

Q: mədəniyyətin dəyərlərinə biznes necə inandırmaq olar?
A: Əlaqə göstər: MTTR/Change Failure Rate → dönüşüm/gəlir artımı, daha az cərimə və gecə çağrı, proqnozlaşdırıla bilən buraxılışlar.