Amallar we Dolandyryş → Amal jogapkärçiliginiň medeniýeti

Amal jogapkärçiliginiň medeniýeti

1) Bu näme üçin zerur?

Tehnologiýa gurallary berýär, ýöne adamlar we olaryň özüni alyp barşy ygtybarlylygy döredýär. Amal jogapkärçiliginiň medeniýeti platformany öňünden aýdyp boljak edýär, şowsuzlyklardan soň dikelmegi çaltlaşdyrýar, "sesleri" peseldýär we wakalary gowulaşdyrmak üçin ýangyja öwürýär.

• "Ygtybarlylygyň nämedigine" we oňa kimiň jogapkärdigine bitewi düşünmek.
• Amallarda aç-açan rollar, borçlar we ygtyýarlyklar.
• Ýalňyşlyklary we çalt düzedişleri ara alyp maslahatlaşmak üçin howpsuz gurşaw.
• SLO-nyň ritmiki gowulaşmagy, reaksiýanyň wagty we amallaryň bahasy.

2) Ýörelgeler (medeniýetiň özeni)

1. You build it — you run it. Topar koddan on-call-a çenli öz domeniniň hiline eýe.
2. SLO-first. Çözgütler SLO we error budget-e täsir etmek arkaly baha berilýär.
3. Blameless & factual. Aýyplamasyz postmortemler, diňe faktlar, maglumatlar we hereketler.
4. Small & reversible. Ownuk üýtgeşmeler, fiçeflaglar, kanareýkalar, çalt yza gaýdyp gelmek.
5. Safety to speak up. Her kim gorkman "gyzyl baýdagy" galdyryp biler.
6. Evidence over opinions. Maglumatlar we artefaktlar pikirlerden we statusdan has möhümdir.
7. Continuously learn. Wakalar → gipotezalar → synaglar → standartlar.

3) Rollar we eýelik etmek

Domeniň eýesi (Payments/Bets/Games/KYC): SLO, on-call, gowulaşmagyň ýol kartasy, ýalňyşlyklaryň býudjeti.
Waka-dolandyryjy (rotasiýa): reaksiýanyň utgaşdyrylmagy, wagt çäkleri, aragatnaşyklaryň hili.
SRE/Platforma: ygtybarlylyk gurallary (syn etmek, aladalar, fiçeflaglar, kanareýkalar).
Team Lead/EM: garaşmak, başarnyklary ösdürmek, däp-dessurlary berjaý etmek.
Biznes-steýkholder: SLO/ileri tutulýan ugurlary ylalaşýar, töwekgelçilikleri/eglişikleri kabul edýär.

4) Jogapkärçilik şertnamasy hökmünde SLO

Hakykatyň ýeke-täk çeşmesi: metrikleri, penjireleri, kadadan çykmalary kesgitlemek.
Error budget: töwekgelçiligiň aç-açan çäkleri → relizler/synaglar üçin girelge.
SLO dilinde çekişme: "Bu goýberiş býudjetiň 20% -ini ýakarmy? ».
Çärýekde bir gezek gözden geçirmek: önüm we işewürlik bilen bilelikde.

5) On-call we hadysalara taýýarlyk

Anyk garaşmalar: reaksiýanyň wagty, kanallar, ygtyýarlyklar ("dur-kranyň" hukugy).
Türgenleşikler: wakalaryň emulýasiýasy, şadow-nobatlar, DR-maşklar.
Artefaktlar: janly runbook 'i, eskalasiýa matrisa, täzelenme şablonlary.
Adamlara ideg etmek: çalşyk ýüki, kompensasiýa, aýlaw, "no heroics" syýasaty.

• Giriş we VPN barlandy.
• Bildiriş kanallary we ätiýaçlyk aragatnaşyklary dogry.
• Runbook 30 gün ≤ täzelendi.
• DR-gatnaşygy soňky 90 günde.

6) Amallardaky aragatnaşyk

Bitewi şablonlar: wakalar boýunça gysga täzelenmeler, çalşyklaryň arasyndaky "handover" paketleri.
Kararlaryň köpçülige ýetirilmegi: esasy ylalaşyklar ýazmaça ýazylýar.
Grafiklerdäki düşündirişler: neşirler, fiçeflaglar, üpjün edijileriň penjireleri.
SLO panelleri hemmeler üçin: statuslaryň we ýalňyşlyklaryň býudjetiniň aç-açanlygy.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Aýyplamasyz postmortem

Faktlar we wagt aralygy: kim, haçan, näme etdi, haýsy maglumatlar esasynda.
Ulgamlaýyn sebäpler: "günäkärler" däl-de, prosesler, gurallar, interfeýsler.
Möhletli hereketler: düzediji we öňüni alyş.
Sapaklary çykarmak: standartlar, çek sahypalary, runbook täzelenmesi.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Däp-dessurlar we kadensiýa

Hepdelik Ops-syn (30 minut): SLO, hadysalar, aladalar, hereketleriň ösüşi.
Her aýda retrospektiv ygtybarlylygy: sapaklar, tendensiýalar, standartlary täzelemek.
Çärýekleýin Reliability Review: SLO/býudjetlere täzeden garamak, ýol kartasyna goşulmak.
Game-days/Chaos: Feýlower işlemegi we şowsuzlygy meýilleşdirilen ssenariler.

9) Höweslendiriş, ösüş we traýektoriýa

Başarnyklary: on-call, waka-dolandyryş, gözegçilik, SLO-in engineering, FinOps.
Karýera derejeleri: ygtybarlylyga goşant goşmak boýunça garaşmalar (başlangyçlar, postmortemler, terbiýeçilik).
Maddy däl höwes: kwartalyň ykrar edilmegi, gowulaşmalaryň awtorlygy, "Reliability Champion".
Material: on-call öwezini dolmak, SLO-KPI gazananlary üçin bonuslar.

10) Syýasatlar we özüni alyp barş kadalary (bölekler)

• Islendik on-call SLO howpy abananda boşadylyp/togtadylyp bilner.
• Çözgüt töwekgelçilik aradan aýrylandan soň ýazylýar we täzeden seredilýär.

• Uly üýtgeşmeler diňe fiçeflaglar we kanareýkalar bilen.
• SLO-metrikler boýunça awtogeýtler; gyşarma → arakesme/yza gaýdyp gelmek.

• Ähli möhüm maglumatlar - umumy kanallarda, şahsy çözgütler bolmazdan.
• ETS (Estimated Time to Status) P1/P2 hadysalary üçin hökmanydyr.

11) Medeniýetiň metrikleri (KPI kämillik)

SLO Coverage: resmi suratlandyrylan SLO/alertler bilen möhüm ýollaryň paýy.
Pre-Incident Detect Rate: pese gaçmak döwründe saklanan hadysalaryň paýy.
MTTR/MTTD: çärýek boýunça dinamika.
Change Failure Rate: goýberilenden soň yza/regressiýa.
Postmortem Action SLA: wagtynda ýapylan hereketleriň paýy.
Alert Fatigue Index: on-call/smena üçin alert.
Handoff Quality Score: çalşyklaryň arasynda geçiriş hili.
Psychological Safety Pulse: gysga yzygiderli anket (anonim).

12) Girizmegiň çek-sanawy

• Domenler, eýeler, on-call we SLO kesgitlenildi.
• "Dur-kranyň", postmortemleriň we aragatnaşyklaryň syýasaty kabul edildi.
• SLO paneli we neşirleriň düşündirişleri galdyryldy.
• Däp-dessurlar başlandy: Her hepde Ops-syn we şablon boýunça hendowerler.
• Postmortem şablonlary we action-tracker döredildi.
• Ilkinji game-day/DR-maşk geçirildi.
• KPI medeniýetleri we her aýda gözden geçirmek.

13) Anti-patternler

Gahrymanlara kult: ulgamlaýyn düzedişleriň ýerine soňky minutda halas edýäris.
Adamlaryň günäleri: sebäpleri däl-de, "günäkäri" gözlemek.
Gizlin çözgütler: hususy söhbetdeşlikler, "dilden ylalaşyklar".
Uly gijeki neşirler: baýdaklar we kanareýalar ýok.
Hereketsiz metrika: hasabatlar bar, çözgütler ýok.
Bulam-bujar hendowerler: şablon ýa-da kabul edilendigini tassyklamak ýok.

14) Gurallar we artefaktlar (iň az)

Eýeler bilen SLO/alertleriň katalogy.
Runbook-repozitory (domen boýunça, täzelenme ≥ aýlyk).
Şablonlar: postmortem, hendover, wakanyň täzelenmesi, zaýalanma meýilnamasy.
Панели: SLO Overview, Incidents, Change Safety, Providers.
Hereket yzarlaýjysy: SLA we eýeleri bilen ýekeje belgi.

15) HR-konturlara goşulmak

Onbording: SLO, on-koll, postmortem boýunça okuw.
Netijelilige baha bermek: ygtybarlylyga we medeniýete goşant goşmak - performance review-iň bir bölegi.
Terbiýeçilik: şadow-nobatlar, hadysalary jübüt alyp barmak.
Puls soraglary: howpsuzlyga/ýadawlyga çärýekleýin baha bermek.

16) 30/60/90 - işe girizmek meýilnamasy

• Domen eýelerini we on-call belläň, SLO (p95, success rate) boýunça iň az belläň.
• "Dur-kranyň" we postmortemleriň syýasatlaryny kabul etmek, şablonlary tassyklamak.
• Hepdelik Ops-syn we hendower-dessuryny başla.

• 2 oýun-gün/DR maşklaryny geçiriň, SLO we Change Safety panelini göteriň.
• 1-2 möhüm hyzmatlarda SLO arkaly kanareýkany we awtogeýtleri goşuň.
• Medeniýet ölçeglerini başla (MTTR, Action SLA, Pulse-anket).

• Tendensiýalary seljermek, SLO/býudjetleri täzelemek, gowulaşmalary ýol kartasyna birleşdirmek.
• "Reliability Champion" we terbiýeçilik programmasyny giriziň.
• Retrospektiwleriň netijeleri boýunça däp-dessurlary we syýasatlary düzetmek.

17) Şablonlar (bölekler)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: Diňe tehnikany däl, "medeniýeti" nädip ölçemeli?
A: Pulse-anketany (psihologiki howpsuzlyk), postmortemleriň Action SLA, köpçüligiň kararlarynyň paýyny, HQS hendowerlerini giriziň.

Q: "Gahrymançylyk" bilen näme etmeli?
A: Sag boluň, ýöne gahrymançylyk talap edilmezligi üçin ulgamlaýyn üýtgeşmeleri düzüň. Diňe "edermenlikleri" däl-de, öňüni alyş we gowulaşmalary göz öňünde tutuň.

Q: Telekeçiligi medeniýetiň gymmatlyklaryna nädip ynandyrmaly?
A: Baglanyşygy görkeziň: MTTR/Change Failure Rate → öwrülişigiň/girdejiniň ýokarlanmagy, az jerime we gijeki jaň, öňünden aýdylýan goýberişler.