SRE madaniyati va muhandislik tamoyillari

1) SRE madaniyati nima

SRE madaniyati - bu boshqariladigan ishonchli qadriyatlar va amaliyotlar to’plami: SLO maqsadlari → xato-byudjet → o’zgarishlarning ongli xavfi → tezkor barqarorlik → hodisalar bo’yicha o’qitish.
Asosiy paradigma: tezlik ≠ ishonchlilik dushmani. Relizlarning tezligi xavflarni dozalash va avtomatlashtirishda mumkin.

• User-centric: Ishonchni foydalanuvchi (SLI/SLO) ko’rayotganidek belgilaymiz.
• Automation-first: har qanday takrorlanadigan harakat → skript/siyosat/boshqaruvchi.
• Blamelessness: xatolar tizimli, biz odamlarni emas, sabablarini tekshiramiz.
• Data-driven: metrik va byudjet xatolari asosida yechimlar.
• Simplicity: oddiy, tekshiriladigan mexanizmlar> «sehrli» echimlar.

2) SREning bazaviy muhandislik tamoyillari

1. SLO/SLI va xatolar byudjeti - ustuvorlik va alerting asosi.
2. Hodisa → barqarorlashuv → RCA - avval alomatlar, keyin sabablar.
3. Qo’l mehnatini kamaytirish (toil) - SRE vaqtining 50 foizini ≤ maqsadi, vaqt o’tishi bilan kamroq.
4. Oziq-ovqat tayyorgarligi - «production readiness» tashqi trafikgacha majburiydir.
5. Soddalik va izolyatsiya - kamroq aloqalar, ko’proq blast radius cheklovlari.
6. Standart kuzatish - metrika/loglar/trassalar, SLO-vidjetlar, sintetika.
7. O’zgarishlar boshqariladi - progressive delivery, kanareik hisob-kitoblar, auto-rollback.
8. Security by design - sirlar, kirish imkoniyatlari, audit, minimal imtiyozlar.
9. O’quv davralari - drili, xaos o’yinlari, postmortemalar, retrospektivlar.
10. FinOps-onglilik - «to’qqizlik narxi», cost-to-serve, samarali SLO.

3) Marosimlar va jarayonlar

3. 1 Production Readiness Review (PRR)

• SLI/SLO, dashbord va alertlar (fast/slow burn).
• Health-endpoints ’/healthz’, ’/readyz’, ’/startupz’.
• Runbook/pleybuk hodisalar, owner/on-call, escalation chain.
• Backups/DR-reja, resurslar limitlari, budjet hisob-kitoblari.
• Muvaffaqiyatsizlikka chidamlilik testlari (fich-bayroqlar, rollback stsenariylari).

3. 2 Haftalik SLO-brifing

Services boʻyicha error-budget maqomi.
Haftalik hodisalar, CAPA-progress.
Reliz xavfi: ruxsat etilgan/depla bilan cheklangan (budjet bo’yicha).

3. 3 Ayblovsiz postmortem

Faktlar va taymline, foydalanuvchi ta’siri, nima yordam berdi/to’sqinlik qildi.
Tizimli sabablar (jarayonlar/vositalar), «aybdor» emas.
Egalari va muddatlari aniq CAPA, kompaniya ichida oshkoralik.

3. 4 Xaos va drili o’yinlari

Rejali nosozliklar inyeksiyasi (tarmoq, DB, kesh, nodlar) + maqsadli SLO.
«Game day»: barqarorlashtirish uchun vaqt, MTTR o’lchash, pleybuklarni tuzatish.

4) Alerting va shovqin

• Alert only on symptoms: SLO yoki foydalanuvchi yoʻli buzilgan.
• Multi-window, multi-burn: tez va sekin kanallar.
• Quorum/anti-flapping: kechikishlar’for’, maintenance paytida bostirish.
• «CPU> 80%» - bunday signallar dashbordga, peyjerga emas.

• Actionable ulushi ≥ 80%.
• Median time-to-ack ≤ 5 daqiqa (P1 bo’yicha).
• «Pager fatigue» ni kamaytirish: muhandisga haftasiga 1 tungi peyj ≤.

5) O’zgartirishlarni boshqarish

Progressive delivery: canary → 10% → 25% → 50% → 100%.
SLO signallari bo’yicha auto-rollback (xato/yashirin).
Global qaytarish oʻrniga feature-flags va kill-switch.
Change policy by risk: fast lane для low-risk; CAB - faqat yuqori-xavf.

yaml steps:
- setWeight: 10
- analysis: { template: "slo-check" } # fail ⇒ rollback
- setWeight: 25
- analysis: { template: "slo-check" }

6) toil (muntazam qo’l mehnatini) kamaytirish

Toil manbalari misollari: qo’lda ishlatiladigan deplolar, qayta ishga tushirishlar, «kirish» chiptalari, navbatlarni tozalash.

• Takrorlanadigan vazifalarni inventarizatsiya qilish → avtomatlashtirish/o’z-o’ziga xizmat ko’rsatish.
• KPI: toil uchun% vaqt, «avtomatlashtirilgan qadamlar/hodisa», «self-service gacha daqiqalar».
• Platforma xizmatlari katalogi (namespaces, DD, navbatlar, dashbordlar, alertlar).

7) Kuzatuvchanlik va SLO-birinchi dizayn

Golden Signals (latency, traffic, errors, saturation).
Har bir jamoadagi SLO-kartochkalar: maqsad, oyna, byudjet, burn-alertlar.
Drilldown: metrikadan logga/trassaga; andoza loglarda’trace _ id’.
Sintetika: blackbox + headless stsenariylari (login/deposit/checkout).

8) Quvvatlarni boshqarish va barqarorlik

Capacity planning: maqsadli RPS/raqobatbardoshlik, AZ/mintaqa bo’yicha zaxira.
Bulkhead/shedding: hovuzlarni izolyatsiya qilish, birinchi navbatda ikkinchi darajali funksiyalarning ishlamay qolishi.
Backpressure va navbatlar: lag-control, DLQ, moslashuvchan raqobatbardoshlik.
Failover va DR: RPO/RTO, muntazam DR-drill.

9) Xavfsizlik ishonchlilikning bir qismi sifatida

Secrets: maxfiy menejer, JIT kirish, audit.
WAF/DDoS-guard perimetrda, mijoz/tenant uchun limitlar.
PII-minimallashtirish, hodisalarda DSAR/Legal Hold.
Supply chain security: artefaktlar imzosi, asosiy tasvirlar siyosati.

10) On-kolla salomatligi

Yolg’izlarsiz rotatsiyalar, aniq dam olish oynalari.
«Tunda uyg’otish» ostonasi faqat SLO bo’ylab P1/P2.
Psixogigiyena: uyqusizlik operatsion xavf sifatida qayd etiladi.
Metrika: peyji/hafta, tungi peyji/muhandis, tiklanish vaqti.

11) SRE etuklik metrikasi

SLO coverage: SLO/alertli kritik yo’llar ulushi ≥ 90%.
Error-budget governance: freeze qoidalari mavjud va amalda.
Toil: ≤ 30-40% vaqt, pasayish tendentsiyasi.
MTTD/MTTR: medianlar choraklik dinamikada.
Auto-mitigation rate:% avtomatlashtirilgan hodisalar.
PRR pass-rate: prod-tayyorgarlikdan o’tgan relizlar ulushi.
Postmortem SLA: SEV-1 - postmortem ≤ 48 soat.

12) Hujjatlar va bilimlar

• Runbooks/pleybuklar (top-stsenariylar: 5xx spike, DB lag, Kafka lag, NodeNotReady, TLS).
• SLO-kartochkalar va dashbordlar.
• PRR chek varaqlari va reliz shablonlari.
• Platforma xizmatlari katalogi va OLAs/SLAs.
• O’quv materiallari: SRE 101, Chaos 101, On-call 101.

13) Anti-patternlar

Hero-culture: tizimli fikslar o’rniga «qutqaruvchilar».
Shovqinli alerting: CPU/peyjer disklari, yuzlab keraksiz signallar.
«DevOps - inson»: mas’uliyatli, egalari yo’q.
SLO yo’qligi: «Biz hamma narsani yashil rangda saqlaymiz» → ustuvorlik tartibsizligi.
Kechiktirilgan postmortemalar va «jodugar ovi».
Kanaryalarsiz global qaytishlar.
Konfiga/repodagi sirlar; harakatlar auditi mavjud emas.
Observability actionable signallarsiz «chiroyli grafiklar» sifatida.

14) Artefaktlar shablonlari

14. 1 SRE Xartiyasi (parcha)

yaml mission: "Make reliability manageable and economical"
tenets:
- "User - SLI/SLO Center"
- "Automation-first, minimizing toil"
- "Blameless & learning"
governance:
error_budget:
freeze_threshold: 0. 8 # 80% of the budget burned ⇒ release frieze review_cadence: "weekly"
oncall:
paging_policy: "SLO-only, P1/P2 at night"
health_metrics: ["pages_per_week", "night_pages_per_engineer"]

14. 2 Mini-PRR chek-varag’i

• SLI/SLO va burn-alertlar sozlangan
• Health-endpoint va sintetika
• Runbook/pleybook + egasi/on-call
• Rollbek/ficha bayroqlari/kanareyka
• Dashbordlar latency/errors/traffic/saturation
• Xavfsizlik limitlari/kvotalari/guardrails
• DR-reja va bekaplar sinovdan o’tkazildi

15) Bosqichlar bo’yicha joriy etish (4 ta sprint)

Sprint 1 - Poydevor

Tanqidiy foydalanuvchi yoʻllari va SLIni aniqlash.
SLOni shakllantirish va burn-alertlarni ishga tushirish.
PRR va minimal pleybuklarni kiritish.

Sprint 2 - Oʻzgarishlarni boshqarish

SLO bo’yicha auto-rollback.
Self-service operatsiyalari, xizmatlar katalogi.
Toil inventarizatsiyasi va avtomatlashtirish rejasi.

Sprint 3 - O’quv sikllari

Postmortem marosimi, tartibsizlik o’yinlari taqvimi.
Dashbordlar SLO + hodisalar, hisobot error-budget.

Sprint 4 - Maqbullashtirish va masshtab

SLO portfeli, FinOps «cost per 9».
DR-intizomini joriy etish, xavfsizlik auditi.
KPI on-cola, charchashning oldini olish.

16) Mini-FAQ

SRE = «hammasini tuzatish»?
Yo’q. SRE ishonchlilik tizimini boshqaradi: SLO, alerting, jarayonlar, avtomatlashtirish va o’qitish.

Biznesni ishonchlilikka sarmoya kiritishga qanday ishontirish mumkin?
ROI ko’rsating: MTTR pasayishi, konversiya o’sishi, SLA kreditlari kamroq, cost-to-serve past, barqaror relizlar.

Alohida SRE buyruqlari kerakmi?
Gibrid model: kritik mahsulotlarda + embedded-SRE platformasida strategik SRE.

Jami

SRE madaniyati - bu lavozim emas, balki xavf bilan ishlash usuli: SLO → xatolar byudjeti → boshqariladigan o’zgarishlar → avtomatlashtirish → ta’lim. Printsiplarni tuzating, marosimlarni (PRR, postmortemlar, xaos o’yinlari) boshlang, toil-ni olib tashlang, «standart» kuzatishni tuzing va on-call-ni saqlang. Shunday qilib, siz barqaror rivojlanish tezligini, bashorat qilinadigan relizlarni va ishonchli va tejamkor platformani olasiz.