Ishonchlilik muhandisligi

1) SRE nima va nima uchun kerak

Ishonchlilik muhandisligi (Site Reliability Engineering, SRE) - ishlab chiqish va foydalanish chorrahasidagi intizom bo’lib, ishonchlilikni o’lchanadigan mahsulot atributiga aylantiradi. SRE foydalanuvchi tajribasi metrikalari (SLI), sifat maqsadlari (SLO), xato byudjetlari, avtomatlashtirish va boshqariladigan oʻzgarishlarni barqarorlikni yoʻqotmasdan tezroq yetkazib berish uchun birlashtiradi.

Asosiy maqsadlar: bashorat qilinadigan UX, tezkor relizlar, minimal nuqsonlar va nazorat qilinadigan egalik qiymati.

2) SRE tamoyillari

Ishonchlilik fich sifatida. SLO va biznes maqsadlarida belgilangan chegaralargacha ustuvordir.
Xato byudjeti oʻzgarish tezligini boshqaradi. Agar byudjet yonsa, asosiy eʼtibor barqarorlikka qaratiladi.
Avtomatlashtirish> qoʻlda ishlash. Har qanday takrorlanadigan vazifa skript/operator/payplayndir.
O’lchanishi. Faqat oʻlchanganni (SLI/SLO) yaxshilash mumkin.
Just Culture. Ayblovsiz post-mortemalar, tizimli sabablarga e’tibor qaratish.
Shift-left. Sifat, xavfsizlik, testlar va kuzatuv - taraqqiyot siklining bir qismidir.

3) Tashkil etish va rollari

Platformaning SRE buyrugʻi: umumiy vositalar, siyosatlar, payplaynlar, GitOps, xizmatlar kataloglari.
Integratsiyalashgan SRE (embedded): Mahsulot buyrugʻi bilan birga ishlaydilar, SLOning birgalikdagi maqsadlari.
Navbatchilik (on-call): rotatsiyalar, yuk chegaralari, kompensatsiya, mashg’ulotlar.
RACI: xizmat egasi, SLO, IC, Comms Lead, Scribe.

4) SLI/SLO va xatolar budjeti (mahsulot bilan bog’lanish)

SLI: foydalanish imkoniyati, yashirin, biznes operatsiyalarining muvaffaqiyati, ma’lumotlarning dolzarbligi.
SLO: 28-30 kun + istisnolar.
Error Budget = 1 − SLO. Siyosat: relizlar, eksperimentlar, kanareykalar va chichlar haqiqiy burn-rate bilan tartibga solinadi.
Kogortlar bo’yicha dizayn: mintaqalar, provayderlar, VIP segmentlar - anomaliyalarni yo’qotmaslik uchun alohida SLOlar.

5) Andoza kuzatish

Metrika: muvaffaqiyat/xato, p50/p95/p99, saturation (CPU/mem/IO/conn).
Loglar: strukturalangan, so’rovlar/relizlar/bayroqlar bilan bog’liq.
Treysing: kechikishlar va xatolar xaritasi, hot-paths.
Sintetika + RUM: tashqi namunalar va haqiqiy mijoz telemetriyasi.
SLO dashbordlari: burn-down budjeti, reliz annotatsiyalari, kanareyka, provayderlar.

6) O’zgartirishlar va chiqarishni boshqarish

Paypline CI/CD: determinirlangan yig’ilishlar, artefaktlar imzosi, xavfsizlik skanerlari, kontraktlar testlari.
Progressiv strategiyalar: canary/blue-green/shadow; hayot sikli bo’lgan fich-bayroqlar.
Sifat gate’lari: policy-as-code, SLO-guardrails, degradatsiyada avto-qaytish.
GitOps: kod sifatida konfiguratsiyalar/siyosatlar, chorshanba uchun reklama, audit.

7) Hodisalar va post-mortemalar

SEV/P-darajalar bo’yicha deklaratsiya, IC darhol tayinlanadi, SEV-1 + da reliz-freeze.
Burn-rate alertlari: qisqa va uzun derazalar, mintaqalar va namunalar turlari bo’yicha kvorum.
Pleybuklar: qaytarmalar, degradatsiyalar, provayderlar feyloveri, limitlar/retralar.
RCA va CAPA: faktologiya, sababiylik, o’lchanadigan harakatlar, nazorat nuqtalari (D + 14/D + 30).
Bilimlar katalogi: shablon va darslardan foydalaning.

8) Ishonchlilikni sinovdan o’tkazish

Mikroservislar uchun kontrakt testlar va consumer-driven contracts.
Haqiqiy patternlar bo’yicha yuklash profillari, test p99/pauza GC/navbat quyruqlari.
Chaos/Resilience-keyslar: bog’liqlikni o’chirish, tarmoqlar, kechikishlar; game-days va DR-mashqlar.
BD migratsiyasi: expand → migrate → contract, qaytariluvchanlik, ikki versiyadagi moslik testlari.

9) Sig’imni va qiymatni boshqarish (FinOps)

Capacity Units va headroom tanqidiy yo’llarda.
Foydalanuvchi metrikasi va navbat laglari boʻyicha HPA/VPA/KEDA.
Ko’p provayderlar: kvotalar, SLO/maxfiylik bo’yicha marshrutlash, avto-feylover.
Unit-economics: $/1k so’rovlar, $/muvaffaqiyatli tranzaksiya; keshlar, loglar, egress.

10) Xavfsizlik ishonchlilikning bir qismi sifatida

SAST/DAST/SCA, sirlarni qidirish, SBOM, tasvir imzosi.
mTLS va kirish siyosati (OPA/ABAC); eng kam imtiyozlar.
Kalitlar/sertifikatlarni rotatsiya qilish, muddatlarni nazorat qilish, muddati tugashining test stsenariylari.
Xavfsizlik hodisalari - alohida pleybuklar, forenzika, regulyatorlarning xabarnomalari.

11) Madaniyat va jarayonlar

SLO-sharhlar: har hafta/oyda, qarzlarni «binafsha binafsha» dan ustun qo’yish.
O’qitish va simulyatsiyalar: on-call treninglar, noxush mashqlar, chaos-days.
Yagona standartlar: ishlab chiqarishga tayyorlik chek-varaqalari, SLA kommunikatsiyalar, post-mortem formati.
Alertlarning charchash indikatorlari: shovqin ≤ maqsadli chegara, muntazam tyuning.

12) SRE funksiyasining etuklik metrikasi

DORA-metriklar: deploev chastotasi, lead time, MTTR, change-failure-rate.
SLO-bajarish: yashil zonadagi xizmatlar ulushi, burn-rate trendi.
Alert gigiyena: peyjlar bo’yicha harakatlar%, mediana alert/smena, yolg’onlarning ulushi.
RCA/CAPA: muddatida bajarilishi, tizimli (shaxsiy) sabablar ulushi, reopen-rate.
Narxi: $/SLO punkti, $/1k so’rovlar, avtoskeyl samaradorligi.

13) «Servisning ishlab chiqarishga tayyorligi» chek-varaqasi

• SLI/SLO, SLO egasi va kuzatuv oynasi aniqlandi.
• Dashbordlar va burn-rate alertlari sozlangan, tashqi sintetika mavjud.
• Paypline: imzolar/skanlar, kontrakt/integratsiya testlari, kanareyka/bayroqlar, avto-rollbek.
• BD migratsiyasi teskari, yuklash profillari cho’qqilarni qoplaydi.
• Hodisalar pleybuklari va provayderlarning aloqalari; maqom-sahifa.
• Capacity headroom tasdiqlandi; HPA/KEDA va provayderlar kvotalari tekshirildi.
• Konfigi va siyosatchilar - Git, chorshanba kunlari reklama, audit kiritilgan.
• Xavfsizlik: koddan tashqari sirlar, mTLS/rotatsiya, TLS muddatlari nazorat ostida.

14) Anti-patternlar

«99. 999% yoki hech narsa" - erishib bo’lmaydigan maqsadlar → abadiy qizil burn-rate.
Kanareykalar va fich-bayroqlarsiz relizlar → katta portlashlar.
Bitta monitoring nuqtasi → noto’g’ri tashvishlar va o’tkazib yuborishlar.
Prod → dreyf va auditoriyasizlikdagi konfiguratsiyalarni qoʻlda almashtirish.
CAPAsiz post-mortemlar → takrorlanuvchi hodisalar.
SRE arxitekturani o’zgartirish huquqisiz «o’t o’chiruvchilar» sifatida → qarz yopilmaydi.

15) SRE joriy etishning yo’l xaritasi (3-6 oylik misol)

1. 1-oy: servislar va og’ir yo’llarni xatlovdan o’tkazish; SLI/SLO loyihalari; bazaviy dashbordlar va burn-rate alertalar; start on-call.
2. 2-oy: kanareykalar/fich-bayroqlar, avto-otkatlar; GitOps konfiguratsiyalari; hodisalar pleybuklari katalogi; maqom-sahifa.
3. 3-oy: kontrakt testlari, yuklash profillari, expand/contract sxemasi bo’yicha DB migratsiyasi; birinchi game-days.
4. 4-6 oy: multi-provayder yo’nalishlari, DR-mashqlar, narxni optimallashtirish, etuklik metrikasi, jamoalar uchun KPI.

16) Jami

SRE - bu ishlab chiqishning operatsion tizimi: shaffof sifat maqsadlari (SLO), boshqariladigan oʻzgarish tezligi (xato byudjeti), avtomatlashtirish va hodisalar intizomi, barqarorlikni sinash va ongli qiymat. Bunday yondashuv bilan relizlar odatiy holga, ishonchlilik esa raqobatbardosh ustunlikka aylanadi.