Operatsiyalar va Boshqaruv → O’zgarishlarni boshqarish

Oʻzgarishlarni boshqarish

1) Vazifasi va prinsiplari

Maqsad: o’zgarishlarni tez va xavfsiz yetkazish, hodisalar, nuqsonlar va tartibga solish qoidabuzarliklari xavfini kamaytirish.

• Predictable & Reversible: har bir oʻzgarish rejalashtirilishi, tekshirilishi va qaytarilishi mumkin.
• Risk-based: nazorat chuqurligi tavakkalchilikka (yurisdiksiya, pul, PII) bog’liq.
• Small & Frequent: kichik inkrementlarni baholash va konkida uchish osonroq.
• Automation first: infratuzilma sifatida kod, testlar, validatsiyalar, avtoproveralar.
• Yagona Source of Truth: yagona RFC/chipta, yagona taqvim va harakatlar log.

2) Qamrov sohasi

Mahsulot kodi (backend/frontend, mobil SDK).
Infratuzilma (IaC, Kubernetes/VM/CDN/Edge).
Ma’lumotlar (DB, migratsiya, vitrinalar/ETL sxemalari).
Konfiguratsiyalar va fich bayroqlar.
Integratsiyalar (PSP, KYC, o’yin provayderlari).
Xavfsizlik va foydalanish siyosati.

3) Rollar va RACI

Oʻzgarish egasi (Change Owner) - Responsible.
Reliz kuratori/RelEng - reliz poyezdini muvofiqlashtirish.
SRE/Ops - ekspluatatsiya, geyt SLO/SLA.
Security/Compliance - xavflar va muvofiqlikni tekshirish.
CAB (Change Advisory Board) - normal/yuqori xavfli o’zgarishlarni tasdiqlash.
Biznes steykxolderlari/qo’llab-quvvatlash - Informed.

4) O’zgartirishlar tasnifi

Standard (namunaviy, oldindan tasdiqlangan): tez-tez, past riskli, tayyor pleybuk bo’yicha (masalan, bayroq yangilanishi, kalitlar rotatsiyasi).
Normal: RFC, baholash, mumkin bo’lgan CAB, testlar va rad etish rejasini talab qiladi.
Emergency: P1-hodisalar uchun shoshilinch fikslar; minimal byurokratik yo’l, post-faktum revyu/SAV.

5) O’zgarishning hayot sikli

1. Tashabbus ko’rsatish (RFC): maqsad, hajm, xavf, ta’sir ko’rsatilgan servislar/hududlar, ekaut-reja.
2. Xavfni baholash: Impact × Likelihood matritsasi, SLO/komplayens/qiymatga ta’siri.
3. Rejalashtirish: oyna, qaramlik, migratsiya, kommunikatsiya, validatsiya testlari.
4. Validatsiya: avtotestlar, statik tahlil, security-chek, spektakl-progon.
5. Targ’ib qilish: progressiv strategiya (§ 8 ga qarang), telemetriya va gardreyllar.
6. Kuzatish: burn-rate SLO, alertlar, biznes metriklar (GGR/NGR, konvertatsiya).
7. Yakunlash: natijani qabul qilish, hujjatlarni yangilash, rad etilganda post-mortem.

6) RFC: minimal tarkib

Kontekst: nega o’zgartiramiz, ta’sir farazini.
Diapazon: tizimlar, hududlar, mijozlar versiyasi.
Xavf: rad etish matritsasi va stsenariylari, blast radius.
Joylashtirish rejasi: bosqichma-bosqich, «borish/to’xtash» mezonlari bilan.
Qaytish rejasi (Backout): buyruqlar/qadamlar, ishga tushirish shartlari, RTO/RPO boʻyicha kutish.
Test-reja: nimani oldindan/keyin tekshiramiz (funksional, spektakl, xavfsizlik).
Kommunikatsiyalar: kimni ogohlantiramiz, xabar shablonlari.
Audit: chiptalar, kommitalar, CI/CD artefaktlariga havolalar.

7) O’zgarishlar taqvimi va derazalar

Yagona taqvim: barcha relizlar, migratsiyalar, o’chirishlar, tashqi voqealar (sport/marketing/bayramlar).
Freeze-derazalar: yirik sotuvlar/chempionatlar/eng yuqori soatlar, soliq hisoboti.
Chorrahalar siyosati: bir xil tanqidiy yo’llar bo’yicha ziddiyatli o’zgarishlarni taqiqlash.
Mintaqaviy to’lqinlar: avval «iliq» hududlar/past trafik, so’ngra - asosiy.

8) Joylashtirishning texnik strategiyalari

Canary: trafikning kichik qismi → metriklarni taqqoslash (p95 latency, error%, konvertatsiya).
Blue-Green: parallel muhitlar, yo’nalishni atom bilan almashtirish.
Progressive Delivery: avtomatik to’xtash shartlariga ega bo’lgan foiz-rollaut.

Feature Flags: funksional almashtirgichlar, kill-switch, A/B

Dark Launch/Shadow Traffic: Foydalanuvchilarga taʼsir qilmaydigan soyalarni tekshirish.
Bosqichli limitlar: QPS/raqobatbardoshlikni bosqichma-bosqich oshirish.

Gardreyllar: p95/error% chegarasidan oshganda avtomatik to’xtash, qaytarmalar/chorjbeklar o’sishi, avtorizatsiya/depozitlar pasayishi.

9) Ma’lumotlar va sxemalarni o’zgartirish

Moslik: migratsiyani kengaytiruvchi (additive) → eski va yangi sxemani oʻquvchi kod.
Ikki fazali migratsiya: (1) Yangi maydonlar/indekslar qoʻshish → (2) Oʻzgartirish → (3) eskisini olib tashlash.
Kontraktlarni versiyalash: Yevro/Protobuf sxemasi reyestri bilan; back/forward compatible.
Katta hajmdagi migratsiyalar: batchi, pauza, idempotent, chekpoint va taraqqiyot.
Falokatga chidamlilik: RPO/RTO testi, snapshotlar, tiklanish mashqlari.
BI ma’lumotlari: vitrin/metrik o’zgarishi - MR/SR va metrik lug’at (ID, formula) orqali.

10) Konfiguratsiyalar va sirlarni boshqarish

Config as Data: versionlangan konfiglar, sxema validatsiyasi, atrof-muhit orqali yuviladi.
Sirlar: kalitlarni almashtirish, minimal imtiyozlar tamoyillari, murojaatlar auditi.
Mintaqaviy overradlar: limitlar/sheriklar (PSP/KYC) - parametrlash orqali, kod forkalari orqali emas.

11) Komplayens va audit (iGaming-kontekst)

Oʻzgarish izlari: kim/qachon/nima (bayroqlar, konfiglar, marshrutlar, migratsiyalar).
Segregation of Duties: muallif, revyuer va deploer uchun turli rollar (SOX kabi).
Tartibga soluvchi hisobotlar: fix-relizlar, hisob-kitoblar versiyalarini nazorat qilish (GGR/NGR, bonuslar), PII ga kirishni nazorat qilish.
Etkazib beruvchilar: SDK/provayder sertifikatlarining belgilangan versiyalari, SLA majburiyatlari.

12) Kommunikatsiyalar

Ogohlantirish shablonlari: relizdan oldin (nima/qachon/xavflar), vaqt davomida (maqomi, trafigi, metrikasi), keyin (yakunlari).
Tashqi xabarlar: bannerlar/mijozlarga ta’sir qilganda maqom sahifasi.
Muvofiqlashtirish: #release-war-room kanali, reliz egasi, yangilanishlar chastotasi.

13) Samaradorlik metrikasi

DORA: Deployment Frequency, Lead Time for Changes, Change Failure Rate (CFR), MTTR.
SLO Impact: relizlardan oldin/keyin SLOdagi vaqt ulushi.
Backout Rate: oʻzgarishlar toifasi boʻyicha qaytish chastotasi.
Release Debt: tugallanmagan migratsiya/« osilgan »holatdagi fich bayroqlar.
Business Impact: konvertatsiya, KYC TTV, success rate PSP, GGR/NGR drift.

14) Anti-patternlar

Big-bang relizlari: bir vaqtning o’zida ko’plab o’zgarishlar - regressiyaning sababini tushunish qiyin.
Mos kelmaydigan migratsiyalar: ikki marta oʻqilmagan maydonlarni olib tashlash/qayta nomlash.
Egasiz bayroqlar va olib tashlash muddatlari: mantiqning «abadiy» shoxobchalari.
Telemetriya va stop-mezonlarsiz relizlar: «ko’z bilan» va keyinchalik zararni aniqlash.
Taqvimni eʼtiborsiz qoldirish: eng yuqori hodisalar/kampaniyalar bilan kesishish.
Pleybuksiz va auditsiz qo’l qadamlari: yuqori o’zgaruvchanlik va xavf.

15) Chek-varaqlar

Boshlashdan oldin (RFC tayyorligi)

• Maqsad va KPI o’zgarishlar
• Xavf va blast radius baholandi, o’zgartirish darajasi tanlandi
• Joylashtirish rejasi va Backout bosqichma-bosqich yozilgan
• Test-reja va steyj/kanarda natijalar mavjud
• Aloqa va taqvim yangilandi, steykxolderlar xabardor qilindi

Yoyish vaqtida

• Metriklar p95/error%, biznes signallari va loglar real vaqt rejimida kuzatiladi
• Taraqqiyot bosqichlari chek-pointlar bilan tasdiqlanadi
• Gardreylar ishga tushganda - avto-stop va orqaga qaytish

• Reliz natijalari qayd etildi (changelog, versiyalar, artefaktlar)
• Chetga chiqishda post-mortem (5 ish kunidan ≤)
• Qarzlar (bayroqlarni olib tashlash, yakuniy migratsiya) egalari bilan backlogga kiritilgan

16) Mini-shablonlar

• Maqsad/faraz
• Hajmi va ta’siri (servislar, hududlar, ma’lumotlar, mijozlar)
• Xavf (Impact × Likelihood) va kamaytirish choralari
• Yoyish rejasi (qadamlar, trafik%, go/no-go mezonlari)
• Backout-plan (qadamlar, RTO/RPO, ma’lumotlar)
• Test-reja (funksional/spektakl/xavfsizlik)
• Kommunikatsiyalar (kanallar, chastota)
• Artefaktlar (tiketlar, PR, bild raqamlari)

• Oʻzgartirish: "Payments-Service v2. 14 + psp_limits migratsiyasi"
• Oyna: 2025-11-02 00: 00-01: 00 EET
• Ta’sir ko’rsatgan hududlar: EU, LATAM (10% → 50% → 100%)
• Xavflar/gardreyllar: error%> 2% 10 min - to’xtash va orqaga qaytish
• Aloqalar: @Owner, @SRE-on-call, @Support-lead

• Triggerlar: p95> + 25% 10 min, PSP success <97%
• Qadamlar: (1) traffic − → v2 uchun 0%. 14; (2) bayroqlarni v2 ga o’tkazish. 13; (3) snapshot/chekpoint orqali migratsiyaning qaytarilishi; (4) smoke-testlar; (5) hisobot.

17) Reliz poyezdi bilan integratsiya qilish

Release Train: oʻrnatilgan slotlar (masalan, haftasiga 2 ×), merge-cut uchun SLA.
Hotfix-siyosat: alohida poyezdlar/shoxobchalar, tezkor yo’l.
Version: semver, artefaktlar va atrof-muhitdagi belgilar, SBOM.

18) Jami

O’zgarishlarni boshqarish tezlik uchun tormoz emas, balki xavfsiz tezlanish mexanizmidir. Xavfga yo’naltirilgan tasniflash, yaxshi RFClar, progressiv tarqalish, ma’lumotlarning mos migratsiyasi, aniq kommunikatsiyalar va ta’sirning o’lchanishi relizlarni boshqariladigan, takrorlanadigan va auditorlik jarayoniga aylantiradi.