Disaster Recovery и cold-backups

Qisqacha xulosa

DR - bu yirik avtohalokatdan keyin biznes funksiyalarini tiklash qobiliyati. Cold-backups - «oxirgi mudofaa chizig’i»: maydon to’liq o’chirilganda yoki buzilganda tiklash uchun yaroqli o’zgarmas/izolyatsiya qilingan nusxalar. Strategiya RTO/RPO, tizimlarni ustuvorlashtirish, har yilgi DR-mashgʻulotlar va qatʼiy operatsion intizom (kataloglar, kalitlar, tekshiruvlar) atrofida qurilmoqda.

Atamalar va maqsadlar

RPO (Recovery Point Objective) - ma’lumotlarning maksimal yo’qotilishi (masalan, 15 daqiqa ≤).
RTO (Recovery Time Objective) - tiklanishning ruxsat etilgan maksimal vaqti (masalan, 2 soat ≤).
Black-start - «noldan» tiklash: temir/klaster/sirlar/ma’lumotlar/DNS.
Air-gap - nusxalarni fizik/mantiqiy izolyatsiya qilish (lenta/o’chirilgan akkaunt/oflayn-tashuvchi).
Immutability (WORM) - o’zgarmas saqlash (Lock/Retention bilan lenta/obyekt).

DR tayyorgarlik darajalari

Cold Site - infratuzilma mavjud emas/muzlatilgan; RTO: soat-kun; eng arzon CAPEX/OPEX.
Warm Site - shablonlar/tasvirlar/qisman tayyor xizmatlar; RTO: o’nlab daqiqa-soat.
Hot Site - aktiv nusxalar; RTO: daqiqa; qimmatroq va murakkabroq.
Gibrid: yadro → hot/warm, qolganlari → cold (ishga tushirishda ustuvorlik bilan).

cold-backups almashtirib boʻlmaydi

Ommaviy kripto zaryadlash/domenni buzish.
Ma’lumotlar korrupsiyasi, hamma narsaga yo’l qo’ydi.
Hududni/MAni yo’qotish, fors-major (yong’in, suv toshqini).
Imtiyozli akkauntlardan qasddan olib tashlash/sabotaj qilish.

cold-backups topologiyasi

1. Media/saqlash sinflari

Lentalar (LTO-8/9): arzon, standart havo-gap, yuqori sig’imli, izchil kirish.
Offline-disklar/NAS: «seyf-keyslar» faqat bekap/restore oynasiga ulanadi.
Obʼektning arxiv sinflari (Glacier kabi): past saqlash narxi, yuqori olish vaqti.

2. Joylashtirish

Boshqa maydon/mintaqa; boshqa provayder/hisob; alohida kalitlar/administratorlar.

3. Immutabellik

WORM/Object Lock (Compliance/Governance) va Legal Hold lentalari.

Siyosat 3-2-1-1-0 (diqqat cold)

3 ta ma’lumotlar nusxasi (prod + lokal zaxira + offsayt).
2 xil tashuvchi (disk/lenta/obyekt).
1 ta ofsayt (boshqa maydon/bulut).
1 oʻzgarmas (WORM/air-gap).
0 ta tekshirish xatosi (checksum/davriy test-tiklash).

Kataloglar, meta ma’lumotlar va yaxlitlikni nazorat qilish

Bekaplar katalogi: qayerda, qachon, versiya, kalitlar, chek-summalar, muddat retenshn.
Aktivlar katalogi: servis → qaramlik → jildlar/baketalar → ustuvorlik.
Checksums va manifest fayllar: yozish va tiklash uchun solishtirish.
Canary fayllari: ommaviy axborot vositalari muammolarini erta aniqlash uchun muntazam restore.

Shifrlash va kalitlar

Tinch holatda (lenta/obyekt) va parvozda (nusxa ko’chirish) shifrlash.
KMS/Vault dual-control, master-kalitlar uchun oflayn seyflar, rotatsiya.
Prod/backap/arxivlar uchun alohida kalitlar (blast-radiusni minimallashtirish).
Hujjatlashtirilgan DR kalitlariga kirish jarayoni (talab, rol, jurnal).

DR rejasi: ustuvorlik va izchillik

1. Identifikatsiya va kirish: IdP (minimal hudud), Vault/KMS, tarmoq yadrosi.

2. Ma’lumotlar va boshqaruv tekisliklari: etcd K8s, konfiglar, sekrets, tasvirlar reyestrlari, deploev artefaktlari.

3. Tranzaksion DB/hamyon: jurnallar + oxirgi full/incremental.

4. To’lov/integratsiya shlyuzlari: kalitlar, sertifikatlar, IP/DNS.

5. Veb/api frontlari: kanareykali ishga tushirish, obʼektdan statik kontent.

6. Tahliliy/hisobot: yadro tugallangandan keyin.

1. Infratuzilma: tarmoq, DNS/Anycast, IAM yadrolari, asosiy tasvirlar/klaster.

2. Sirlar/sertifikatlar: Vault/KMSni cold-backupdan tiklash, bootstrap sirlarini tarqatish.

3. Nazorat tekisligi: etcd/Control Plane/registrlar/repozitoriyalar.

4. Maʼlumotlar: jurnallardan cold-backup + PITR DBni joylashtirish (RPO boʻyicha).

5. Dasturlar: yogʻoch qaramligini ishga tushirish, kesh/CDN ni isitish.

6. Testlar va validatsiya: health-testlar, konsistentlik, nazorat summalari.

7. Trafikni almashtirish: DNS/marshrutlash/muvozanatlash (bosqichma-bosqich/kanareya).

8. Post-tekshirish: oqish/qarzlar yo’qligi, loging va DR dalolatnomasi.

cold-restore tartib-taomillari (namunaviy)

Lentalar: inventar, yuklash, parallel oqimlar, fayllarning map → kataloglar → tiklash uchun taskalar; qidirish va ortish vaqtini hisobga olish.
Arxiv-sinflar: olish soʻrovi (minutes → hours), issiq saqlash joyida staging, manifest boʻyicha tiklash.
Offline disklar: read-only ulanish, checksum → nusxa olish.
Amaliyot: tiklash uchun ajratilgan «qum qutisi», so’ngra prod-muhitga ko’chirish.

Kommunikatsiyalar va org. DRdagi tuzilma

Роли: Incident Commander, Tech Lead (Infra), DB Lead, App Lead, Comms, Security.
Kanallar: zaxira (korporativ domendan tashqari), ovoz/chat, SecureDocs.
Xabar namunalari: mijozlar/sheriklar/regulyatorlarga; apdeytlarning chastotasi; yagona «haqiqat manbai».
Yagona voqealar jurnali: taymline, echimlar, egalar.

DNS, tarmoqlar va trafik

Split-brain-himoya: konfiguratsiyadagi «DR-rejimi» bayroqlari; cheklangan funksiya uchun feature-flags.
DNS strategiyasi: oldindan past TTL, mustaqil DNS provayderi; A/AAAA/CNAME bosqichma-bosqich almashtirish, CDNni isitish.
Yo’naltirish: Anycast/Geo, DR-saytdan BGP-anons; ACL/fayrvollar IaC dan qayta yigʻiladi.

DR uchun SLO

RPO vaqtning 99% ≥ rioya qilingan (maqsad doirasida jurnal/inkrementlar).
RTO black-start (to’liq stsenariy) har chorakda bir marta testlarda maqsadli (masalan, 4 soat) ≤.
DR mashqlarining muvaffaqiyati - 100% muhim vazifalar oynada bajarildi.
Immutabellik - Retention/Lock = 100% bo’lgan bekaplar ulushi.
yaxlitligini tekshirish - jadval bo’yicha 100%; tashuvchining nosozligi → migratsiya uchun chipta.

Test va mashqlar

Table-top: stsenariylar, rollar, chek varaqlari, aloqa varaqlari.
Texnik: nazorat summalari va konsistentligini tekshirgan holda DB/fayllarni/sirlarni «qum qutisi» ga tanlab tiklash.
Black-start-drill: bir marta/chorak (yoki bir marta/yarim yil) - DR-saytida yadroning to’liq ishga tushirilishi.
Post-mortem: faktlar, tor joylar, yaxshilash rejasi (SLO/jarayonlar/avtomatlashtirish).

Avtomatlashtirish va artefaktlar

IaC: klasterlar, tarmoqlar, stakanlar - kodda; DR filiallari/parametrlari.
Runbooks: komponentlar bo’yicha (Vault/KMS, etcd, DB, shlyuzlar, frontlar).
DR-paket: asosiy doklarning offlayn nusxasi (kontaktlar, sxemalar, seyf-so’z parollari), jismoniy kirish yo’riqnomalari.
Canary-restore: har kuni kichik restore va checksum taqqoslash.
Tags/teglar: «DR-critical», «Warm-only», «Cold-only» services/jildlar uchun.

Joriy etish chek-varaqasi

• Ma’lumotlar klasslari va ularning RPO/RTOlari biznes bilan kelishilgan; qayta tiklashning ustuvor yo’nalishlari belgilandi.
• Amalga oshirilgan cold-backups: tashuvchilar, immutabellik (WORM/Object Lock), ofsayt/air-gap.
• Kataloglar: aktivlar, bekaplar, kalitlar; chek-summalar va versiyalarni nazorat qilish.
• Black-start protseduralari: tarmoqlar/DNS, IdP/Vault/KMS, nazorat tekisligi, maʼlumotlar, app-qatlam.
• Mashqlar: table-top har chorakda; kanareya restore har kuni; black-start bir/chorak-yarim yil.
• Kommunikatsiyalar va tartibga soluvchi shablonlar; alohida aloqa kanallari.
• DR uchun SLO/metriklar/alertlar; rahbariyatga hisobotlar.
• Provayderlar bilan kelishuvlar (lentalar/arxiv-sinflar/DNS/CDN), SLA tasdiqlangan.
• Moliya: manbalar/arxiv budjeti, logistika, manbalarni muddati bo’yicha almashtirish.

Tipik xatolar

Mantiqiy xato/shifrlovchi hamma joyga boradi.
Barcha nusxalarning imutabellik/air-gap → yagona buzish vektori mavjud emas.
Katalog/chek summalari yo’qligi → «biror narsa» ni tikladi, lekin unday emas.
TTL DNS juda katta → koʻp kunlik trafik migratsiyasi.
Key/KMS shu domen/akkauntda → hodisa yuz berganda ulanishni blokirovka qilish.
Faqat «qog’ozda» o’quv mashqlari tasdiqlanmagan → RTO/RPO.

iGaming/fintech uchun o’ziga xos

Hamyon/to’lov yadrosi: qat’iy RPO (≤ 1-5 daqiqa) va RTO (≤ 15-60 daqiqa); WORM bilan obyektga jurnallar; DR-funksiyasi shaffof aloqa uchun «read-only balans».
PSP/kontent provayderlari: oldindan kelishilgan DR-IP/domen, whitelists, sertifikatlar, HMAC/mTLS kalitlari - DR-paketdagi nusxalar.
Hisobot/regulyatorlar: bildirishnomalar shablonlari, o’zgarmas arxivlar, isbotlanadigan yaxlitlik, harakatlar jurnali.
Piki va eventlar: DR-tayyorlik yirik turnirlar/aksiyalargacha tekshiriladi; kanar restore va CDN isitish.

Mini runbook namunalari

1. DR klasterini ishga tushirish, unseal (dual-control) kalitlarini yuklash.

2. Storage-backup (cold-copy) ni tiklash.

3. Siyosatni tekshirish, CI/CD/K8s uchun bootstrap-sirlarni berish.

1. Boʻsh instansiyani ochish, full’ni cold’dan tiklash.

2. Maqsadli vaqtgacha WAL-jurnallar (inkrementlar) qo’yish.

3. Konsistentsiyani tekshirish, replikatsiyani yoqish, read-only, keyin read-write ni ochish.

1. TTLni rejali tavakkalchiliklargacha 24-72 soat oldin pasaytirish (yoki doimiy ravishda past ushlab turish).

2. Chek varaqasi boʻyicha A/AAAA/CNAME almashtirish, xato/latentlik monitoringi.

3. Trafikning asta-sekin o’sishi (kanareyka 5% → 25% → 100%).

Jami

cold-backups asosidagi ishonchli DR - bu immunutable izolyatsiya qilingan nusxalar, rasmiylashtirilgan black-start-protseduralar, aniq RPO/RTO, muntazam mashqlar, puxta o’ylangan DNS/tarmoq strategiyasi va kalitlar intizomi. Hamma narsani IaC va runbook’larga yozib oling, yaxlitlik tekshiruvlarini va kanar tiklashni avtomatlashtiring - va siz har doim eng yomon stsenariydan keyin ham qayta tiklash uchun nazorat qilinadigan yo’lga ega bo’lasiz.