Disaster Recovery и cold-backups

Gysgaça gysgaça

DR, uly heläkçilikden soň işewürlik funksiýalaryny dikeltmek ukybydyr. Cold-backups - "iň soňky gorag liniýasy": meýdançanyň doly elektrik togy kesilende ýa-da eglişik edilende dikeldiş üçin amatly üýtgewsiz/izolirlenen nusgalar. Strategiýa RTO/RPO, ulgamlaryň ileri tutulmagy, her ýyl geçirilýän DR-maşklar we berk operasiýa düzgün-nyzamy (kataloglar, açarlar, barlaglar) töwereginde gurulýar.

Adalgalar we maksatlar

RPO (Recovery Point Objective) - iň köp rugsat berilýän maglumat ýitgisi (mysal üçin, 15 minutdan ≤).
RTO (Recovery Time Objective) - iň ýokary dikeldiş wagty (mysal üçin, ≤ 2 sagat).
Gara başlangyç - "noldan" dikeldiş: demir/klaster/syrlar/maglumatlar/DNS.
Air-gap - nusgalaryň fiziki/logiki izolýasiýasy (lenta/öçürilen hasap/oflayn-daşaýjy).
Immutability (WORM) - üýtgewsiz saklamak (Lock/Retention bilen lenta/obýekt).

DR taýýarlyk derejeleri

Cold Site - infrastruktura ýok/doňdurylan; RTO: sagat-gün; iň arzan CAPEX/OPEX.
Warm Site - şablonlar/şekiller/bölekleýin taýýar hyzmatlar; RTO: onlarça minut-sagat.
Hot Site - işjeň sözler; RTO: minut; has gymmat we has kyn.
Gibrid: ýadro → hot/warm, galanlary → cold (işe girizilende ileri tutulýan ugur bilen).

Nirede cold-backups aýrylmaz

Domeniň köpçülikleýin kriptografik zarýady/ylalaşygy.
Maglumatlaryň korrupsiýasy.
Sebitiň/maglumat merkeziniň ýitmegi, fors-major (ýangyn, suw joşmasy).
Artykmaç hasaplardan bilkastlaýyn aýyrmak/sabotaj etmek.

cold-backups topologiýasy

1. Media/Saklaýyş synplary

Lentalar (LTO-8/9): arzan, howa-gap, ýokary kuwwat, yzygiderli elýeterlilik.
Offline-diskler/NAS: "seýf-haltalar", diňe arka/dikeldiş penjiresine birikdirilýär.
Obýektiň arhiw synplary (Glacier-meňzeş): pes saklamak bahasy, has ýokary çykarmak wagty.

2. Ýerleşdirmek

Başga platforma/sebit; başga bir üpjün ediji/hasap; Aýry-aýry açarlar/dolandyryjylar.

3. Immunitet

WORM/Object Lock (Compliance/Governance) we Legal Hold lentalary.

Syýasat 3-2-1-1-0 (cold-a gönükdirilen)

Maglumatlaryň 3 nusgasy (prod + ýerli ätiýaçlyk + ofsaýt).
2 dürli göteriji (disk/lenta/obýekt).
1 offsaýt (başga bir platforma/bulut).
1 üýtgewsiz (WORM/air-gap).
0 barlag ýalňyşlygy (checksum/döwürleýin synag-dikeldiş).

Kataloglar, meta-maglumatlar we bitewilige gözegçilik

Bekap katalogy: näme, haçan, wersiýa, açarlar, çek-summalar, möhlet retenşndir.
Aktiwleriň katalogy: hyzmat → garaşlylyk → tomlar/baketler → ileri tutulýan ugur.
Checksums we manifest faýllary: Ýazmak we dikeltmek üçin barlamak.
Canary-faýllar: Köpçülikleýin habar beriş serişdeleriniň problemalaryny irki ýüze çykarmak üçin yzygiderli dikeldiş.

Şifrlemek we açarlar

Parahatçylykda (lenta/obýekt) we uçuşda (göçürmek) şifrlemek.
KMS/Vault bilen dual-control, esasy açarlar üçin awtonom seýfler, rotasiýa.
Önümler/bellikler/arhiwler üçin aýratyn açarlar (blast-radiusy azaltmak).
DR (talaplar, rollar, magazineurnal) bilen açarlara girmegiň dokumentleşdirilen prosesi.

DR meýilnamasy: ileri tutulýan we yzygiderlilik

1. Identifikasiýa we giriş: IdP (iň az zona), Vault/KMS, tor ýadrosy.

2. Maglumatlar we dolandyryş tekizlikleri: etcd K8s, konfigalar, sekretler, şekilleriň sanawlary, deploýlaryň artefaktlary.

3. Geleşik DB/gapjyk: magazinesurnallar + iň soňky full/incremental.

4. Töleg/integrasiýa şlýuzlary: açarlar, şahadatnamalar, IP/DNS.

5. Web/api frontlary: kanareýanyň işe girizilmegi, obýektiň statiki mazmuny.

6. Seljeriş/hasabat: ýadro tamamlanandan soň.

1. Infrastruktura: tor, DNS/Anycast, IAM ýadro, esasy şekiller/klaster.

2. Syrlar/Şahadatnamalar: Vault/KMS-i cold-backup-dan dikeltmek, bootstrap-syrlary paýlamak.

3. Gözegçilik tekizligi: etcd/Control Plane/registrler/repozitoriýalar.

4. Maglumatlar: cold-backup + PITR-den DB-ni magazinesurnallardan ýaýratmak (RPO boýunça).

5. Programmalar: agaç endiklerini başlamak, keshleri/CDN gyzdyrmak.

6. Synaglar we tassyklamalar: saglyk synaglary, yzygiderlilik, gözegçilik mukdary.

7. Traffigi üýtgetmek: DNS/marşrut/deňagramlylyk (tapgyrlaýyn/kanareik).

8. Post-barlaglar: syzdyrmalaryň/bergileriň ýoklugy, logirleme we DR aktı.

cold-restore amallary (adaty)

Lentalar: inwentar, ýüklemek, paralel akymlar, kartoçkalar → kataloglar → dikeldiş üçin daşlar; gözlemek we täzeden saramak wagtyny hasaba almak.
Arhiw synplary: çykarmak üçin haýyş (minutes → hours), gyzgyn ammarda staging, manifest boýunça dikeldiş.
Offline diskler: read-only birikdirmek, checksum → göçürmek.
Tejribe: dikeldiş üçin izolirlenen "sandyk gutusy", soňra senagat gurşawyna geçirmek.

Aragatnaşyk we org. DR-daky gurluş

Роли: Incident Commander, Tech Lead (Infra), DB Lead, App Lead, Comms, Security.
Kanallar: ätiýaçlyk (korporatiw domen däl), ses/söhbetdeşlik, SecureDocs.
Habar şablonlary: müşderiler/hyzmatdaşlar/düzgünleşdirijiler; täzelenmeleriň ýygylygy; ýeke-täk "hakykat çeşmesi".
Wakalaryň ýeke-täk journalurnaly: wagtlaýyn, çözgütler, eýeler.

DNS, torlar we traffik

Split-brain-gorag: konfigurasiýadaky "DR-re modeim" baýdaklary; çäkli funksiýa üçin feature-flags.
DNS strategiýasy: pes TTL öňünden, garaşsyz DNS üpjün ediji; A/AAAA/CNAME tapgyrlaýyn çalyşmak, CDN gyzdyrmak.
Marşrut: DR-saýtyndan Anycast/Geo, BGP-bildiriş; ACL/feýerwollar IaC-den gaýtadan ýygnalýar.

DR üçin SLO

RPO 99% ≥ berjaý edildi (maksatyň içinde magazinesurnallar/inkrementler).
RTO black-start (doly ssenariýa) her çärýekde bir gezek synaglarda maksatly (mysal üçin 4 sagat) ≤.
DR-maşklaryň üstünligi - möhüm meseleleriň 100% -i penjirede ýerine ýetirildi.
Immutabellik - Retention/Lock = 100% bilen bellikleriň paýy.
Bitewiligiň barlagy - meýilnama boýunça 100%; daşaýjynyň şowsuzlygy → göçmek üçin bilet.

Synaglar we maşklar

Table-top: ssenariler, rollar, çek sahypalary, aragatnaşyk sanawy.
Tehniki: DB/faýllary/syrlary gözegçilik mukdaryny we yzygiderliligini barlamak bilen "sandyk gutusyna" saýlap dikeltmek.
Black-start-drill: bir/çärýek (ýa-da bir/alty aý) - DR-web sahypasynda ýadrosyň doly işe girizilmegi.
Post-mortem: faktlar, päsgelçilikler, gowulaşmalar meýilnamasy (SLO/prosesler/awtomatlaşdyryş).

Awtomatlaşdyryş we artefaktlar

IaC: klasterler, torlar, akymlar - kodda; DR şahalary/parametrleri.
Runbooks: bölekleýin (Vault/KMS, etcd, BD, şlýuzlar, frontlar).
DR-paket: esasy doklaryň oflayn nusgasy (aragatnaşyklar, shemalar, seýf-söz parollary), fiziki elýeterlilik görkezmeleri.
Canary-restore: gündelik kiçijik restore we checksum barlagy.
Bellikler/bellikler: "DR-critical", "Warm-only", "Cold-only" hyzmatlar/jiltler üçin.

Giriş barlagy

• Maglumat synplary we olaryň RPO/RTO-lary işewürlik bilen ylalaşylýar; dikeldmegiň ileri tutulýan ugurlary kesgitlenildi.
• Amala aşyrylan cold-backups: göterijiler, immutability (WORM/Object Lock), offsite/air-gap.
• Kataloglar: aktiwler, bellikler, açarlar; çek-summalar we wersiýalara gözegçilik.
• Gara başlangyç proseduralary: torlar/DNS, IdP/Vault/KMS, gözegçilik tekizligi, maglumatlar, AP gatlagy.
• Maşklar: table-top çärýekde; kanar restoresi her gün; black-start bir/çärýek-alty aý.
• Aragatnaşyk we kadalaşdyryjy şablonlar; aýry-aýry aragatnaşyk kanallary.
• DR üçin SLO/metrikler/alertler; ýolbaşçylara hasabat.
• Üpjün edijiler bilen şertnamalar (lentalar/arhiw synplary/DNS/CDN), SLA tassyklandy.
• Maliýe: daşaýjylaryň/arhiwiň býudjeti, logistika, şertlere görä daşaýjylary çalyşmak.

Adaty ýalňyşlyklar

"Replika bar - ekap gerek däl" → logiki ýalňyşlyk/şifrleýji hemme ýere gider.
Imutability/air-gap → ähli nusgalaryň ýeke-täk wektory.
Kataloglaryň/çek-summalaryň ýoklugy → "bir zat" dikeldildi, ýöne beýle däl.
TTL DNS gaty uludyr → köp günlük trafik göçmegi.
Şol bir domen/hasapdaky/KMS açarlary → waka bolan ýagdaýynda girişi petiklemek.
Diňe "kagyz ýüzünde" → RTO/RPO maşklary tassyklanmady.

iGaming/fintech üçin aýratynlyklar

Gapjyk/töleg özeni: berk RPO (≤ 1-5 minut) we RTO (≤ 15-60 minut); WORM bilen obýektdäki magazinesurnallar; Aç-açan aragatnaşyk üçin "read-only balans" DR funksiýasy.
PSP/mazmun üpjün edijileri: öňünden ylalaşylan DR-IP/domen, whitelists, şahadatnamalar, HMAC/mTLS açarlary - DR-bukjadaky göçürmeler.
Hasabat/düzgünleşdirijiler: habarnamalaryň şablonlary, üýtgemeýän arhiwler, subut edilip bilinjek bitewilik, hereketleriň žurnaly.
Piki we wakalar: DR-taýynlyk iri ýaryşlara/paýnamalara çenli barlanýar; kanar restore we CDN gyzdyrmak.

Kiçi runbook şablonlary

1. DR-klasterini başlamak, unseal (dual-control) açarlaryny ýüklemek.

2. Storage-backup (cold-copy) -ni dikeltmek.

3. Syýasatlary barlamak, CI/CD/K8s üçin bootstrap-syrlary bermek.

1. Boş instansiýany ýaýratmak, cold-dan full-i dikeltmek.

2. Maksat pursatyna çenli WAL-magazinesurnallary (inkrementleri) goýmak.

3. Yzygiderliligi barlamak, köpeltmegi açyň, read-only açyň, soň read-write.

1. TTL-i meýilleşdirilen töwekgelçiliklere çenli 24-72 sagat peseltmek (ýa-da hemişe pes saklamak).

2. Çek sanawynda A/AAAA/CNAME geçiş, ýalňyşlyk/gizlinlik gözegçiligi.

3. Traffigiň kem-kemden ýokarlanmagy (kanareýa 5% → 25% → 100%).

Jemi

Cold-backups esasly ygtybarly DR: immutable izolirlenen nusgalar, resmileşdirilen gara başlangyç proseduralary, aýdyň RPO/RTO, yzygiderli maşklar, oýlanyşykly DNS/tor strategiýasy we açar tertibi. IaC we runbook-larda hemme zady ýazga alyň, bitewilik barlaglaryny we kanar dikeldişini awtomatlaşdyryň - iň erbet ssenariýadan soň hem elmydama gözegçilik edip boljak dikeldiş ýoluňyz bolar.