Backaps & disaster recovery

Backaps & Disaster Recovery

1) Kesgitlemeler we maksatlar

Bekap - soňraky dikeldiş üçin maglumatlaryň/konfigurasiýalaryň ylalaşylan nusgasy (tötänleýin pozulmalardan, bökdençliklerden, kriptolokerlerden, betbagtçylyklardan).
DR (Disaster Recovery) - uly heläkçilikden (ýangyn, sebiti ýitirmek, köpçülikleýin eglişik) soň infrastrukturany/hyzmatlary SLO işçilerine dikeltmek prosesi.
RPO (Recovery Point Objective) - wagt boýunça iň köp rugsat berilýän maglumatlary ýitirmek (mysal üçin, 15 minut).
RTO (Recovery Time Objective) - hyzmaty dikeltmek üçin niýetlenen wagt (mysal üçin, 30 minut).

Esasy ýörelge: köpeltmek ≠ ekap. Replikasiýa ähli nusgalar boýunça ýalňyşlyklary we şifrlemegi çalt "ýuwýar". Bekap - izolirlenen, barlanan, üýtgemeýän nusgasy.

2) Maglumatlaryň klassifikasiýasy we kritikligiň derejesi

• Tier-0 (möhüm): geleşik DB, tölegler, balanslary hasaba almak, syrlar/PKI.
• Tier-1 (möhüm): hyzmatlaryň konfigikleri, nobatlar, CI/CD artefaktlary, konteýnerleriň sanawlary.
• Tier-2 (möhüm): analitika, hasabatlar, ikinji derejeli indeksler, log-arhiwler.
• Tier-3 (kömekçi): keşler, wagtlaýyn maglumatlar (dikeldiş arkaly dikeldilip bilner).

Her synp üçin RPO/RTO-ny, saklanyş möhletini, üýtgewsizlige we ýerleşişe bildirilýän talaplary kesgitläň.

3) Saklamak strategiýalary: düzgün 3-2-1-1-0

Maglumatlaryň 3 nusgasy (prod + 2 ätiýaçlyk).
2 dürli görnüşli daşaýjy/saklaýjy.
1 göçürme offsite (başga sebit/bulut).
1 immutable/air-gap (WORM/Object Lock/Tape).
Dikeldiş barlaglarynda 0 ýalňyşlyk (yzygiderli synaglar).

4) Bellikleriň görnüşleri

Full - doly göçürme. Haýal/gymmat, ýöne ähli strategiýalar üçin esas.
Incremental - iň soňky arka bilen tapawut. Göwrümi boýunça optimal.
Differential - soňky full bilen tapawut. Has çalt dikeldiň, has köp ýer.
Snapshot - jilt/disk (EBS/ZFS/LVM). App-consistent snapshot (quiesce) gerek.
PITR (Point-in-Time Recovery) - takyk wagt/LSN yza gaýdyp gelmek üçin esasy ekap + magazines (WAL/binlog).
Obýektiw/faýl/şekiller - maglumatlaryň anyk görnüşlerine (VM-şekiller, S3-obýektler, DB-dampler).

5) Bekaplaryň utgaşdyrylmagy

Crash-consistent: duýdansyz öçürilenden soň bolşy ýaly - stateless/journalurnallaşdyrylýan FS üçin amatlydyr.
App-consistent: programma amallary "doňdurýar" (fsfreeze/pre-post scripts) → kepillendirilen bitewilik.
BD-yzygiderlilik: Arka guralyň API-si (pgBackRest, XtraBackup), gyzgyn yzyna almak, gözegçilik nokatlaryny doňdurmak.

6) Şifrlemek, açarlar we elýeterlilik

Ähli göçürmeler üçin at-rest we in-transit şifrlemek.
KMS/HSM-de açarlar, syýasat boýunça aýlaw (90/180 gün), daşky gurşaw boýunça aýratyn açarlar.
Borçlaryň bölünmegi: Kim döredýär/aýyrýar ≠ kim olary açyp/okap bilýär.
Şifrlemek açarlaryny maksatly göçürmeler bilen bir ynam domeninde saklamaň.

7) Üýtgewsiz göçürmeler we ransomware-den gorag

Object Lock/WORM (Compliance/Governance) we Legal Hold.
Air-gap: izolirlenen/oflayn ammar (lenta, oflayn bulut/hasap).
"Gijikdirilen işjeňleşdirmek bilen" aýyrmak syýasaty, MFA-Delete, backup-baketler üçin aýratyn hasap, köpçülige elýeterliligi gadagan etmek.
Redaktirlemezden ozal malware/indikatorlary barlamak.

8) Ýygylyk, meýilnama we retenşn

GFS (Grandfather-Father-Son): gündelik inkrementallar, hepdelik full/diff, uzak möhletli saklamak bilen aýlyk full.
RPO ýygylygy we WAL/binlog arhiwlemegi talap edýär (mysal üçin, her 5-15 minutda).
Saklamak: kritiki - ≥ 35-90 gün + aýda 12-36 aý (kanuny talaplar).
Möwsümleýin belentlikler - aýry-aýry gözegçilik nokatlary (paýnamalaryň/goýberilişleriň öň ýanynda).

9) DR modelleri we ssenarileri

Active-Active: iki sebit hem traffige hyzmat edýär. Iň az RTO, maglumatlaryň ýykylmagy berk gapma-garşylyk syýasatyny talap edýär.
Active-Passive (yssy/ýyly): yssy - ýerleşdirilen we sinhronlaşdyrylan (RTO minutlary), yssy - bölekleýin taýýar (RTO sagatlary).
Cold: Göçürmeleri we Terraform/Ansible/şekilleri saklaýarys, haýyş boýunça ýokarlandyrýarys (RTO gün +).
DRaaS: VM/torlaryň/salgylaryň üpjün ediji orkestrasiýasy.

10) Feýloweriň orkestri we dikeldmegiň ileri tutulýan ugurlary

Başlangyç ileri tutulýan ugur: tor/VPN/DNS → syrlar/KMS → bazalar/toplular → nobatlar/kesmek → programmalar → perimetri/CDN → analitika.
Awtomatlaşdyrma: skriptlar/Runbook-hereketler, Terraform/Ansible/Helm/ArgoCD DR-gurşaw profilleri.
Maglumatlar: DB PITR → reindex/replica → warm-keş → shemalaryň gabat geliş baýdaklary bolan hyzmatlary işe girizmek.
DNS/GSLB: TTL-ni öňünden peseltmek, tassyklama bilen geçiş ssenarileri.

11) Dikeldiş synaglary (backup verification)

Programma boýunça dikeldiş synaglary: bellikleriň N% -ini saýlamak, "sandyk gutusynda" ýerleşdirmek, shemalary/üýtgeşmeleri awtomatiki barlamak.
Doly DR-drill (game-day): sebiti öçürmek/AZ, RTO/RPO-ny göni ýaýlymda (ýa-da kölegeli ýaýlymda) barlamak.
Bitewilik synaglary: heş-kataloglar, gözegçilik jemleri, ähli gatlaklary okamaga synanyşmak (full + chain).
Dok-hasabat: wagt, ädimler, anomaliýalar, maksatlardan boşlugyň ululygy, düzedişler.

12) Esasy tehnologiýalar üçin tejribe

Maglumat bazalary

PostgreSQL: base backup + WAL arhiwi (PITR), pgBackRest/Barman gurallary; köpeltmek, gözegçilik 'lsn'.
MySQL/MariaDB: Percona XtraBackup/Enterprise Backup, binlog arhiwlemek.
MongoDB: 'mongodump' logiki göçürme üçin + uly toplumlar üçin snapshot; PITR üçin Oplog.
Redis: RDB/AOF kritiki (Redis diňe bir kesh däl bolsa), ýöne köplenç - çeşmeden logiki rekonstruksiýa + heläkçilikler üçin snapshot.
Kafka/Pulsar: meta-maglumatlaryň yzy (ZK/Kraft/BookKeeper), diskleriň snapshotlary, topikleri/loglary aýnalamak.

Kubernetes

etcd snapshot + Velero (CSI snapshots).
Gizlin bellik/PKI aýratyn (Vault snapshot).
Şekilleriň aýratyn sanawy: artefaktlary saklamak polisleri (immutable tags).

VM we faýl ulgamlary

ZFS: 'zfs snapshot' + 'zfs send | zstd | send-recv' increments, check 'scrub'.
LVM/EBS snapshotlar pre/post skriptleri (app-consistent).
Obýekt ammarlary: Object Lock wersiýalary.

13) Bekaplaryň wersiýalaryny kataloglaşdyrmak we gözegçilik etmek

Katalog (meta-maglumatlaryň kataloglaşdyrylmagy): näme, nirede, haçan, näme edildi, heşler, KMS açary, eýesi, saklanyş möhleti.
Метки/теги: `env=prod|stage`, `system=db|k8s|vm`, `tier=0|1|2`, `retention=35d|1y`.
"Altyn" gözegçilik nokatlary (Gold): göçmelerden öň/DDL/uly göwrümli goýberilişler.

14) Synlamak we metrika

Tabşyryklaryň üstünligi:% üstünlikli/şowsuz, sebäpler.
Arka/dikeldiş wagty, penjiräniň ini.
RPO-faktiki: lag archives magazines (WAL/binlog) p95.
Bitewilik: barlanan zynjyrlaryň paýy, heşleri deňeşdirmegiň ýalňyşlyklary.
Bahasy: synplar boýunça saklanyş mukdary, duplikasiýa/gysyş koeffisiýenti.
DR-taýynlyk: maşklaryň ýygylygy we netijesi (pass/fail).

15) Giriş syýasaty we gabat gelmek

Ekap-saklaýyş üçin aýratyn hasaplar/taslamalar; NaC prinsipi boýunça giriş (prod-hasaplardan aýyrmaga/şifrlemäge ýol bermeýäris).
Giriş/üýtgeşme ýazgylary (audit trail), köpçülikleýin aýyrmak/üýtgetmek üçin töwekgelçilikler retenşndir.
Standartlara laýyklyk: GDPR (aýyrmak hukugy vs arhiwler), PCI DSS (şifrlemek, açarlar, segmentasiýa), ýerli düzgünleşdirijiler.

16) Anti-patternler

"Replika bar - bu ekap gerek däl diýmekdir".
Ýok immutable/air-gap: bir ýalňyşlyk/zyýanly hemme zady ýok edýär.
Şol bir hasapdaky/sebitdäki bellikler.
Dikeldişiňizi hiç haçan barlamaň ("barlanmazdan ozal öli").
Wersiýalary kataloglamak we gözegçilik etmek ýok → heläkçilik wagtynda bulam-bujarlyk.
Ähli gurşaw üçin umumy şifrlemek açarlary.
DB üçin app-consistent re modeimi bolmazdan snapshotlar.
Arka penjire iň ýokary nokatlar bilen kesişýär (p99 we SLO täsir edýär).

17) Giriş çek-sanawy (0-60 gün)

0-10 gün

Ulgamlaryň/maglumatlaryň inventarizasiýasy, kritiklik synplary.
Synplar boýunça RPO/RTO maksatlaryny kesgitlemek.
Tier-0/1 üçin full + incremental, WAL/binlog arhiwini açyň.
Bellikleri ýaýratmak: aýratyn sebit/hasap + KMS şifrlemegi öz içine alyň.

11-30 gün

Möhüm göçürmeler üçin immutable (Object Lock/WORM) gurnama.
Kataloglaşdyrmagy, bellikleri, hasabatlylygy girizmek; alertler we magazinesurnallar.
Ilkinji DR-drill: izolirlenen gurşawda arka tarapdan aýratyn hyzmaty dikeltmek.

31-60 gün

Runbook: Terraform/Ansible/Helm DR profillerini awtomatlaşdyrmak.
Yzygiderli dikeldiş synaglary (hepde/aý) + çärýekleýin doly DR ssenarisi.
Çykdajylary optimizirläň: saklanmagyň duplikasiýasy/gysylmagy/durmuş siklleri.

18) Kämillik ölçegleri

Dikeldiş synaglary: ≥ üçin 1/hepde Tier-0 (saýlama), ≥ 1/aý - doly ssenariýa.
Immutable coverage для Tier-0/1 = 100%.
RPO-hakyky p95 maksatly ≤ (mysal üçin, ≤ 15 min).
Nyşana ≤ DR maşklarynda RTO-faktiki (mysal üçin, 30 minutdan ≤).
Katalog-komplitligi = 100% (her bir ekap beýan edildi we barlandy).
Incident-to-restore: Tapmakdan dikeldişe çenli wagt.

19) Mysallar (snippetler)

bash base backup once a day pgbackrest --stanza = prod --type = full backup archive WAL every 5 minutes pgbackrest --stanza = prod archive-push restore to time pgbackrest --stanza = prod restore --type = time --target =" 2025-11-03 14:00:00 + 02"

bash xtrabackup --backup --target-dir=/backup/full-2025-11-01 xtrabackup --backup --incremental-basedir=/backup/full-2025-11-01 --target-dir=/backup/inc-2025-11-02 xtrabackup --prepare --apply-log-only --target-dir=/backup/full-2025-11-01 xtrabackup --prepare --target-dir=/backup/full-2025-11-01 --incremental-dir=/backup/inc-2025-11-02

yaml apiVersion: velero. io/v1 kind: Backup metadata: { name: prod-daily }
spec:
includedNamespaces: ["prod-"]
ttl: 720h storageLocation: s3-immutable

json
{
"Rules": [{
"ID": "prod-immutable",
"Status": "Enabled",
"NoncurrentVersionExpiration": { "NoncurrentDays": 365 }
}]
}

20) Aragatnaşyk we operasiýa rollary

Incident Commander, Comms Lead, Ops Lead, DB Lead, Security.
Steýkholderler/sazlaýjylar/ulanyjylar üçin habar şablonlary.
Hereketler bilen Post-mortem: nirede minutlary ýitirdiňiz, nirede awtomatlaşdyrmagy gowulaşdyryň.

21) Netijenama

Arkaplaryň we DR-leriň ygtybarly kontury "göçürmek" däl-de, aýlawy: klassifikasiýa → RPO/RTO maksatlary → köp derejeli we immutable nusgalary → awtomatlaşdyrylan runbook 'we → yzygiderli dikeldişler we maşklar. 3-2-1-1-0-a ýapyşyň, replikasiýany belliklerden aýyryň, açarlary şifrläň we izolirläň, resminamalaşdyryň we barlaň. Şonda hatda "gara guş" hem öňünden aýdyp boljak iş wagty we maglumatlaryň iň az ýitmegi bilen dolandyrylýan prosese öwrüler.