DR-стратегиялары жана RTO/RPO

1) Негизги принциптер

1. Максаттар каражаттан эрте. Адегенде RTO/RPO жана критикалык сценарийлерди түзөбүз, андан кийин технологияны тандайбыз.
2. Маанилүү сегменттөө. Бардык кызматтар "алтын" талап кылбайт; бизнес-сын боюнча бөлүшөт.
3. Берилиштер - DR. ядросу. Консистенттүүлүк, репликация, бузулууну аныктоо жана калыбына келтирүү чекити "темирден" маанилүү.
4. Автоматташтыруу жана текшерүү. DR IaC жок маанисиз, калыбына келтирүү жана телеметрия регресс тесттер.
5. Машыгуулар жана далилдер. Үзгүлтүксүз "оюн күнү" жок план - даярдыктын иллюзиясы.
6. Коопсуздук жана комплаенс. Шифрлөө, изоляция, WORM/immutable-backup, DPA/юрисдикция.

2) Терминдер жана шайкештиги

RTO - окуя болгон учурдан тартып "нормалдуу" кызматын калыбына келтиргенге чейинки убакыт.
RPO - калыбына келтирүү боюнча акыркы дени сак маалымат чекити "жашы".
RLO (Recovery Level Objective) - калыбына келтирүүгө милдеттүү болгон функционалдык деңгээл (минималдуу жашоого жөндөмдүү кызмат).
MTD (Maximum Tolerable Downtime) - бизнес алгылыксыз зыян алып келген босого.
RTA/RPA (Actual) - практикалык иш жүзүндө убакыт/калыбына келтирүү пункту.

Байланыш: RTO ≤ MTD; RPA ≤ RPO. Максаттар менен фактынын ортосундагы ажырым - постмортемиянын жана жакшыртуунун предмети.

3) DR-стратегиялар класстары (даярдык деңгээл)

Деңгээл	Сүрөттөө	Типтүү RTO/RPO	Баасы	Колдонуу
Backup/Restore	Гана backaps жана айлана-чөйрөнүн образы	RTO: саат-күн, RPO: саат	$	Критикалык эмес системалар, отчеттуулук
Pilot Light	"Spark": минималдуу стек көтөрүлдү, маалыматтар репликацияланууда	RTO: ондогон мүнөт-саат, RPO: мүнөт-саат	$$	Орточо критикалык, үнөмдөө
Warm Standby	Жылуу стенд: дээрлик даяр, төмөн жүк	RTO: мүнөт- <саат, RPO: мүнөт	$$$	B2C ядро, төлөм шлюзы
Active/Passive	Толук пассивдүү клон, автоматтык Feylover	RTO: мүнөт, RPO: секунд-мүнөт	$$$$	Миссия-критикалык API
Active/Active	Эки сайттар	RTO ≈ 0, RPO ≈ 0-сек. $$$$$	Extreme SLO, Global Products

💡 Эреже: бизнес тобокелдигине туура келген минималдуу жетиштүү деңгээлди тандаңыз.

4) Өзүбүздү коргогон сценарийлер

аймакты жоготуу/булут/маалымат борбору (электрик, тармак, провайдер).
Маалыматтар жемкорлук/оператор ката (алып салуу, "сынган" репликалар, логикалык зыян).
Зыяндуу программалык камсыздоо/шифрлөөчү (ransomware).
Релиз/конфигурация кемчилиги (массалык чыгуу).
Көз карандылыктын кулашы (KMS, DNS, сырлар, төлөм провайдери).
Юридикалык окуялар (бөгөт коюу, юрисдикциядан маалыматтарды алып чыгууга тыюу салуу).

Ар бир скрипт үчүн RTO/RPO, DR деңгээл, playbook, жоопкерчиликтүү.

5) Маалымат стратегиялары (RPO ачкычы)

5. 1 Backaps

Толук + инкременталдык + транзакция журналдары (DD үчүн).
Immutable/WORM сактоо жана оффлайн көчүрмөлөрү ("air-gapped").
Метаданалар жана крипто кол тамгалар менен backup каталогу; график боюнча тесттик калыбына келтирүү.

5. 2 Репликация

Синхрондуу (төмөн RPO, ↑ жашыруун, бузулуунун жайылуу коркунучу).
Асинхрондук (төмөн таасири, RPO> 0; зыян детектору менен айкалыштыруу).
CDC (Change Data Capture) агымынын репликация жана калыбына келтирүү үчүн.

5. 3 Логикалык бузулуудан коргоо

Версиялоо/" убакыт чекити" (PITR) ≥ N күн терезеси менен.
Инварианттардын белгилери (баланстар, суммалар, чексуммалар) - "сынган" маалыматтардын алгачкы деталы.
"Жай" репликациялоо каналдары (delay 15-60 мин) тез бузулууга каршы буфер катары.

Калыбына келтирүү чекитин тандоо эскизи:

python def pick_restore_point(pitr, anomaly_signals, max_age):
healthy = [p for p in pitr if not anomaly_signals. after(p. time)]
return max(healthy, key=lambda p: p. time if now()-p. time <= max_age else -1)

6) Колдонмо, абалы, кэш

Statetless катмары - ар кандай аймакта масштабдуу жана кайра (сүрөт/чарт/манифесттер Git).
Абалы (DD/кэш/кью): чындык булагы - DD бири; кэштер жана индекстер кайра өндүрүлөт.
Демпотенттик жана re-drive - окуяларды кайра жеткирүү алгылыктуу; outbox/inbox, дедуп жана версияларын колдонуңуз.

7) Тармак жана кирүү чекити

GSLB/DNS-Feylover: latency/health-based, кыска TTL кырсык терезеде.
Anycast/L7-прокси: бирдиктүү IP, региондук ден соолук багыттоо.
Аймактык домендер жана юрисдикция саясаты (PII үчүн geo-pinning).
Feylover күбөлүк/KMS: запастык чынжыр, эки-негизги.

Фейловердин псевдокоду:

python if slo_breach("region-a") or health("region-a")==down:
route. shift(traffic, from_="region-a", to="region-b", step=20) # канарим enable_readonly_if_needed()

8) Иштетүү модели жана автоматташтыруу

IaC/GitOps: экинчи аймактын инфраструктурасы = код, "бир буттуу" жайгаштыруу.
Policy as Code: Gate "эч кандай DR-манифесттер/backaps/alerts - эч кандай релиз".
Runbooks: этап-этабы менен көрсөтмөлөр жана "кызыл баскычы", эки аймакта бирдей.
Secrets: кыска өмүр сүрүүчү кред, OIDC Киргизия, компромисс/чакыртып алуу планы.

Gate (идея):

rego package dr deny["Missing PITR ≥ 7d"] {
input. db. pitr_window_days < 7
}
deny["No restore test in 30d"] {
now() - input. db. last_restore_test > 3024h
}

9) Машыгуулар жана тесттер (Оюн күндөрү)

Сценарий таблицасы: DD жоготуу, "сынган" маалыматтар, KMS иштебей калуу, аймактын кулашы, күтүлбөгөн жерден egress-лимит.
жыштыгы: чейрек миссиясы үчүн критикалык; жарым жылда бир жолу - калгандары үчүн.
Машыгуу көрсөткүчтөрү: RTA/RPA vs максаттары, автоматтык кадамдардын үлүшү, кол менен кийлигишүүлөрдүн саны, playbook каталары.
Chaos-smoke релиздерде: көз карандылыктын бузулушу DR жолдорун "бузбашы" керек.

Мини-машыгуунун мисалы:


T0: cut off the primary database (firewall drop)
T + 2m: GSLB shift 20% of traffic, then 100% at SLO_ok
T + 6m: checking business invariants and lag replication
T + 10m: post-drill: fixing RTA/RPA, playbook improvements

10) Playbook (канондук шаблон)

yaml playbook: "dr-failover-region-a-to-b"
owner: "platform-sre"
rto: "15m"
rpo: "5m"
triggers:
- "health(region-a)==down"
- "slo_breach(payments)"
prechecks:
- "backup_catalog ok; last_restore_test < 30d"
- "pitr_window >= 7d"
steps:
- "Announce incident; open war-room; assign IC"
- "Freeze writes in region-a (flag write_readonly)"
- "Promote db-b to primary; verify replication stopped cleanly"
- "Shift GSLB 20%→50%→100%; monitor p95/error"
- "Enable compensations and re-drive queues"
validation:
- "Business invariants (balances, duplicate_checks)"
- "Synthetic tests green; dashboards stable 30m"
rollback:
- "If db-b unhealthy: revert traffic; engage restore from PITR T-Δ"
comms:
- "Status updates each 15m; external note if SEV1"

11) DR байкоо көрсөткүчтөрү

Replica lag (сек.), RPO-drift (максаттуу жана иш жүзүндөгү RPO ортосундагы айырма).
Калыбына келтирүү SLI: айлана-чөйрөгө муздак/жылуу калыбына келтирүү убактысы.
Coverage:% playbook/backaps/PITR ≥ N күн менен кызмат.
Drill score: автоматтык кадамдардын үлүшү, RTA бөлүштүрүү, ката жыштыгы.
Иммундук жөндөмдүүлүгү: WORM/air-gapped-жылы backaps%.
Event Metrics: Feylover кийин кезек узундугу/re-диск ылдамдыгы.

12) Наркы жана компромисстер

CapEx/OpEx: жылуу стенд арзан Active/Active, бирок Pilot Light кымбат.
Egress: аймактар аралык/булут аралык репликация акча турат; кэш/компрессия/жергиликтүү агрегаттар.
RTO/RPO vs $: ар бир "тогуз" жеткиликтүүлүк жана секундалык RPO бир нече эсе кымбат - бизнес менен макулдашуу.
Жашыл терезелер: batch-репликация - арзан/" жашыл "саат.

13) Коопсуздук жана комплаенс

"Тынч" жана "транзитте" шифрлөө, аймактар боюнча өзүнчө KMS домендери.
Immutable-backup, ransomware коргоо: "3-2-1" (3 көчүрмөсү, 2 медиа, 1 offline), MFA-delete.
Юрисдикциялар: PII үчүн geo-pinning, backaps локализациясы, TTLдин үстүндөгү мыйзамдуу кармоо.
Time Access: DR иштери үчүн убактылуу ролдору, аудит журналы.

14) Анти-үлгүлөрү

"Планды кийинчерээк жазабыз" - DR машыгуусуз.
Логикалык бузулуудан корголбостон репликация - жаңылыштыкты көбөйтөт.
Бир аймак KMS/сырлар - мүмкүн эмес Failover.
үзгүлтүксүз калыбына жок Backaps - "Шредингер" DR.
Региондор ортосундагы тыгыз байланышкан синхрондуу транзакциялар - каскаддык латенттүүлүк/төмөндөө.
Эч кандай артыкчылык: бардык үчүн бирдей DR-деңгээл (кымбат жана пайдасыз).

15) Архитектордун чек тизмеси

1. Кызмат көрсөтүүлөр жана сценарийлер боюнча RTO/RPO/RLO аныкталдыбы?
2. Классификацияланган маалыматтар: чындык булагы, PITR/терезе, WORM/immutable?
3. Тандалган DR деңгээл (Backup/калыбына келтирүү, Pilot, Warm, A/P, A/A) per-кызматы?
4. Тармак: GSLB/Anycast, сертификаттар/запастагы ачкычтар, "read-only" желектери?
5. Колдонмо: демпотенттик, outbox/inbox, компенсациялык транзакциялар?
6. IaC/GitOps/Policy as Code: экинчи аймактын жайылышы үчүн бир чыкылдатуу?
7. Машыгуулар: расписание, KPI RTA/RPA, пост-окутуу иш-аракеттери?
8. Мониторинг: lag, RPO-drift, калыбына келтирүү-SLI, бургулоо-score, иммутable backaps?
9. Коопсуздук/комплаенс: KMS домендери, юрисдикциялары, мыйзамдуу Hold?
10. Баасы: бюджет egress, "жашыл" терезелер, экономикалык жактан негизделген деңгээл?

16) Mini Recipes жана эскиздер

16. 1 Postgres үчүн PITR (идея):

bash base backup daily + WAL archive pg_basebackup -D/backups/base/$ (date +% F)
archive_command='aws s3 cp %p s3://bucket/wal/%f --sse'
restore pg_restore --time "2025-10-31 13:21:00Z"...

16. 2 Логикалык бузулуудан коргоо (кечигип реплика):

yaml replication:
mode: async apply_delay: "30m" # window to roll back on corruption

16. 3 Traffic которуу (psevdo-API GSLB):

bash gslb set-weight api. example. com region-a 0 gslb set-weight api. example. com region-b 100

16. 4 Фейловерден кийин инварианттарды текшерүү (псевдокод):

python assert total_balance(all_accounts) == snapshot_total assert no_duplicates(events_since(t_failover))

Корутунду

DR - бул техникалык жана уюштуруучулук чечимдерди зыян өсүп караганда тезирээк кабыл алуу жөндөмү. реалдуу RTO/RPO аныктоо, жетиштүү даярдыгын тандоо, түзүмү жана текшерүү автоматташтыруу, үзгүлтүксүз окутуу жана иш жүзүндө RTA/RPA өлчөө. Ошондо кырсык кырсыкка эмес, башкарылуучу окуяга айланат.

DR-стратегиялары жана RTO/RPO

Корутунду

Биз менен байланышыңыз

Ыкчам байланыш

Видео жакында жаңыртылат

Азыр биз долбоорлор менен абдан алекпиз