Сенарияҳои барқарорсозии офатҳои табиӣ

1) Чаро DR лозим аст ва ҳадаф чист

Барқарорсозии офатҳои табиӣ (DR) маҷмӯи меъморӣ, равандҳо ва омӯзиш барои барқарорсозии хидматҳо пас аз офатҳои табиӣ (нокомии маркази/минтақа, талафоти маълумот, хатогиҳои конфигуратсияи оммавӣ) мебошад. Ҳадафи DR ин қонеъ кардани ҳадафҳои RTO/RPO бо арзиши назоратшаванда ва хавф ҳангоми нигоҳ доштани эътимоди муштариён ва риояи танзим мебошад.

Ҳадафи вақти барқароршавӣ (RTO) - Вақти истироҳат.
Ҳадафи нуқтаи барқарорсозӣ (RPO) - талафоти имконпазири маълумот (вақт аз нуқтаи охирини пайваста).
RLO (Ҳадафи сатҳи барқарорсозӣ): сатҳи функсияе, ки бояд аввал баргардад (ҳадди аққали хидматрасонӣ).

2) Таснифи системаҳо аз рӯи танқид

Сатҳи 0 (ҳаётан муҳим): пардохтҳо, воридшавӣ, KYC, амалиётҳои асосӣ - RTO ≤ 15 дақиқа, RPO ≤ 1-5 дақиқа.
Сатҳи 1 (баланд): панелҳои амалиётӣ, ҳисоботҳои D-1 - RTO ≤ 1 соат, RPO ≤ 15-60 дақиқа.
Сатҳи 2 (ба ҳисоби миёна): дафтари бозгашт, таҳлили вақти воқеӣ - RTO ≤ 4-8 соат, RPO ≤ 4-8 соат.
Сатҳи 3 (паст): ёрирасони интиқодӣ - RTO ≤ 24-72 соат, RPO ≤ 24 соат.

Ба ҳар як хидмат дар каталоги хидматҳо Tier + RTO/RPO-и мақсаднокро таъин кунед; қарорҳо ва буҷетҳо бояд бар зидди онҳо тафтиш карда шаванд.

3) Модел ва сенарияҳои таҳдид

Дастӣ: нокомии AZ/минтақа/провайдер, таназзули шабака/DNS, нокомии пойгоҳи додаҳо/анбор, хатои озодкунии оммавӣ.
Омили инсонӣ: конфигуратсияҳои хато/IA, нест кардани маълумот, созишномаи калидӣ.
Табиӣ/берунӣ: сӯхтор/обхезӣ, қатъи нерӯи барқ, басташавии қонунӣ.
Барои ҳар яке - арзёбӣ кардани эҳтимолият/таъсир, истинод ба сенарияи DR ва дафтарчаи бозӣ.

4) Намунаҳои меъмории DR

1. Фаъол-фаъол (бисёр минтақа): Ҳарду минтақа ба ҳаракати нақлиёт хидмат мерасонанд.

Тарафдор: ҳадди аққали RTO/RPO, устувории баланд.
Камбудиҳо: мураккабии маълумот/пайдарҳамӣ, нархи баланд.
Дар куҷо: бори вазнин, бори вазнин, хидматҳои бешаҳрвандӣ, ДБ-и бисёрсоҳавӣ (қоидаҳои қатъии низоъ).

2. Фаъол-ғайрифаъол (Hot Standby): Пассиви гарм нусхаи комилан тафсон дорад.

RTO: дақиқаҳо; RPO: Дақиқаҳо. Нокомӣ ва такрори худкорро талаб мекунад.

3. Интизории гарм: як қисми захираҳо гарм карда мешаванд ва дар ҳолати садама миқёс мегиранд.

RTO: даҳҳо дақиқа; RPO: 15-60 дақиқа. Сарфакорона, аммо дарозтар.

4. Нури пилотӣ: ҳадди аққали "шарора" (метамаълумот/тасвирҳо/скриптҳо) + паҳншавии зуд.

RTO: соатҳо; RPO: соатҳо. Арзон, барои сатҳи 2-3 мувофиқ аст.

5. Нусхабардорӣ ва барқарорсозӣ: нусхаҳои эҳтиётии офлайнӣ + гармкунии дастӣ.

RTO/RPO: соатҳо/рӯз. Танҳо барои танқиди паст ва бойгонӣ.

5) Маълумот ва пайдарҳамӣ

• Синхронӣ - қариб сифр RPO, аммо) latentnost/stoimost.
• Асинхронӣ - иҷрои беҳтар, RPO> 0 (думи гузоришҳо).
• Мувофиқат: Моделро интихоб кунед (қавӣ/оқибат/сабабӣ). Барои пардохтҳо - ба таври қатъӣ, барои таҳлил - оқибат.
• Суратҳо: Нуқтаҳои пайваста + гузоришҳои мағозаро эҷод кунед (WAL/redo).
• Амалиётҳои байниминтақавӣ: аз 2PC дурӣ ҷӯед; амалиётҳои idempotent, deli-and-repeat (дубора бо такрорӣ), манбаи чорабиниҳо истифода баред.
• Навбатҳо/автобусҳо: нусхабардорӣ/оина, DLQ, фармоиш ва номутобиқатии истеъмолкунандагон.

6) Шабака, трафик ва DNS

GSLB/Anycast/DNS: сиёсати нокомӣ/нокомӣ, TTL-и паст (вале на он қадар зиёд), санҷиши саломатӣ аз якчанд минтақаҳо.
Масири L7: харитаҳои минтақавӣ, парчамҳои таназзул (маҳдудияти функсия).
Истинодҳои хусусӣ/VPN: каналҳои эҳтиётӣ ба провайдерҳо (PSP/KYC/CDN).
Маҳдудияти меъёрҳо: муҳофизати тӯфон ҳангоми барқароршавӣ.

7) Давлатманд ва бешаҳрвандӣ

Шаҳрвандӣ бо скрипт/автоскале сурат мегирад; давлатдорӣ стратегияи пайгиронаи маълумотро талаб мекунад (нусхабардорӣ, лаҳзаҳо, таблиғи нусхабардорӣ, кворум).
Кэш/сессияҳо: берунӣ (Redis/Memcached) бо такрори минтақа ё дубора насл аз рӯи гузоришҳо; ҷаласаҳоро дар токенҳо (JWT) ё анбори муштарак баргузор кунед.

8) DR триггер ва автоматизатсия

Гардельҳои SLO ва пробҳои кворумӣ → дафтарчаи автоматии ноком дар минтақа.
Тағйир додани ҳолати садама: блоки релизҳо/муҳоҷирати номарбут.
Инфраструктура ҳамчун Кодекс: ҷойгиркунии зуҳуроти мустақил, санҷиши дрифт.
Пешбурди нақш: таблиғи автоматии нусхабардории DB + нависандагон/либосҳои асрори.

9) Иртибот ва мувофиқат

Хонаи ҷанг: IC/TL/Comms/Scribe; Фосилаҳои навсозии SEV.
Саҳифаи вазъ: ҷуғрофияи таъсир, ETA, роҳҳои корӣ.
Танзим: мӯҳлати огоҳӣ, амнияти маълумот, нигоҳдории тағйирнопазири далелҳо.
Шарикон/провайдерҳо: алоқаҳои тасдиқшуда, канали махсус.

10) Санҷишҳо ва машқҳои DR

Планшет: Муҳокимаи сенария ва роҳҳои ҳалли.
Рӯзи бозӣ (марҳила/prod-light): моделиронии нокомии AZ/минтақаҳо, қатъ кардани провайдер, барқароркунии DNS.
Барқарор кардани озмоишҳо: давра ба давра нусхаҳои эҳтиётиро дар алоҳидагӣ барқарор кунед ва якпорчагиро тасдиқ кунед.
Тазриқи бесарусомонӣ/нокомӣ: нокомии шабака/гиреҳ/вобастагӣ.
Машқи KPI: RTO/RPO, камбудиҳои дафтарчаи бозӣ, CAPA.

11) Интихоби молия ва стратегия (FIN Ops)

Барои кам шудани RPO/RTO $ ҳисоб кунед: ҳадафҳо камтар бошанд, каналҳо, литсензияҳо, захираҳо гаронтаранд.
Гибрид: Сатҳи 0 - фаъол-фаъол/гарм; Зинаи 1 - гарм; Сатҳи 2-3 - пилот/нусхабардорӣ.
Маълумоти гарон: қабатҳои хунукро истифода баред (бойгонӣ/S3/GLACIER), лаҳзаҳои афзоянда, такроршавӣ.
Баррасии даврии хароҷоти DR-infra ва шаҳодатномаҳо/литсензияҳо.

12) Нишондиҳандаҳои камолоти DR

RTO (воқеӣ) ва RPO (воқеӣ) барои ҳар як сатҳ.
Фарогирии DR:% хидматҳо бо скрипт/дафтарчаи/санҷиши тарроҳишуда.
Муваффақияти эҳтиётӣ ва барқарор кардани муваффақият: Муваффақияти ҳаррӯзаи нусхабардорӣ ва барқароркунии собитшуда.
Вақти эълони офатҳои табиӣ: Суръати тасмими нокомӣ.
Вақти нокомӣ ба топологияи муқаррарӣ бармегардад.
Машқҳои сатҳи норасоӣ: камбудиҳо/таълимоти ёфтшуда.
Мукаммалии далелҳои мутобиқат.

13) Рӯйхати санҷишҳо

Пеш аз татбиқи DR

• Феҳристи хидматҳо Сатҳи, RTO/RPO, вобастагӣ ва соҳибонро дар бар мегирад.
• Намунаи интихобшуда (AA/AP/WS/PL/BR) аз рӯи сатҳ ва буҷа.
• Созишномаҳои такрорӣ ва такрорӣ ҳуҷҷатгузорӣ карда мешаванд.
• GSLB/DNS/масир ва санҷишҳои тиббӣ танзим ва санҷида шудаанд.
• Нусхаҳои эҳтиётӣ, лаҳзаҳо, гузоришҳои тағирёбанда - фаъол, барои барқарорсозӣ тафтиш карда мешаванд.
• Китобҳои бозикунии DR ва тамосҳои провайдер наванд.

Ҳангоми садама (мухтасар)

• SEV-ро эълон кунед ва ҳуҷраи ҷангӣ ҷамъ кунед; релизҳоро ях кунед.
• Кворуми зондҳоро санҷед; таъсир/ҷуғрофияро сабт кунед.
• Иҷрои дафтарчаи нокомӣ: трафик, пешбурди DB, навбатҳо, кэш.
• Фаъол кардани таназзул-UX/маҳдудиятҳо; навсозиҳоро дар SLA нашр кунед.
• Ҷамъоварии далелҳо (ҷадвал, графикҳо, гузоришҳо, фармонҳо).

Пас аз садама

• SLO-и фосилаҳои N-ро риоя кунед; иҷро нокомӣ тавре ки ба нақша гирифта шудааст.
• Гузаронидани AAR/RCA; барориши CAPA.
• Навсозии китобҳои бозӣ, катализаторҳои ҳушдор, ҳолатҳои санҷиши DR.
• Ҳисобот ба ҷонибҳои манфиатдор/танзимгарон (агар лозим бошад).

14) Қолибҳо

14. 1 Корти скрипти DR (мисол)

ID: DR-REGION-FAILOVER-01
Scope: prod EU ↔ prod US
Tier: 0 (Payments, Auth)
Targets: RTO ≤ 15m, RPO ≤ 5m
Trigger: quorum(probes EU, US) + burn-rate breach + provider status=red
Actions:
- Traffic: GSLB shift EU→US (25→50→100% with green SLIs)
- DB: promote US-replica to primary; re-point writers; freeze schema changes
- MQ: mirror switch; drain EU DLQ; idempotent reprocess
- Cache: invalidate region-specific keys; warm critical sets
- Features: enable degrade_payments_ux
- Comms: status page update q=15m; partners notify
Guardrails: payment_success ≥ 98%, p95 ≤ 300ms
Rollback/Failback: EU green 60m → 25→50→100% with guardrails
Owners: IC @platform, DB @data, Network @netops, Comms @support

14. 2 Китоби корӣ "Пешбурди пойгоҳи додаҳои нусхабардорӣ" (фрагмент)

1) Freeze writes; verify WAL applied (lag ≤ 30s)
2) Promote replica; update cluster VIP / writer endpoint
3) Rotate app secrets/endpoints via remote config
4) Validate: read/write checks, consistency, replication restart to new secondary
5) Lift freeze, monitor errors p95/5xx for 30m

14. 3 Нақшаи машқҳои DR (мухтасар)

Purpose: to check RTO/RPO Tier 0 in case of EU failure
Scenario: EU incoming LB down + 60s replication delay
Success criteria: 100% traffic in US ≤ 12m; RPO ≤ 5m; SLI green 30m
Artifacts: switching logs, SLI graphs, step times, command output

15) Анти-намунаҳо

"Нусхаҳои эҳтиётӣ" бидуни санҷишҳои мунтазами барқарорсозӣ мавҷуданд.
Асрҳо/нуқтаҳои ниҳоӣ ба таври худкор иваз карда намешаванд.
Амалиёти такрорӣ/гумшуда оид ба бозсозӣ мавҷуд нест.
Конфигуратсияҳои якхела барои минтақаҳо бе парчамҳои хусусияти таназзул.
Муддати тӯлонӣ аз тарси "ҳушдори бардурӯғ" эълон кунед.
Провайдерҳои монорегионалӣ (PSP/KYC) бидуни алтернатива.
Нақшаи нокомӣ вуҷуд надорад - мо дар топологияи фавқулодда "то абад" зиндагӣ мекунем.

16) Харитаи роҳсозӣ (6-10 ҳафта)

1. Нед. 1-2: таснифи хидматҳо аз ҷониби Tier, муқаррар кардани ҳадафи RTO/RPO, интихоби намунаҳои DR.
2. Нед. 3-4: муқаррар кардани нусхабардорӣ/нусхабардорӣ, GSLB/DNS, тартиби таблиғот; китобҳои бозӣ ва китобчаҳо 'ва.
3. Нед. 5-6: машқҳои аввалини DR (планшет → марҳила), андозагирии ченакҳо ва CAPA.
4. Нед. 7-8: Машқи маҳдудкунандаи ҳаракати нақлиёт Prod-Light; автоматикунонии ноком.
5. Нед. 9-10: оптимизатсияи хароҷот (FIN), интиқоли сатҳи 0 ба гарм/АА, қоидаҳои семоҳаи машқ ва ҳисобот.

17) Сатри поён

Самараноки DR на танҳо дар бораи нусхабардорӣ аст. Инҳо меъмории пайваста, автоматизатсияи нокомӣ/нокомӣ, интизоми маълумот (idempotency/replication), омӯзиш ва иртиботи шаффоф мебошанд. Вақте ки RTO/RPO воқеӣ мебошанд, китобҳои бозӣ таҳия карда мешаванд ва машқҳо мунтазам сурат мегиранд, офатҳои табиӣ ба як ҳодисаи назоратшаванда табдил меёбанд, ки пас аз он хидматҳо зуд ва пешакӣ ба ҳолати муқаррарӣ бармегарданд.