Бизнестің үздіксіздік жоспары

1) Мақсаты, саласы және қағидаттары

Мақсаты: iркiлiстер кезiнде сындарлы сервистердi (депозиттер, ставкалар/ойындар, қорытындылар, KYC/AML, саппорт) жалғастыруды және лицензиялар мен шарттарды бұзбай тез қалпына келтiрудi қамтамасыз ету.
Саласы: онлайн платформа, төлем контуры, антифрод/АКҚ, DWH/BI, саппорт, операциялық және заңды функциялар, негізгі вендорлар (PSP/KYC/бұлт/CDN/студиялар/агрегаторлар).
Қағидаттары: safety first, ойыншы ең алдымен реттеушілік дұрыстығы, RTO/RPO-ны барынша азайту, қарапайым тозу режимдері, дәлелденушілік және тұрақты жаттығулар.

2) BIA - бизнеске әсерін талдау

Күрделі процестерді, кірістерді/шығуларды, тәуелділіктерді, «қол» баламаларын және мақсатты RTO/RPO анықтаңыз.

yaml process: payouts owner: head_of_payments criticality: tier1 dependencies: [psp1, psp2, bank_api, kyc_service, ledger_db]
rto: "4h"
rpo: "15m"
manual_workaround: "limited manual VIP payments when the PSP is completely unavailable"
max_tolerable_downtime: "8h"
legal_constraints: ["AML/KYC check before payout," "regulatory notification windows"]

3) Сценарийлер/қауіп-қатерлер (Risk → Impact → Response)

Тех: бұлт аймағының құлауы, ДБ істен шығуы, кластердің жоғалуы, DDoS шабуылдары, CDN істен шығуы.
Вендорлар: PSP/KYC деградациясы, ойын агрегаторымен үзіліс, антифрод/санкциялық скринингтің қолжетімсіздігі.
Кибер: есептер/кілттер, ransomware, PII жылыстауы.
Процестер/адамдар: ереуілдер/аурулар, негізгі мамандардың кетуі, босату қатесі.
Гео/форс-мажор: байланысты/энергияны өшіру, әскери/санкциялық тәуекелдер, домендерді/трафикті бұғаттау.

Әрқайсысы үшін: триггерлер, эскалация шегі, бақылау шаралары, сервистің тозуы және коммуникация үлгілері.

4) Орнықтылық және стратегия архитектурасы

Active-active/active-standby өңірлер бойынша; тез көтеру үшін infrastructure as code.
Деградациялық режимдер: read-only витриналар, күрделі емес ойын провайдерлерін ажырату, төлем лимиттері, кейінге қалдырылған кассауттары бар «тек депозиттер» (егер заңды түрде рұқсат етілсе), талдау жиілігінің төмендеуі/ETL.
Traffic management: Anycast CDN, гео-теңгерімдеу, health-checks, canary-маршруттау.
Деректер: PITR-бэкаптар, өзгерістер журналдары, өңіраралық репликация, криптографиялық тұтастық (хэштер/WORM).
Кілттер/құпиялар: тәуелсіз KMS per-region, журналданған «break-glass».
PSP/KYC multi-homing: автоматты фейловер, SLA/жасырындылық бойынша бағыттау.

5) Командалық құрылым (Incident Command System)

Incident Commander (IC) - шешім қабылдаудың бірыңғай нүктесі.
Ops Lead (SRE/Platform) - техникалық тұрақтандыру, фейловер, метрика.
Business Continuity Lead - процестерді/қол рәсімдерін үйлестіру.
Comms Lead - сыртқы/ішкі хабарламалар (ойыншылар, серіктестер, реттеушілер).
Security/DPO - кибер оқиғалар/құпиялылық, реттегіш терезелер.
Payments/KYC Leads - PSP/KYC сценарийлері.
Liaisons: Legal, Support, VIP/CRM, Data/BI.

Ереже: инцидентке бір IC, нақты арналар және шешімдердің логтары.

6) Коммуникация жоспары

Арналар: war-room (чат/көпір), резервтік байланыстар (телефон/радио/альт-мессенджер), PSP/KYC/банктердің алдын ала тексерілген байланыстары.
Сыртқы хабарлар үлгілері: статус-бет, әлеуметтік желілер, email/push; тон - фактілер, мерзімдер, келесі қадамдар.
Реттеушілер мен серіктестер: алдын ала орнатылған мекенжайлар, хабарламалардың SLA; келісілген тұжырымдар.
Ойыншылар: ашық ETA, өтемақылар/бонустар (егер қолданылса), тозу кезеңіне FAQ.

7) Операциялық жоспарлар (Runbooks)

7. 1 Басқа аймаққа фейловер

yaml trigger: "loss of primary availability> = 5m, p95_latency>threshold"
steps:
- IC approves region_failover
- SRE: flip traffic via GSLB to secondary
- Data: verify replication lag < RPO
- Apps: switch env vars/secrets; warm caches
- QA: smoke tests; Business: announce status rollback: "switch-back on 60m stability"

7. 2 PSP деградациясы

yaml trigger: "auth_rate_psp1 < baseline-3σ 15m"
steps:
- Payments: route X%→psp2, include limits
- Comms: banner at the checkout, status page
- Finance: reconciliation plan for T + 0
- Legal: notification log and SLA letter

7. 3 KYC провайдері қол жетімді емес

yaml trigger: "kyc_sla_breach 30m"
steps:
- Risk: time limits of deposits/rates
- Ops: VIP/High-risk manual check
- Comms: KYC Time Increase Notice
- Vendor: escalation, protection switch

8) IT және деректерді қалпына келтіру (DR)

Жүйелердің санаттары: Tier-1 (платформа/төлемдер/АКҚ), Tier-2 (ойындар/талдау), Tier-3 (ішкі).
Көтеру тәртібі: желі → құпия/KMS → БД → кэш → API → фронт/CDN → интеграция → аналитика.
Тұтастығын тексеру: бақылау сомалары, журналдарды/репликацияларды верификациялау, транзакцияларды салыстыру (reconciliation).
DR тестілері: жыл сайын толық (switch-over), тоқсан сайын ішінара; нақты RTO/RPO белгілеу.

9) Адамдар, кеңселер және логистика

Remote-ready: резервтік ноутбуктер/модемдер, SSO/MFA арқылы қатынау, IC үшін «қызыл» қатынау.
Балама орындар: қосалқы офистер/коворкингтер, рұқсаттама тізімдері, эвакуация жағдайына арналған жоспар.
Ауысымды ротациялау: құзыреттілік матрицасы, негізгі рөлдерді қайталау, ауыстыру жоспары.
Күрделі байланыс/энергия провайдерлері: байланыстар, SLA, генераторлар/UPS (егер релевантты болса).

10) Вендорлар және жеткізу тізбегі

Шарттардағы BCP/DR-талаптар: RTO/RPO, міндетті тестілер, аудит құқығы және бірлескен жаттығулар.
Қосалқы процессорлар тізілімі: контактілер, outage жоспарлары, offboarding кезінде деректерді жою/экспорттауды растау.
Tier-1 тоқсан сайынғы ревю: инциденттер, DR-хаттамалар, сертификаттар мәртебесі, SLA.

11) Оқыту, оқу-жаттығу және тестілеу

Tabletop тоқсанына бір рет: PSP/KYC/бұлт/кибер сценарийлер.
Техникалық жаттығулар: DR ішінара/толық; DDoS/CDN ауыстырып қосу; SDK провайдерлерінің «kill-switch».
Коммуникациялық жаттығулар: баспасөз релизі/статус-жаңарту/реттеуші хаттар.
Ретроспективалар: таймлайн, RCA, CAPA, runbooks және BIA жаңарту.

12) Өлшемдер (KPI/KRI)

RTO/RPO факт (Tier-1 бойынша): мақсаттарға сәйкес келеді ≥ 95%.
MTTD/MTTR: төмендеу тренді; MTTR сыни оқиғалар ≤ мақсатты.
Фейловердің табыстылығы: деректерді/тапсырыстарды/ставкаларды жоғалтпастан, ≤ X мин деградация.
Coverage жаттығулары: ≥ 2 толық DR-тест/жыл + 4 tabletop.
Коммуникациялар: бірінші аптаға дейінгі уақыт ≤ 15 мин, саясатқа сәйкес жаңарту жиілігі.
Vendor resilience: 12 ай ішінде расталған DR-тесттері бар Tier-1 үлесі - 100%.

13) RACI (ірілендірілген)

14) Чек парақтары

14. 1 Ready-to-Failover

• IC/вендорлардың/реттеушілердің өзекті контактілері
• Репликация денсаулығы, тұрақты PITR-бэкап
• SDK/вебхуктар үшін «kill-switch» тексерілді
• Тексерілген health-checks бар трафик менеджері (GSLB/CDN)
• Мәртебе/хат үлгілері және жариялау құқықтары
• Runbooks және қатынас (SSO/MFA) ай сайын тексерілді

14. 2 Оқыс оқиға кезінде

• IC тағайындалған, war-room ашылған, шешімдер логының басталуы
• Жіктеу (P1/P2), сценарий таңдау және тозу
• Техникалық әрекеттер (фейловер/лимиттер/өшірулер)
• Алғашқы көпшілік жаңартуы ≤ 15 минут
• SLA бойынша реттеуші/серіктестік хабарламалар
• Постмортем үшін артефактілерді басып алу

14. 3 Оқыс оқиғадан кейін

• RCA және CAPA бар пост-мортем
• Жаңартылған BIA/табалдырықтар/күнделікті процедуралар
• Фикстерді жаттықтыру/ретест, бордқа есеп беру
• Қаржылық/осы салыстыру (reconciliation)

15) Үлгілер (фрагменттер)

15. 1 Сценарий карточкасы

yaml scenario: "Region outage: cloud-eu1"
triggers: ["error_rate>5%", "loss of quorum", "cdn health fail"]
degradation: ["disable live-casino", "payments=psp2 only", "payouts=VIP manual"]
rto_target: "30m"
rpo_target: "15m"
contacts: {cloud: "...", isp: "...", regulator: "..."}
comms_templates: ["status_page_v1", "partner_notice_v2"]

15. 2 Мәртебе бетіне хабарлама

[UTC + 02] We are seeing the degradation of payments through PSP # 1. Transactions are automatically routed through an alternative provider. Player funds are safe. The next update is in 15 minutes.

16) Құжаттар мен нұсқаларды басқару

Репозиторийдегі BCP/Runbooks нұсқасы, change-log, құжат иесі.
Қайта қарау мерзімі (Tier-1 үшін тоқсан сайын), офлайн көшірмелердің қолжетімділігін бақылау.
Оқу-жаттығулардың/инциденттердің артефактілерін және тиімділік метрикаларын сақтау.

17) Енгізудің жол картасы (6-8 апта)

1-2 апталар: BIA және сыни процестер, RTO/RPO мақсаттары, сценарийлер мен иелерінің тізімі.
3-4 апта: тұрақтылық және тозу режимдерінің архитектурасы, runbooks, коммуникациялық үлгілер, байланыстар.
5-6 апта: вендорлармен интеграция (PSP/KYC/бұлт), пилоттық жаттығулар (tabletop + ішінара DR), түзетулер.
7-8 апталар: толық DR-тест (мүмкіндігінше), тоқсандық оқу-жаттығу циклін іске қосу, борт есебі және реттегіш пакет (егер талап етілсе).

18) wiki байланысты бөлімдері

Тәуекелдер тізілімі, Оқиғалар және ағулар, DR/BCP тесттер, TPRM және SLA, ISO 27001/27701, SOC 2, PCI DSS, IGA/RBAC/Least Privilege, Логтар саясаты/WORM - тұрақтылық пен дәлелдеудің бірыңғай контуры үшін.

TL; DR

Тиімді BCP = BIA → RTO/RPO → сценарийлер және деградация → мульти-вендор/мульти-өңір + анық Incident Command, коммуникациялар және жаттығулар. Құжатты тірі ұстаңыз, үнемі тестілеңіз - тіпті үлкен ақау бизнесті тоқтатпайды және лицензияларға соқтырмайды.