Операцияларда командалардын өз ара аракеттенүүсү

1) Эмне үчүн

iGaming платформасы ондогон домендер (Payments, Games/Core, Risk/KYC, Data, Infra/SRE, Support, Compliance). Формалдуу өз ара аракеттенүүсүз MTTR, CFR жана операциялык тобокелдиктер өсөт. Максаты - чачыранды функцияларды бирдиктүү операциялык системага айландыруу: болжолдуу байланыштар, ачык-айкын кезектер, жалпы сигналдар жана макулдашылган артыкчылык.

2) Принциптер

1. SLO-биринчи: биргелешкен чечимдер SLO/ката бюджеттерге байланыштуу.
2. Чындыктын бирдиктүү булагы: жалпы дашборддор, бирдиктүү статустар жана артефакттар.
3. Так чектери жана интерфейстери: командалардын ар бир жуп - сүрөттөлгөн келишим (OLA/Runbook/API).
4. Small Batches жана кайтарымдуулугу: ficheflags/канарея аркылуу өзгөртүү, тез rollback.
5. No blame - yes data: фактылар боюнча талдоо, жакшыртуу - циклдин милдеттүү бөлүгү.
6. Минималдуу зарыл артыкчылыктар жана SoD: сезгич иш үчүн ролдорду бөлүштүрүү.
7. Күнүмдүк тартипти автоматташтырып, калганын стандартташтыргыла.

3) ролдору жана RACI (аркылуу)

Head of Ops/SRE Lead - операциялык алкактын ээси, KPI/KRI. A

Service Owners (Payments/Games/KYC/Data) - домендик максаттар, өзгөрүүлөр, тобокелдик. A/R

Platform/Infra - жеткиликтүүлүк, аткаруу, релиздер/канареялар. R

Risk/Compliance/Security - SoD, RG/KYC/PII, аудиттер. C/A

Support/CRM - даттануулардын фронту, оюнчулар үчүн байланыш. R/C

On-call IC/CL - окуя башкаруу жана тышкы апдейт. R

Release Manager - календар, CAB, өзгөртүү статусу. R

Data/Analytics - азык-түлүк жана операциялык метриктер, RCA колдоосу. R/C

4) өз ара келишимдер (OLA/SLx)

• Жоопкерчилик зоналары: кайсы аймак (мисалы, PSP-роутинг - Payments; кэш/БД - Infra).
• Максаттар/босого көрсөткүчтөр: MTTA окуя, эскалация жооп убактысы, пост-мониторинг терезе.
• Кезектер жана артыкчылыктар: P1-P4, бизнес-критикалык, freeze терезелер.
• Интерфейстер: каналдар, бот буйруктары, API/Runbook, ээлеринин каталогдору.
• Артефакттар: кандай документтер/логилер/дашборддор окуяны коштоп жүрүүгө милдеттүү.

5) Байланыш каналдары жана протоколдору

Операциялык чат (алмаштыруучу): күнүмдүк жаңылыктар, мини-ырым-жырымдар, handover.
Инциденттер боюнча вар-рум: бот тарабынан түзүлгөн; IC/CL ролдору команда тарабынан дайындалат.
CAB/Change каналы: өзгөрүүлөрдү талкуулоо, тобокелдиктер, релиз календары.
Status-канал (read-only): SLO/окуялар/пландаштырылган иш отчеттор.
Эскалация: команда үлгүлөрү '/page ', '/escalate', SLA отчеттуулук.

Бирдиктүү протокол билдирүүлөр: "чындык → таасир → ETA/ETR → кийинки терезе update → ээси".

6) Сменалар менен аймактардын ортосундагы хендоверлер

1. SLO/SLI: кайсы жерде бюджеттин күйүп кетүү коркунучу.

2. Ачык окуялар/эскалация жана алардын ETA.

3. Пландаштырылган иш/кийинки 24-48 саат релиздер.

4. Провайдерлер (PSP/KYC/студиялар): активдүү билеттер, күтүүлөр.

5. On-call курамы жана байланыштар (IC/CL/domains).

6. "Watchlist" - жогорку көңүл зоналары (кезек/репликация/кэш).

Хендовер өзгөрүлмө журналда жазылган, шилтемелер - вар-румдар жана дашбордддорго.

7) Инциденттерде биргелешип иштөө

Старт: алерт → бот '#inc -YYYY-MM-DD-XXX' картасын түзөт, IC/CL жана домен лиддерин дайындайт.
Бир добуш эрежеси: IC - акыркы чечим; CL - байланыш.
Фактылар жана гипотезалар: бөлүү; "кызыл" сигналдар - артыкчылыктуу.
Guardrails: phicheflags/PSP-роутинг гана SoD/dual-control менен runbook аркылуу өзгөрөт.
Communications: CL аркылуу коомдук апдейт долбоорлор, өнөктөштөр - максаттуу.
Жабуу: Post-мониторинг, Post-Мортем түзүү жана ээлери/мөөнөттөрү менен жакшыртуу милдеттери.

8) Өзгөрүүлөр болгондо биргелешип иштөө

Чыгаруу календары: жалпыга жеткиликтүү, freeze-мезгилдери жана on-call уячалары менен.
Гейтс сапаты: unit/contract/e2e, коопсуздук, SLO-гейтс staging.
Kanareicheskiye: кадам сайын 5% → 25% → 100% GEO/Тенанттар/банктар боюнча.
Auto-артка: негизги SLI/KRI саясаты, WORM журналы.
Comm-топтомдор: CL/Legal менен алдын ала макулдашылган апдейт долбоорлор.
RACI өзгөртүүлөр: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).

9) Бирдиктүү телеметрия жана артефакттар

Метриктердин жалпы каталогу: SLI/SLO, бизнес-метрика, KRI (кезек, PSP, репликация).
Дашборд "Операциялар картасы": домендер боюнча кыскача маалымат, региондор, инциденттердин/иштердин статусу.
Таймлайндар: бирдиктүү формат (убакыт, автор, аракет, натыйжа, шилтемелер).
Пост-мортемалар: айыпсыз шаблон, алдын алуу чаралары, текшерүү датасы.
Runbooks/Checklists: versioned; Алерттерден жана инцидент карталарынан шилтеме.

10) Артыкчылыктуу жана пландаштыруу

Жумалык Ops-план (30-45 мин): топ-тобокелдиктерди, релиздерди, лимиттерди, пост-мортемалардан жакшыртууларды макулдашуу.
Kanban бүтүмдөр: мамычалар 'Backlog → Ready → In Progress → Validate → Done', WIP чектери.
Артыкчылыктын критерийлери: SLO/киреше/комплаенс таасири, өлчөмү/кайтарымдуулугу, провайдерлерге көз карандылык.

11) Эскалация матрицасы (кысуу)

12) Саясат жана SoD

SoD/4-eyes: корутундулар/бонустар/роутинг PSP/экспорт PII - эки жактыруу менен гана.
JIT укуктар: Runbook иш-аракеттери үчүн артыкчылыктарды убактылуу күчөтүү.
Маалымат саясаты: ачык каналдарда/дашборддордо PII тыюу салуу; гео-чек.
Аудит: өзгөрүлбөс иш-аракеттер журналы (WORM), саясат текшерүү.

13) Өз ара аракеттенүү инструменттери

Окуя-бот: '/incident new ', ролдору, таймери, комм-долбоорлор, '/runbook', '/flag ', '/config'.
Metrics API: жалпы SLO жана KRI, RCA үчүн exemplars (trace_id).
Release-портал: манифесттер, гейтс, тоголотуу/кайра чыгуу статусу.
Ээлеринин каталогу/CMDB: домендер, байланыштар, резервдик каналдар.

14) Кызматташтык Метрика (KPI/KRI)

MTTA/MTTR домендер жана уячалар боюнча (күнү-түнү), даттануулар чейин кармалган окуялардын үлүшү.
Handover Quality: берүү кемчиликтери (чек тизмеси пункттары, өз убагында жабылган эмес).
Change Collaboration: даяр топтомдор менен бошотуу% жана кайтаруу жок.
Guardrail Discipline: SoD/саясат бузуу жыштыгы (максаты - 0).
Comms Cadence: P1/P2 коомдук тактоо интервалдарын сактоо.
Post-mortem SLA: пост-мортем үлүшү ≤ D + 5, иш-аракеттердин аткарылышы.
Fair-Share Load: адамдар/командалар боюнча түн/чокуларды бөлүштүрүү.
Customer Signal Lead: объективдүү деградация жана биринчи даттануулардын ортосундагы артта.

15) Жол картасы киргизүү (6-10 жума)

Нед. 1-2: домендерди/ээлерин инвентаризациялоо; OLA үлгүлөрү; алмаштыруу каналын жана хендовер-чек тизмесин ишке киргизүү; негизги эскалация матрицасы.
Нед. 3-4: окуя-бот (MVP), жалпы статус-канал, бир SLO/SLI/KRI карта; runbooks каталогу.
Нед. 5-6: САВ/релиз календары, комм-пакеттер жана freeze-терезелер; SoD/4-eyes операциялары үчүн.
Нед. 7-8: стандарт катары канареялык тоголок жана auto-артка; post-mortem шаблон, Exec/Ops-дашборддор кызматташуу.
Нед. 9-10: P1 машыгуулары, кросс-аймактык хендоверлер, WORM аудити, KPI/KRI отчеттору, OLA корректировкасы.

16) Үлгүлөр (үзүндүлөр)

16. 1 OLA (Payments ↔ Infra/SRE)

yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"

16. 2 Хендовер чек тизмеси (10 пункт)

1. SLO домен статусу

2. Ачык окуялар (ETA/ээлери)

3. Пландаштырылган иштер/релиздер + байкоо терезелер

4. Провайдерлер (PSP/KYC/студиялар) - тобокелдиктер/күтүүлөр

5. Кезектер/репликалар/кэш - lag/аномалиялар

6. Лимиттерди/фичефлагдарды өзгөртүү

7. Даттануулар/билеттер жана жүктөө босоголору

8. Комм-пландар жана статус-долбоорлор

9. On-call курамы жана камдык

10. Слотто "Watchlist"

17) Антипаттерндер

"Кимдир бирөө кылат?" RACI жана ээси жок.
IC/CL жана тактоочу жок окуялар.
Жашыруун өзгөртүүлөр (кол менен чыкылдатуу), жок Git/Audit.
Жалпы эмес телеметрия: ар кандай командаларда ар кандай сандар.
Комм-пакеттери жана канарлары жок релиздер.
SoD-бузуулар "ылдамдыгы үчүн".
Хендоверлер оозеки, эч кандай жазуулар жана чек баракчалары жок.
Аракет жана мөөнөттөрү жок пост-мортемалар.

Жыйынтык

Операцияларда командалардын өз ара аракеттенүүсү - контракттык кызматташуу: OLA/SLx, так каналдар жана ролдор, хендоверлердин дисциплинасы, жалпы телеметрия, макулдашылган релиздер жана инцидент-процесстер. Мындай алкак MTTR жана CFR азайтат, артыкчылыктарды теңдейт, SLO, киреше жана комплаенс коргойт - жана күнүмдүк ишти алдын ала жана туруктуу кылат.