Թիմերի փոխազդեցությունը վիրահատություններում

1) Ինչո՞ ւ

IGaming-պլատֆորմը տասնյակ օրինագծեր են (Payments, Games/J, Risk/KYC, Infra/MSE, Supliant, Compliance)։ Առանց ֆորմալիզացված փոխազդեցության աճում են MTTR, CFR և վիրահատական ռիսկերը։ Նպատակն է վերափոխել ցրված գործառույթները մեկ վիրահատական համակարգում 'կանխատեսելի շփումներ, թափանցիկ գծեր, ընդհանուր ազդանշաններ և համաձայնեցված գերակայություն։

2) Սկզբունքներ

1. SLO-first 'համատեղ լուծումները կապված են SLO/սխալների բյուջեների վրա։

2. Ճշմարտության միակ աղբյուրը 'ընդհանուր դաշույններ, միասնական արձաններ և արտեֆակտներ։

3. Հստակ սահմաններ և ինտերֆեյսներ. Յուրաքանչյուր զույգ թիմեր ունեն նկարագրված պայմանագիր (OLA/Runbook/API)։

4. Փոքր մարտեր և շրջադարձեր 'ֆիչեֆլագի/կանարիայի, արագ rollback։

5. Blame-ը yes-ն է 'վերլուծություններ փաստերի, բարելավումների' ցիկլի պարտադիր մասը։

6. Նվազագույն անհրաժեշտ արտոնություններ և SoD 'դերերի բաժանումը զգայուն վիրահատությունների համար։

7. Ավտոմատիզացրեք ռուտինը, ստանդարտացրեք մնացածը։

3) Դերերը և RACI (միջով)

Head of Ops/MSE Lead-ը վիրահատական շրջանակի սեփականատերն է, KPI/KRI-ն։ A

Express Owners (Payments/Games/KYC/Express) - հիբրիդային նպատակներ, փոփոխություններ, ռիսկ։ A/R

Platform/Infra - հասանելիություն, պերֆորմացիա, ալյումինե/կանարիա։ R

Risk/Compliance/SoD, RG/KYC/PII, աուդիտներ։ C/A

Supert/CRM - բողոքների, հաղորդակցման խաղացողներին։ R/C

On-call IC/CL-ը արտաքին կառավարման և արտաքին ապդեյտների դեպքն է։ R

Releant Express-ը օրացույցն է, CAB-ը, փոփոխության կարգավիճակը։ R

Express/Analytics - ապրանքային և վիրահատական մետրեր, RCA աջակցություն։ R/C

4) Փոխազդեցության պայմանագրերը (OLA/SLx)

OLA (Operational Level Agream) - ներքին պայմանագրեր թիմերի միջև (ոչ արտաքին SLA)։ Ներառում են

Պատասխանատվության գոտիներ. Ո՞ ւմ գոտին (օրինակ, PMS-routing-Payments; Քաշ/BD - Infra)։

Նպատակները/շոշափելի մետրերը ՝ MTTA-ը, էսկալացիայի արձագանքի ժամանակը, փոստի դիտարկման պատուհանը։

Գծերը և գերակայությունները ՝ P1-P4, բիզնես քննադատությունը, freeze-պատուհանները։

Ինտերֆեյսներ ՝ ալիքներ, բոտայի թիմեր, API/Runbook, ռուսական և սեփականատերեր։

Արտեֆակտներ ՝ ո՞ ր փաստաթղթերը/լոգները/տաշբորդները պետք է ուղեկցեն իրադարձությանը։

5) Ալիքները և հաղորդակցման արձանագրությունները

Վիրահատական չատը (փոփոխական) 'ամենօրյա ապդեյտներ, մինի ծեսեր, handover։

War-rums պատահականներով 'ստեղծվում է բոտով։ IC/CL դերերը նշանակվում են թիմի կողմից։

CAB/Change ալիքը 'փոփոխությունների քննարկումը, ռիսկերը, թողարկման օրացույցը։

Կարգավիճակ-ջրանցքը (read-only) 'SLO/210/պլանավորված աշխատանք։

Էսկալացիաները '«/page », «/escalate», SLA հաշվետվությունները։

Հաղորդագրությունների միասնական արձանագրություն. <<փաստը բացատրվում է ETA/ETR կոդավորման ազդեցությամբ>>։

6) Հենդովերներ փոփոխությունների և շրջանների միջև

Exch10-15 րոպե

1. SLO/SLI 'որտե՞ ղ է բյուջեի այրման վտանգը։

2. Բաց պատահարներ/էսկալացիա և նրանց ETA-ն։

3. Պլանավորված աշխատանքներ/ֆորումներ հաջորդ 24-48-ում

4. Պրովայդերներ (PFC/KYC/ստուդիա) 'ակտիվ հյուսետներ, սպասումներ։

5. On-call և կոնտակտները (IC/CL/domains)։

6. «Watchlist» -ը բարձր ուշադրության գոտիներ է (հերթեր/վերարտադրողական/քեշ)։

Հենդովերը ամրագրված է փոփոխական ամսագրում, հղումները 'bar-rums և dashbords-ում։

7) Համատեղ աշխատանք պատահականության ժամանակ

Սկսելով 'ալերտը ստեղծում է «# inc-YYYY-MM-DD-MSX» քարտը, որը կոչվում է IC/CL և հիբրիդային լիդեր։

Մեկ ձայնի կանոնը 'IC-ը վերջնական լուծում է։ CL-ն հաղորդակցությունն է։

Փաստերն ու վարկածները 'մենք առանձնացնում ենք։ կարմիր ազդանշանները գերակա են։

Guardrails: ficheflagi/PMS-routing փոխվում են միայն runbook-ի միջոցով SoD/drone-mentl-ի միջոցով։

Հաղորդակցություն 'հանրային ապդեյտների չեռնիվները CL-ի միջոցով, գործընկերները' targetirival։

Մոսկվա: Փոստ-2019, փոստ-մորտեմի արտադրություն և սեփականատերերի/ժամկետների հետ բարելավման խնդիրներ։

8) Համատեղ աշխատանք փոփոխություններում

Օրինագծերի օրացույցը 'հանրային հասանելի, freeze ժամանակահատվածների և on-call փղերի հետ։

Որակի խաղացողները ՝ unit/www.ract/e2e, անվտանգություն, SLO-գեյթ staging։

Կանարեկային բուծումներ ՝ 5 տոկոսը 25 տոկոսն է, 100 տոկոսը 'GEO/tenantam/bank։

Avto-հակառակը 'SLI/KRI-ի քաղաքական գործիչները, WORM ամսագիրը։

Կոմմ փաթեթներ 'ապդեյտների չեռնիվներ, որոնք նախապես համագործակցում են CL/Legal-ի հետ։

RACI փոփոխությունները ՝ RM (A/R), SO (A/R), SYE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C)։

9) Միասնական հեռուստացույց և արտեֆակտներ

Փոխաբերության ընդհանուր կատալոգը ՝ SLI/SLO, բիզնես մետրիկներ, KRI (գծեր, PSA, վերարտադրողական)։

Դաշբորդ «Վիրահատությունների քարտեզը» 'խողովակաշարերի, տարածքների, աշխատանքի կարգավիճակը։

Թայմլայնները 'մեկ ձևաչափ (ժամանակը, հեղինակը, գործողությունը, արդյունքը, հղումները)։

Փոստ-մորտեմներ 'ձևանմուշներ, կանխման միջոցներ, կոդավորման ամսաթիվը։

Runbooks/Checklists: versioned; հղում ալտերտերից և քարտերից։

10) Գերակայություն և պլանավորում

Շաբաթական Ops-պլանը (30-45 րոպե) 'ռիսկի բարձրացում, օրինագծեր, լիմիտներ, բարելավումներ post-մորտեմներից։

Վիրահատությունների կանբանը '«Backlog no Ready to In Progress to Validate no Done», WIP-limits։

Առաջնահերթության չափանիշները 'ազդեցություն SLO/եկամտի/համակցման, չափի/շրջադարձի, պրովայդերներից կախվածության վրա։

11) Էսկալացիայի մատրիցը (գոյատևումը)

12) Քաղաքականություն և SoD

SoD/4-eyes: եզրակացություններ/բոնուսներ/routing PSA/PII էքսպորտը միայն կրկնակի հաստատման դեպքում է։

JIT իրավունքները 'արտոնությունների ժամանակավոր սրացում runbook գործողությունների համար։

Տվյալների քաղաքականությունը 'PII արգելքը բաց ալիքներում/dashbords; գեո սահմանները։

Աուդիտ 'անփոփոխ գործողությունների ամսագրեր (WORM), ռուսական քաղաքական։

13) Փոխազդեցության գործիքները

Բոտ '«/incident new », դերեր, apdeits, comm-chernovics, «/runbook», «/flag », «/wwww.ru»։

Metrance API: ընդհանուր SLO-վյու և KRI, exemplars (trace _ id) RCA-ի համար։

Rele.ru-պորտալը 'մանիֆեստներ, գեյտներ, բացելու/ռեպատատի կարգավիճակ։

Սեփականատերերի տեղեկատու/CMDB 'ալյումինե, կոնտակտներ, պահեստային ալիքներ։

14) Համագործակցության մետրերը (KPI/KRI)

MTTA/MTTR ալիքներով և արցունքներով (օր/գիշեր), մինչև բողոքների։

Handover Quality: Փոխանցման թերությունները (չեկի թերթերի կետերը, որոնք ժամանակին փակ չեն)։

Change Collaboration: ածխաջրածինների տոկոսը պատրաստ կոմմ փաթեթներով և առանց ռիսկի։

Guardrail Discipline: SoD/քաղաքական խախտումների հաճախությունը (նպատակը 0)։

Comics Cadence: P1/P2-ում հանրային ապդեյտների ընդմիջումների պահպանումը։

Post-mortem SLA-ն 'post-morthem-mortem pro De + 5-ի մասը, գործողությունների կատարումը։

Fox-2019 Load-ը 'գիշերվա/պիկի բաշխումը մարդկանց/թիմերի վրա։

Customer Signal Lead: Lag օբյեկտիվ դեգրադացիայի և առաջին բողոքների միջև։

15) Ճանապարհի քարտեզը (6-10 շաբաթ)

Մոսկվան։ 1-2 'ածխաջրածինների/սեփականատերերի բուլարիզացիա; OLA ձևանմուշները; հերթափոխային ջրանցքի և հենդովեր չեկի թերթերի արձակումը; Շարժասանդուղքների մատրիցը։

Մոսկվան։ 3-4 'բոտ (MVP), ընդհանուր կարգավիճակը, SLO/SLI/KRI քարտեզը; runbooks կատալոգը։

Մոսկվան։ 5-6: SAV/ռելիզային օրացույց, կոմմ փաթեթներ և freeze պատուհաններ; SoD/4-eyes զգայուն վիրահատությունների համար։

Մոսկվան։ 7-8 'քարքարոտ ճոճանակներ և ավտոտրանսպորտային միջոցներ, ինչպիսիք են' 108; Postmortem, Exec/Ops-dashbords համագործակցություն։

Մոսկվան։ 9-10 'P1 ուսուցումները, քրոս-տարածաշրջանային հենդովերները, WORM աուդիտը, KPI/KRI զեկույցները, OLA-ը։

16) Ձևանմուշներ (բեկորներ)

16. 1 OLA (Payments ↔ Infra/SRE)

yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"

16. 2 Hendover chek-թերթ (10 կետ)

1. SLO ստատուսներ ածխաջրածինների

2. Բաց պատահարներ (ETA/սեփականատեր)

3. Պլանավորված աշխատանքներ/ֆորումներ + դիտարկման պատուհաններ

4. Պրովայդերներ (PFC/KYC/ստուդիա) - ռիսկեր/սպասումներ

5. Հերթեր/կրկնօրինակումներ/kash - lag/anomalia

6. Լիմիտների/ֆիչեֆլագների փոփոխությունները

7. Բողոքներ/տիկետներ և բեռի շեմեր

8. Կոմմ պլանները և չեռնովիկայի կարգավիճակը

9. On-call և պահուստ

10. «Watchlist» փղի վրա

17) Անտիպատերնի

«Ինչ-որ մեկը կզբաղվի»։ Առանց RACI-ի և սեփականատիրոջ։

Առանց IC/CL և apdeit թայմերների։

Թաքնված փոփոխություններ (ձեռքով տեսահոլովակներ), չկա Git/Audit։

Անսովոր հեռուստատեսություն 'տարբեր թվեր տարբեր թիմերում։

Ալգորիթմները առանց կոմմ-ռուսական և կանարների։

SoD խախտումները «արագության համար»։

Հենդովերները բանավոր են, առանց ձայնագրությունների և չեկերի։

Փոստի-մորտեմները առանց գործողությունների և գործողությունների։

Արդյունքը

Գործողություններում թիմերի փոխազդեցությունը պայմանագրային համագործակցությունն է ՝ OLA/SLx, հստակ ալիքներ և դերեր, հենդովերների կարգապահություն, ընդհանուր հեռուստաչափություն, ենթաբազմություն և պատահականության գործընթացներ։ Այս շրջանակը նվազեցնում է MTTR-ը և CFR-ը, հավասարեցնում առաջնահերթությունները, պաշտպանում SLO-ը, եկամուտները և ընկերությունները, և ամեն օր անում է կանխատեսելի և կայուն աշխատանք։