Վիրահատությունը և Կառավարումը հաստատեցին Վիրահատական պատասխանատվության մշակույթը

Վիրահատական պատասխանատվության մշակույթը

1) Ինչո՞ ւ է դա անհրաժեշտ

Տեխնոլոգիաները գործիքներ են տալիս, բայց ապրանքները ստեղծում են մարդիկ և նրանց վարքագիծը։ Վիրահատական պատասխանատվության մշակույթը կանխատեսելի է դարձնում, արագացնում է վերականգնումը ձախողումներից հետո, նվազեցնում է «աղմուկը» և միջադեպերը վերածում է վառելիքի բարելավման։

Նպատակները

«Ի՞ նչ է նախաձեռնությունը» և ով է պատասխանատու դրա համար։

Թափանցիկ դերեր, պարտականություններ և լիազորություններ վիրահատություններում։

Անվտանգ միջավայր սխալների և արագ օպտիկայի քննարկման համար։

SLO-ի ռիթմիկ բարելավումը, արձագանքի ժամանակը և գործողությունների արժեքը։

2) Սկզբունքներ (մշակույթի միջուկ)

1. You build it — you run it. Թիմը ունի իր տիրույթի որակը կոդից մինչև նա-կոլա։

2. SLO-first. Որոշումները գնահատվում են SLO և error budget ազդեցության միջոցով։

3. Blameless & factual. Հետմորտիմները առանց գործողությունների, միայն փաստերը, տվյալները և գործողությունները։

4. Small & reversible. Փոքր փոփոխություններ, ֆիչեֆլագներ, կանարաքներ, արագ արձագանք։

5. Safety to speak up. Յուրաքանչյուրը կարող է բարձրացնել «կարմիր դրոշը» առանց վախի։

6. Evidence over opinions. Տվյալները և արտեֆակտները ավելի կարևոր են, քան կարծիքները և կարգավիճակը։

7. Continuously learn. Ռուսական հիպոթեզների միջադեպերը բացատրում են ստանդարտ փորձարկումները։

3) Դերերն ու ունեցվածքը

Տիրույթի սեփականատերը (Payments/Bets/Games/KYC) 'SLO, նա-կոլը, ճանապարհային բարելավման քարտեզը, սխալների բյուջեն։

Պատահականության ղեկավարը (ռոտացիան) 'արձագանքի, թայմլինի, հաղորդակցությունների որակը։

MSE/Պլատֆորմ 'հուսալիության գործիքներ (դիտարկումներ, ալտերտեր, ֆիչեֆլագներ, կանարեյներ)։

Team Lead/EM 'սպասումներ, իրավասությունների զարգացում, ծեսերի պահպանումը։

Բիզնես սթեյքհոլդերը 'համապատասխանում է SLO/գերակայություններին, ընդունում է ռիսկերը/փոխզիջումները։

RACI մատրիցա (հատված)

4) SLO-ն որպես պատասխանատվության պայմանագիր

Ճշմարտության միակ աղբյուրը մետրի, պատուհանների, բացառությունների սահմանումն է։

Error budget: ակնհայտ ռիսկի սահմանները ռուսական խաղերի վրա/փորձարկումների վրա։

Քննարկումը SLO լեզվով. <<Այս թողարկումը կայրի բյուջեի 20 տոկոսը։ ».

Վերանայումը մեկ անգամ եռամսյակում 'արտադրանքի և բիզնեսի հետ միասին։

5) On-call-ը և պատահարների պատրաստակամությունը

Հստակ սպասումներ ՝ արձագանքման ժամանակը, ալիքները, իշխանությունը («stop-kran»)։

Դասընթացները 'էմերնիզացիա, shadow-հերթապահություն, DR-ուսուցումներ։

Արտեֆակտները 'կենդանի runbook' և, շարժասանդուղքների մատրիցը, ապդեյտների ձևանմուշները։

Մարդկանց մասին հոգ տանելը 'փոփոխական կարգավորումը, փոխհատուցումը, ռոտացիան, «www.hero.ru» քաղաքականությունը։

Նա կոլայի մինի-չեկի թերթիկը

• Հասանելի և SNN-ը ստուգված են։
• Ծանուցման ալիքները և պահուստային շփումները շտկված են։
• Runbook-ը նորարարված է 30 օր առաջ։
• DR մասնակցություն վերջին 90 օրվա ընթացքում։

6) Հաղորդակցություններ վիրահատություններում

Միասնական ձևանմուշներ 'կարճ ապդեյտներ, «handover» փաթեթներ հերթափոխերի միջև։

Որոշումների հրապարակայնությունը 'հիմնական փոխզիջումները գրավոր են։

Գրաֆիկների վրա ծանոթագրությունները 'օրինագծեր, ֆիչեֆլագներ, պրովայդերների պատուհաններ։

SLO վահանակները բոլորի համար 'կարգավիճակների թափանցիկությունը և սխալների բյուջեն։

Excapdeit (հակիրճ)

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Postmortem առանց վիզաների

Փաստերը և թայմլայնը 'ով, երբ ինչ է արել, ի՞ նչ տվյալների հիման վրա։

Հիմնական պատճառները 'գործընթացներ, գործիքներ, ինտերֆեյսներ, ոչ թե «մեղավոր»։

Dedlines-ի հետ գործողությունները 'ուղղիչ և կարգավորող։

Դասերի ոլորտ 'ստանդարտներ, չեկ թերթիկներ, runbook նորարարություն։

«Կարճ հետմորտեմ»։

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Ծիսակատարություններ և կադենցիա

Շաբաթական Ops-ակնարկ (30 րոպե) 'SLO, միջադեպեր, ալերտներ, գործողությունների առաջընթաց։

Հուսալիության ամսական հետադարձ հայացք 'դասեր, միտումներ, ստանդարտների նորարարություն։

Reliability Review: www.SLO/2019, ճանապարհային քարտեզում ինտեգրումը։

Game-days/Chaos-ը 'ձախողումների պլանավորված սցենարներ և ֆեյլերի ուսումնասիրություններ։

9) Մոտիվացիա, աճ և հետքեր

Իրավասությունները 'նա-կոլը, դեպրեսիան, դիտարկումը, SLO-ինժեներինգը, FinOps-ը։

Կարիերայի մակարդակները 'ավանդի ակնկալիքները բյուջեում (նախաձեռնություններ, հետմորտեմներ, դաստիարակություն)։

Ոչ նյութական մոտիվացիա 'ճանաչում, բարելավման հեղինակություն, «Reliability Champion» թաղամասը։

Նյութական 'նա-կոլայի փոխհատուցում, բոնուսներ SLO-KPI հասնելու համար։

10) Քաղաքականություններ և վարքագծի նորմեր (բեկորներ)

«Stop-kran» քաղաքականությունը

Ինչ-որ մեկը կարող է SLO-ի վտանգի ժամանակ։

Լուծումը գրանցվում է և վերանայվում ռիսկի վերացումից հետո։

Փոփոխության քաղաքականությունը

Մեծ փոփոխություններ միայն ֆիչեֆլագների և կանարացիների հետ։

SLO-մետրի ավտոմեքենաները; շեղումը դադար/հակառակը։

Հաղորդակցության քաղաքականությունը

Ամբողջ կրիտիկական տեղեկատվությունը ընդհանուր ալիքներում է, առանց մասնավոր որոշումների։

EFC (Estimated Time to Status) պարտավոր է P1/P2 կոդավորման համար։

11) Մշակույթի մետրերը (KPI հասունություն)

SLO Coverage: կրիտիկական ճանապարհների մասնաբաժինը ֆորմալ նկարագրված SLO/ալտերտերով։

Pre-Incident Detault Rate-ը դեգրադացիայի փուլում գերագնահատված միգրանտների մասն է։

MTTR/MTTD 'զանգվածների դինամիկան։

Change Failure Rate: Restates/restions ալյումիններից հետո։

Postmortem Action SLA-ն այն գործողությունների մասն է, որոնք փակված են ժամանակին։

Alts Fatigue Index: Alerts on-coll/հերթափոխի վրա։

Handoff Quality Score-ը փոփոխությունների միջև փոխանցման որակն է։

Psychological Safety Pulse-ը կարճ ստացիոնար հետազոտություն է (անանուն)։

12) Ներդրման չեկի ցուցակ

• Որոշված են օրինագծերը, սեփականատերերը, on-call և SLO-ը։
• Ընդունվել են «stop-kran» քաղաքականությունները, հետմորտեմները և հաղորդակցությունները։
• Բարձրացված են SLO վահանակը և օրինագծերը։
• Ծիսակատարություններ ՝ շաբաթաթերթ Ops-ակնարկ և hendowers ձևանմուշով։
• Մշակվել են հետմորտեմների ձևանմուշները և գործողությունը։
• Առաջին game-day/DR ուսուցումը։
• KPI մշակույթը և ակնարկը ամեն ամիս։

13) Anti-patterna

Հերոսների պաշտամունքը 'մենք վերջին րոպեին փրկում ենք համապատասխան ուղղումների փոխարեն։

Մարդկանց մեղքը 'որոնել «մեղավորը», ոչ թե պատճառները։

Թաքնված լուծումները 'մասնավոր զրույցներ, «բանավոր պայմանագրեր»։

Մեծ գիշերային սալիկներ 'առանց դրոշների և կանարեկների։

Փոխաբերություններ առանց գործողությունների. Հաշվետվություններ կան, որոշումներ չկան։

Haotich hendowers 'ոչ մի ձևաչափ և հաստատություն չկա։

14) Գործիքներ և արտեֆակտներ (նվազագույն)

SLO/ալերտների կատալոգը սեփականատերերի հետ։

Runbook-reposoria (օրինագծերով, նորարարությունը ամեն ամիս)։

Ձևանմուշները ՝ հետմորտը, հենդովերը, ապդեյթը, քայքայման պլանը։

Панели: SLO Overview, Incidents, Change Safety, Providers.

Գործողությունների թրեյլերը 'SLA-ի և սեփականատերերի հետ մեկ բեկլոգ։

15) HR ուրվագծերում

Onbording 'SLO-ի դասընթացները, նա-քոլեջը, հետմորտեմները։

Արդյունավետության գնահատումը 'ներդրումը և մշակույթը perform.ru review-ի մի մասն է։

Ուսուցումը 'shadow-հերթապահություն, զուգախաղի վարումը։

Պուլս հարցումները 'անվտանգության/այրման եռամսյակային գնահատական։

16) 30/60/90 - գործարկման պլանը

30 օր

Նշանակել օրինագծերի և on-call սեփականատերերին, շտկել առնվազն SLO (p95, sucess rate)։

Ընդունել «stop-kran» և հետմորտեմների քաղաքականությունը, հաստատել ձևանմուշները։

Սկսել շաբաթական Ops-ակնարկ և հենդովեր-ծիսական։

60 օր

Անցկացնել 2 game-day/DR վարժություններ, բարձրացնել SLO և Change Safety վահանակը։

Ներկառուցել կանարեյկան և SLO-ի ավտոմեքենաները 1-2 քննադատական ծառայություններում։

Գործարկել մշակույթի մետրերը (MTTR, Action SLA, Pulse-հարցում)։

90 օր

Միտումների վերլուծությունը, SLO/2019 նորարարությունը, բարելավումների ինտեգրումը ճանապարհային քարտեզում։

Ներդրել «Reliability Champion» և դաստիարակության ծրագիր։

Խորհուրդ տալ ծեսերն ու քաղաքականությունները ռետրո արդյունքների վրա։

17) Ձևանմուշներ (բեկորներ)

Հետմորտեմների քաղաքականությունը (դավադրություն)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

Ռուսական հենդովեր (վերնագրեր)

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

International of Ready-ի համար

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q 'Ինչպե՞ ս չափել «մշակույթը» և ոչ միայն տեխնիկան։

Ա 'Մուտքագրեք Pulse-հետազոտությունը (հոգեբանական անվտանգությունը), Action SLA հետմորտեմները, հանրային լուծումների մասը, HQS hendovers-ը։

Q 'Ի՞ նչ անել հերոսության հետ։

Ա 'Շնորհակալություն, բայց ամրագրել վերջնական փոփոխությունները, որպեսզի հերոսությունը պահանջվի։ Perform.ru-ում հաշվի առնել կանխարգելումը և բարելավումը, ոչ միայն «սխրանքները»։

Q 'Ինչպե՞ ս համոզել բիզնեսը մշակույթի արժեքներին։

A 'Ցույց տալ կապը' MTTR/Change Failure Rate-ի նվազեցումը նպաստեց փոխադարձության/եկամուտների աճին, ավելի քիչ տուգանքներ և գիշերային լանդշաֆտներ, կանխատեսելի օրինագծեր։