Ավտոմատ ուղղում սխալները

1) Նպատակը և սկզբունքները

Նպատակը 'կրճատել MTTR-ը և կանխել միգրանցների էսկալացիան, պահպանելով SLO-ը, եկամուտները և պահանջների համապատասխանությունը։

Սկզբունքները

SLO-first: Մեքենան թույլատրվում է միայն ռուսական սխալների հաստատված վտանգի դեպքում։

Անվտանգությունը առաջին հերթին 'նվազագույն blam-radius, ակնհայտ լիմիտներ և թայմբոքսներ։

Diainable by design: Յուրաքանչյուր գործողություն բացատրելի և աուդիրումո է։

Rollback-ի պատրաստակամությունը 'ցանկացած քայլ ուղեկցվում է մրցույթի չափանիշներով։

Human-in-the-loop-ը այնտեղ, որտեղ բարձր ռիսկը 'P1-կրիտիկական փոփոխությունները' drontrol-ի միջոցով կամ IC/նա-կոլոով (եթե ոչ այլ քաղաքականությամբ)։

2) Տերմիններ

Mediation-remediation: Ծրագրի արձագանքը իրադարձության վրա (ալերտ/անոմալիա) առանց մարդու մասնակցության։

Guardrails: Սահմանափակումների քաղաքականությունը (շեմն, տևողությունը, փորձերի քանակը, ազդեցության տարածքը)։

Runbook-Action-ը ատոմային վիրահատություն է առաջ/հետպատերազմյան ստուգումներով և հակառակը։

Decision Engine 'ծառայություն, որը համեմատում է իրադարձությունը քաղաքական գործիչների հետ և սկսում գործողությունները։

3) Լուծման ճարտարապետությունը

1. Ազդանշաններ ՝ SLO/burn-rate, KRI, սինթետիկ, RUM, deep-health։

2. Կոնտեքստի հարաբերակցությունը 'ալյումինները, ֆիչֆլագները, պլանային աշխատանքները, կախված պրովայդերները։

3. Decision Engine: Կանոնները/քաղաքականությունը (policy-as-code), իմպակտային և ռիսկի գնահատումը, սցենարի ընտրությունը։

4. Կատարումը 'runbook-գործողությունների նվագարկիչ (idempotention, retray և jitter)։

5. Վերահսկողություն 'vailidators, post-vifictors, timbox, արձագանք։

6. Աուդիտը և դիտարկումը 'գործողության թրեյսը, հաջողության մետրերը, ամսագիրը (WORM/immutable)։

7. Հաղորդակցություն 'կարգավիճակ-էջ (Comics Lead-ի միջոցով), var-rum, macross սապորտի համար։

4) Քաղաքականություններ և թույլատրություններ (policy-as-code)

Պայմանների օրինակները (կեղծ-Rego/տրամաբանություն)

• `allow if burn_rate(payments. auth) > fast && impact>threshold && psp_alt. healthy && within_limits("psp_reroute")`

• `allow if p99(bet_settlement)>3x && queue_lag>limit && feature("replay_center"). enabled`

• `allow if consumer_lag>target && cost_budget. ok && region_capacity. available`

• `allow if export_spike && no_ticket && data_class=PII -> action=block + notify(Compliance)`

Յուրաքանչյուր քաղաքականություն պարունակում է ՝ պայման, գործողություն, սահմանափակում (scope/ժամանակ/հաճախություն), հաջողության չափանիշներ, արձագանք։

5) Անվտանգ գործողությունների կատալոգը (ատոմային runbook-actions)

Վճարումները 'փոխանցումը փոխակերպել այլընտրանքային PFC/bank; փոխել ռոտինգի գերակայությունները health difee conversion; միացրեք պարզեցված 3DS; բարձրացնել գետերի սահմանները ջիտթերի հետ։

Տոկոսադրույքները/խաղերը 'մեծացնել ցանցերի գողերը։ միացրեք cache-warmup; ժամանակավորապես անջատել ոչ ռիթմիկ ֆիչիները (անիմացիաներ, հիբրիդային ֆիդներ); միացրեք waiting-room/queue-page։

Ենթակառուցվածքները 'առգրավել սահմանափակում (wwww.ier-detector), վերացնել մուտքը հարևան AZ/տարածաշրջանում; բարձրացնել փամփուշտը/քվոտաները; վերագրանցել ոսպնյակները ոսպնյակների ստուգումներով։

Տվյալները/հերթերը 'վերաբաշխել կուսակցությունը; բարձրացնել սպառողներին մինչև cap; անցեք read-2019 առողջ դիտողությանը; միացրեք հարմարվողական յոթ ուղիները։

Անվտանգությունը/համադրումը 'ժամանակավորապես արգելափակել PII էքսպորտը առանց տիկետի; ուժեղացնել եզրակացությունների velocity-limites; ներառել զգայուն վիրահատությունների վրա։

Կոմմ շերտը 'Comics Lead-ի համար Auto-Chernovice կարգավիճակը + apdeit արցունքները։ Գործընկերների ծանուցում PBS-ի քայքայման ժամանակ։

6) Դավաճանություն և առաջնորդություն

Առաջ

Ստուգել, որ խնդիրը իրական է և թարմ (N-ից-M պատուհաններ; չկա saylens/պլանավորված աշխատանք)։

Համոզվեք, որ գործողությունը թույլատրված է քաղաքականությամբ և կա ռեսուրսային բյուջե։

Գնահատել արժեքը (FinOps) և սահմանափակումները։

Փոստ

Հաստատել burn-rate/metric նվազումը։ գրանցել արդյունքը; պլանավորել պայմաններով (105-rollback)։

7) Rollback и “escape hatch”

Avto-metric-ը և max-TTL-ի միջոցով։

Կոճակը IC/նա-կոլա է var-rum-ում։

Break-glass-ը միայն ռուսական հասանելիության համար։ պարտական է post-adit-ին։

8) Ալերտինգի և միջադեպերի ինտեգրումը

Ցանկացած ֆիքսված գործողություն կցվում է մրցույթի քարտին 'ով/ինչ/երբ/ինչու, արդյունքը, գրաֆիկայի հղումները։

Փեյջերը կուլ է տալիս դուբլիկատների համար, բայց ոչ անհաջող ավտոմեքենաների ֆիքսների համար (էսկալացիա)։

Կարգավիճակը-էջը նորարարվում է Comics Lead-ի միջոցով մոդելի միջոցով։

9) Անվտանգության և կոմպլենսի դիզայնը

Նվագախմբի համար ամենափոքր առավելությունները. առանձնահատուկ դերեր գործողության/տիրույթի վրա։

SoD և drontrol high-risk: PMS-routing, բոնուսների լիմիտներ, PII էքսպորտը։

WORM/immutable բոլոր ավտոմատ լուծումները, ներառյալ մուտքային ազդանշանները և քաղաքական տարբերակները։

PII-հիգիենան 'առանց անձնական ցուցանիշների պիտակների և գործողությունների լոգարանների։

10) Դիտարկելով կոնտուրների դիտարկումը

Metriks: success-rate գործողություններ, արձագանքման ժամանակը, ռեպատների տոկոսը, MTTR խնայողությունը, SLO-ի վրա ազդեցությունը։

Թրեյզներ ՝ «ազդանշան լուծելու համար ռուսական էֆեկտը»։

Լոգները 'կառուցվածքային, policy _ id, տարբերակներով և հետադարձ ստուգումներով։

Dashbords: Exec (ազդեցություն եկամուտների վրա/SLO), Ops (գործողությունների մատրիցա), FinOps (մեքենայի-միջոցառումների արժեքը)։

11) Մրցույթի օրինակները (iGaming)

11. 1 PMS դեգրադացիա (TR/EU)

Ազդանշան ՝ auth-success PMS-1-ում 25 տոկոսով 10 րոպեում, 24> 30 տոկոսը գործարքների համար։

Գործողությունները 'վերաբաշխել 40 տոկոսը PMS-2/3-ում։ միացրեք պարզեցված 3DS; բարձրացնել X բանկի պահանջների ծախսերը ջիթերի հետ։

Սահմանները ՝ ոչ ավելի, քան 60 տոկոսը, մեկ այլընտրանքային PSA-ի համար։ TTL 45 2019

Rollback: success-rate-rate-ի նորմալացման ժամանակ 15 րոպեի ընթացքում

11. 2 P99 աճը ցանցում

Ազդանշան ՝ p99 «bet no settle»> 3 ստանդարտ նորմա + consumer-lag> շեմն է։

Գործողությունները 'scale-out workers մինչև cap; մեղմելով գործակիցների քեշը, ժամանակավորապես անջատել «պատմիչների պատմությունը»։

Rollback: headrome> X-ից և p99-ից հետո նորմալ 20-ից հետո

11. 3 BD կրկնօրինակը հետ է մնում

Ազդանշան ՝ replant-lag> N վայրկյան, prock-wait աճը։

Գործողությունները 'հեռացնել read-2019 առողջ դիտողությանը։ միացրեք throtling write վիրահատությունները ցածր գերակայություն։

Rollback: lag-ի նորմալացումից և արգելափակման սխալներից հետո։

11. 4 PII ածխաջրածինների սպայկ

Ազդանշան ՝ rate dium> wwww.K գծեր, բացակայում են հյուսվածքները։

Գործողությունները 'էքսպորտի բլոկը, Compli.ru ծանուցումը, www.d.ru։

Rollback 'հարցումների հաստատումից և անոմալիայի փակումից հետո։

12) KPI и KRI

MTTR-ը պատրաստված է զբոսաշրջիկների համար, որտեղ աշխատում էր Avto-fix-ը։

TTD-ն հաստատեց Action-ը 'ժամանակը մանկատից մինչև գործողության կատարումը։

Success-rate գործողություններ և Rollback-rate (ցածր - լավ, եթե ոչ կեղծ աշխատանքի պատճառով)։

False-action rate (գործողություններ առանց ազդեցության կամ բացասական ազդեցության)։

SLO impact saved (րոպե/եկամուտներ, կանխված տուգանքներ)։

Pager fatigue-ը (ավելի քիչ ձեռքով լանդշաֆտներ նույն/լավագույն SLO-ում)։

13) Ճանապարհի քարտեզը (8-12 շաբաթ)

Մոսկվան։ 1-2 'ընտրել 3-5 ռուբլիներ բարձր ROI (PMS-failover, autoscale lag, feature-degrade); նկարագրել քաղաքականությունները/լիմիտները/արձագանքները։

Մոսկվան։ 3-4 'իրականացնել գործողությունների նվագախումբը, գաղտնիքները և դերերը, ինտեգրումը պատահականության պլատֆորմի հետ։ ավելացնել դիտարկումը և աուդիտը։

Մոսկվան։ 5-6: օդաչուն «ստվերային» ռեժիմում (simulate-only) - A/B էֆեկտի գնահատում; ապա միացրեք մի փոքր տարածության մեջ։

Մոսկվան։ 7-8 'ընդլայնել մրցույթի կատալոգը (BD/kash/հերթը/ճակատը), կապել դիրքի և Comics-ի հետ։

Մոսկվան։ 9-10: ավելացրեք FinOps-limits կանոնները (արժեքը/SLI), ներդնել digh-risk-ի համար։

Մոսկվան։ 11-12: tabletop/chaos-ուսուցումներ, KPI/KRI, delins հրատարակություն և նա-կոլայի ուսուցում։

14) Արտեֆակտները և ձևանմուշները

Master-Remediation Policy: պայման, գործողություն, լիմիտներ, TTL, արձագանք, սեփականատեր, ռիսկի դաս։

Runbook-Action Spec-ը 'կանխատեսումը, քայլերը, ստուգումները, սխալները, սխալները, ակնարկները, արձագանքի տրամաբանությունը։

Change-Control: Ո՞ վ կարող է ղեկավարել քաղաքական գործիչները, PR-revew, թեստեր, թեստեր և տարբերակներ։

Evidence Pack: Logs/treiss/metrics ազդեցություն SLO-ի վրա, փոստմորտեմի/2019 զեկույցը։

15) Անտիպատերնի

«Բուժենք ախտանիշը» առանց պատճառները ստուգելու և SLO-ն հաստատեց ֆլամպինգը։

Գործողությունները առանց արձագանքի և TTL-ի հաստատվում են դեգրադացիաներով։

Համընդհանուր ջութակները, առանց guardrails-ի, կասկադային ձախողումներ են։

Քաղաքական գործիչը միգրացիայի և տարբերակման բացակայություն է։

Արժեքի անտեսումը (ավտոսկեյլ առանց լիմիտի) և կոմպլենսը (PII-ենթախմբերը)։

Ամբողջական ինքնավարություն առանց Human-in-the-loop P1 ռիսկերում։

Արդյունքը

Սխալների ավտոմատ ուղղումը կառավարվող կարգավորումն է 'SLO ազդանշաններ ռուսական քաղաքականությունից guardrails-ի հետ, որոնք անվտանգ runbook-գործողություններ են, որոնք ունեն նվազեցում են դիտողությունն ու աուդիտը կատարվում են պատահականներում։ Այս մոտեցումը չափվում է MTTR-ով, պահպանում է խնջույքների եկամուտները և հանում ռուտինին իր օղակից, մնալով միասին անվտանգության և կարգավորիչների հետ։