Ալերտերի վերարտադրության կանխումը

1) Խնդիրը և նպատակը

Alts fatigue-ը տեղի է ունենում, երբ համակարգը չափազանց շատ ոչ revant կամ ոչ actionable ծանուցումներ է ուղարկում։ Արդյունքը լանդշաֆտների անտեսումն է, MTTA/MTTR աճը և իրական պարամետրերի բարձրացումը։

Նպատակը 'ազդանշաններ դարձնել հազվագյուտ, նշանակալի և կատարելի, կապելով դրանք SLO և պլեյբուսների հետ։

2) Ազդանշանների տաքսոնոմիա (ջրանցք = հետևանքներ)

Page (P0/P1) - մարդու բուդիտ; միայն այն դեպքում, երբ անհրաժեշտ է ձեռքով գործողություն հիմա և կա runbook։

Ticket (P2) - ժամացույցի/օրվա ասինխրոն աշխատանք; չի գնում, բայց պտտվում է SLA-ով։

Dash-only (P3) - դիտարկումը/միտումը առանց ակտիվ գործողությունների։ աղմուկ չի ստեղծում։

Silent Sentry-ը բեքգրունդում (RCA/post-մորտեմների համար)։

"Կանոն 'աստիճանին ներքև ազդանշանը դեռ ապացուցված չէ, որ անհրաժեշտ է ավելի բարձր։

3) «ճիշտ» ալերտի նախագծումը

Յուրաքանչյուր ալերտ պարտավոր է ունենալ

Նպատակը/հիպոթեզը (ինչ մենք պաշտպանում ենք 'SLO, անվտանգություն, գումար, կոմպլենս)։

Գործարկման պայմանները (շեմն, պատուհանը, աղբյուրների կվորումը)։

Runbook/Playbook (կարճ ID no + հղում)։

Սեփականատեր (թիմ/ռոլեյի խումբ)։

Ավարտման չափանիշները (երբ փակեք, ռետոլվ)։

Խոցելիության դասը (user-impact/platform/www.ru/cost)։

4) SLO-կողմնորոշված պաշտպանված

SLI/SLO-ն արտահայտում է առաջնային ազդանշաններ 'հասանելիություն, լատենտ, բիզնեսի հաջողությունը։

Burn-rate alerts: երկու պատուհաններ (կարճ + երկար), օրինակ.

Կարճ ՝ 1 ժամվա ընթացքում բյուջեի 5 տոկոսը Page-ն է։

Երկար 'բյուջեի 2 տոկոսը 6 ժամվա ընթացքում Ticket-ն է։

Կոգորտություն 'ալտերտեր տարածաշրջաններում/պրովայդերների/VIP հատվածներում' ավելի քիչ կեղծ գլոբալ անհանգստություն։

5) Աղմուկի նվազեցման տեխնիկան

1. Զոնդերի քվորում. Միայն եթե 2 հազար աղբյուրի (տարբեր տարածքներ/պրովայդերներ) աշխատելը ապացուցում է խնդիրը։

2. Deduplication: Նույն իրադարձությունների խմբավորումը (aggregation keys: 07 + region + code)։

3. Հիստերե.ru/տևողությունը '«N րոպեի կարմիր գոտում», որպեսզի ֆիլտրի շիպերը։

4. Rate-limit: ոչ ավելի քան X ծանուցումներ/ժամ/ծառայություն; ավելացնելիս 'մեկ լանդշաֆտ + բաճկոն։

5. Medioze/ինտելեկտուալ ճնշումը 'T-ի պատուհանում կրկնվող ալերտը փոխանցվում է Ticket-ին մինչև արմատի վերացումը։

6. Իրադարձությունների հարաբերակցությունը 'մեկ «վարպետության-ալերտ»' տասնյակ ախտանիշների փոխարեն (օրինակ ՝ «BD անհասանելի»)։

7. Mainten.ru պատուհանը 'պլանավորված աշխատանքը ինքնաբերաբար ճնշում է սպասվող ազդանշանները։

8. Anomaly + guardrails: անոմալիաները միայն Ticket-ի նման են, եթե SLO ազդանշան չկա։

6) Երթուղայնացումը և առաջնահերթությունները

Առաջնահերթությունները ՝ P0 (Page, 15 րոպե apdeit), P1 (Page, 30 րոպե), P2 (Ticket, 4-8 ժամ), P3 (դիտարկումը)։

Ռոուտինգը պիտակների վրա ՝ 108/env/region/tenae/tenault, համապատասխան on-call։

Ժամանակի էսկալացիա '5 րոպեի ընթացքում բացակայում է P2/Duty Express/IC։

Quiet Hours 'գիշերային ժամացույց ոչ ռիթմիկ համար։ Page-ը արգելված է P2/P3-ի համար։

Fatigue-քաղաքականությունը 'եթե ինժեներ> N Paygey/հերթափոխը P2-ում վերաբաշխելն է, աղտոտել ազդանշանների աղտոտումը։

7) Ալերտների որակը 'պայմանագրեր

Actionability-ը 80 տոկոսն է, լանդշաֆտների ճնշող մեծամասնությունը գործում է runbook-ով։

False Positive-ը Page ազդանշանների համար 5 տոկոսն է։

Time-to-Fix-Alert-ը 7 օր է, թերի ալերտը պետք է շտկվի/հեռավոր։

Ownership 100 տոկոսը, յուրաքանչյուր ալերտ ունի սեփականատեր և ռեպոզիտորիա իր սահմանմամբ։

8) Ալերտի կյանքի ցիկլը (Alronas Code)

1. Ստեղծել PR (նպատակի նկարագրությունը, պայմանները, runbook, սեփականատերը, թեստային պլանը)։

2. Ավազը/Shadow: ստվեր-ալերտը գրում է չաթ/լոգ, բայց չի երգում։

3. Կանարեյկա 'սահմանափակ լսարան on-call, մենք չափում ենք FP/TP։

4. Prod: rate-limit + դիտարկումը 2-4 շաբաթ։

5. Շաբաթական ակնարկ 'որակի չափումներ, աջ/առգրավում։

6. Դեպրեքեյթ 'եթե ազդանշանը կրկնապատկում է ավելի բարձր կամ ոչ ակտիվացված։

9) Հասունության մետրերը (ցույց տվեք դաշբորդում)

Aler.per on-call hour (median/95-percentil)։

% actionable (կան կատարված քայլեր) և false-positive rate։

MTTA/MTTR-ը լանդշաֆտների շուրջ և page prodticket-ի մասը (չպետք է բարձր լինի)։

Top-talkers (ծառայություններ/կանոններ, որոնք ստեղծում են աղմուկի 20 տոկոսը)։

Mean to fix al.ru (առաջին FP-ից մինչև կանոնները փոխելը)։

Burn-rate coverage: SLO-alerts հետ ծառայությունների մի մասը երկու պատուհաններում։

10) Չեկ-թերթ «Ալերտների հիգիենան»

• Ալերտը կապված է SLO/SLI-ի կամ բիզնեսի/անվտանգության հետ։
• Կա runbook և սեփականատեր; նշվում է նաև war-room ալիքը։
• Երկու պատուհան (կարճ/երկար) և աղբյուրների կվորումը։
• Ներառված են dedup, rate-limit, 108-resolve և 105-delooze։
• Նշեք mainten.ru պատուհանը և supression թողարկման/տեղադրման ժամանակ։
• Shadow/Canary; չափված FP/TP։
• Ներառված է Ալերտերի որակի չափումների զեկույցը։

11) Մինի ձևանմուշները

Alert (YAML գաղափար)

yaml id: payments-slo-burn severity: P1 owner: team-payments @ sre purpose: "Protect SLO success payments"
signal:
type: burn_rate sli: payment_success_ratio windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
confirmations:
quorum:
- synthetic_probe: eu,us
- rum: conversion_funnel routing:
page: oncall-payments escalate_after: 5m controls:
dedup_key: "service=payments,region={{region}}"
rate_limit: "1/10m"
auto_snooze_after: "3 pages/1h"
runbook: "rb://payments/slo-burn"
maintenance:
suppress_when: [ "release:payments", "db_migration" ]

Ապդեյթի տեքստը ստանդարտ է (աղմուկը նվազեցնելու համար)

Impact: fall in success_ratio payments in EU (-3. 2% to SLO, 20 min).
Diagnostics: confirmed by quorum (EU + US synthetics), RUM - increase in failures in step 2.
Actions: switched 30% of traffic to PSP-B, enabled degrade-UX, next update 20:30.

12) Գործընթացներ ՝ շաբաթական «Alts Review»

Օրակարգը (30-45 րոպե)

1. Լավագույն աղմկոտ կանոնները (top-talkers) համապատասխանում են/հեռացնել։

2. FP/TP-ն Page ազդանշաններով է ուղղում շեմերը/պատուհանները/kvorum։

3. Ջրանցքի նվազեցման դիմորդները (Page no Ticket) և հակառակը։

4. «Time-to-Fix-Alix» կարգավիճակը, ժամկետները ուղեկցվում են ծառայությունների սեփականատերերին։

5. Coverage SLO-alerts-ի ստուգումը և runbook-ի առկայությունը։

13) Հաղորդագրությունների և հաղորդագրությունների հետ կապը

Օրինագծերը ինքնաբերաբար ավելացնում են ժամանակավոր ճնշումները։

Change windows: Առաջին 30 րոպե հետո միայն SLO ազդանշանները։

Պլեյբուսները պարունակում են մի քայլ «իջեցնել/ճնշել աննկարագրելի ալերտները», որպեսզի կենտրոնանան արմատի վրա։

14) Անվտանգություն և ընկերակցություն

Ազդանշաններ (պայթյուն/արտահոսք/աննորմալ հասանելի) - առանձին ալիքներ, առանց quiet hours։

Բոլոր ճնշումների/հանգիստ պատուհանների աուդիտ-լոգ 'ով, երբ, ինչու, ժամանակը։

Քննադատական ալարմների համար անփոփոխ պահանջը (իրադարձության ստորագրումը)։

15) Anti-patterna

«Յուրաքանչյուր գրաֆիկ = ալերտ» ռուսական լավինը։

Շեմն «։ = 0 սխալ» վաճառքում։

Մեկ զոնդ/մեկ տարածք որպես ճշմարտության աղբյուր։

Page առանց runbook/սեփականատիրոջ։

Հավիտենական «ժամանակավոր ճնշումները» առանց ժամկետի։

«Մաքրիր» թերի ալերտերը տարիներ շարունակ։

Մետրոպոլիտենի աղմուկի խառնումը արդյունավետ միջադեպերի հետ։

16) Ճանապարհի քարտեզը (4-6 շաբաթ)

1. Բուլգարիզացիա 'բեռնել բոլոր ալերտները, տեղադրել սեփականատերերը և ջրանցքները։

2. SLO-միջուկը 'burn-rate կանոնները կրիտիկական ծառայությունների կրկնակի պատուհաններով։

3. Աղմուկի վերահսկումը 'ներառել kvorum, dedup և rate-limit, weekly review։

4. Runbook-ծածկույթ 'փակել 100% Page ազդանշաններ պլեյբուսներով։

5. Ֆաթիգ քաղաքականությունը 'լիմիտներ լանդշաֆտներ/փոփոխություն, Quiet Hours, բեռի վերաբաշխում։

6. Ավտոմատիզացիան 'Alms-as-Code, Shadow/Canary, որակի մետրերի հաշվետվություններ։

17) Արդյունքը

Լռությունը ոչ թե մոնիտորինգի բացակայությունն է, այլ բարձրորակ նախագծված ազդանշաններ, որոնք կապված են SLO-ի և գործընթացների հետ։ Quorum, կրկնակի պատուհաններ, dedup և խիստ միկրոօրգանիզմներ վերածում են հազվագյուտ, ճշգրիտ և կատարելի։ Թիմը քնում է, օգտագործողները ուրախ են, միջադեպերը վերահսկողության տակ են։