Пешгирии аз ҳад зиёди огоҳиҳо

1) Мушкилот ва мақсад

Хастагии ҳушдор вақте рух медиҳад, ки система бисёр огоҳиҳои номарбут ё ғайри қобили амалро мефиристад. Сатри поён саҳифаҳоро нодида мегирад, MTTA/MTTR меафзояд ва ҳодисаҳои воқеиро аз даст медиҳад.
Ҳадаф: сохтани сигналҳои нодир, пурмаъно ва иҷрошаванда тавассути пайваст кардани онҳо ба SLO ва китобҳои бозӣ.

2) Таксономияи сигнал (канал = оқибатҳо)

Саҳифа (P0/P1) - одамро бедор мекунад; танҳо вақте ки амали дастӣ ҳоло талаб карда мешавад ва дафтарчаи корӣ мавҷуд аст.
Билет (P2) - кори асинхронӣ дар соат/рӯз; бедор намешавад, балки аз ҷониби SLA пайгирӣ карда мешавад.
Танҳо тира (P3) - мушоҳида/тамоюл бидуни амалҳои фаъол; садо эҷод намекунад.
Silent Sentry - ченакҳо/аудит дар замина (барои RCA/пас аз марг).

3) Тарҳрезии ҳушдори "дуруст"

• Объективӣ/гипотеза (он чизе ки мо муҳофизат мекунем: SLO, амният, пул, мувофиқат).
• Шароити триггер (остона, тиреза, кворум манбаъ).
• Runbook/Playbook (қадами кӯтоҳ ID + пайванд).
• Соҳиб (гурӯҳ/гурӯҳи нақш).
• Меъёрҳои анҷомёбӣ (ҳангоми пӯшидан, ҳалли худкор).
• Синфи осебпазирӣ (таъсири корбар/платформа/амният/арзиш).

4) Мониторинги ба SLO нигаронидашуда

SLI/SLO → сигналҳои аввалия: мавҷудият, таъхир, муваффақияти амалиётҳои тиҷоратӣ.

• Кӯтоҳ: 5% буҷет дар 1 соат → Саҳифа.
• Дароз: 2% буҷа дар 6 соат → Чипта.
• Cohort: Огоҳиҳо аз рӯи минтақа/провайдер/сегменти VIP - ҳушдорҳои глобалии бардурӯғ.

5) Усулҳои паст кардани садо

1. Санҷишҳои кворум: танҳо дар сурате оғоз карда мешаванд, ки агар 2 манбаи мустақил (минтақаҳо/провайдерҳои гуногун) мушкилотро тасдиқ кунанд.
2. Deduplication - калидҳои маҷмӯӣ: хидмат + минтақа + рамз.
3. Гистерезис/давомнокӣ: "дар минтақаи сурх ≥ N дақиқа" барои филтр кардани хӯшаҳо.
4. Меъёри маҳдудият: на бештар аз огоҳиҳои X/соат/хидмат; агар аз ҳад зиёд бошад, як саҳифа + хулоса.
5. Фурӯпошии худкор/интеллектуалӣ: ҳушдори такрорӣ дар равзанаи T → тарҷума ба чипта то решакан кардани реша.
6. Таносуби ҳодисаҳо: ба ҷои даҳҳо аломатҳо як "ҳушдори асосӣ" (масалан, "DB дастнорас" jamming 5xx аз microservices).
7. Тирезаҳои нигоҳдорӣ: кори ба нақша гирифташуда сигналҳои пешбинишударо ба таври худкор пахш мекунад.
8. Аномалия + посбонҳо: аномалияҳо - танҳо ҳамчун чипта, агар ягон сигнали SLO тасдиқ карда нашавад.

6) Масир ва афзалиятҳо

Афзалиятҳо: P0 (Саҳифа, 15 дақиқа навсозӣ), P1 (Саҳифа, 30 дақиқа), P2 (Чипта, 4-8 соат), P3 (мушоҳида).
Хатсайрҳо аз рӯи тамғакоғазҳо: хидматрасонӣ/env/минтақа/иҷорагир → мувофиқ ба занг.
Афзоиши вақт: ҳеҷ гуна акк дар 5 дақ P2 → Duty Manager/IC.
Соатҳои ором: Соатҳои шабона барои танқидӣ; Саҳифа барои P2/P3 манъ аст.
Сиёсати хастагӣ: агар муҳандис> N саҳифа/баст дошта бошад - ба P2 тақсим карда шавад, ифлосшавии сигналро афзоиш диҳад.

7) Сифати огоҳиҳо: тартибот

Амалиёт ≥ 80%: аксарияти саҳифаҳо ба амали дафтарча оварда мерасонанд.
≤ мусбати бардурӯғ 5% барои сигналҳои саҳифа.
Вақт барои ислоҳи ҳушдор ≤ 7 рӯз - ҳушдори ноқис бояд ислоҳ карда шавад/хориҷ карда шавад.
Соҳибият 100% - ҳар як ҳушдор соҳиби анбор ва анбор бо таърифи худ мебошад.

8) Ҳушдор ҳамчун давраи ҳаёти Кодекс

1. Эҷод кардани PR (тавсифи мақсад, шартҳо, дафтарчаи корӣ, соҳиб, нақшаи тестӣ).
2. Sandbox/Shadow: ҳушдори соя ба чат/журнал менависад, аммо саҳифа надорад.
3. Канария: аудиторияи маҳдуд дар тамос, андозагирии FP/TP.
4. Прод: фарогирӣ бо меъёри маҳдудият + мушоҳида 2-4 ҳафта.
5. Шарҳи ҳарҳафтаина: ченакҳои сифат, таҳрир/бозхонд.
6. Коҳиш диҳед: агар сигнал сигнали баландтарро такрор кунад ё ғайри қобили амал бошад.

9) Нишондиҳандаҳои камолот (намоиш дар панели)

Огоҳиҳо дар як соати занг (медиан/95-фоизӣ).
% фаъол аст (қадамҳо ба анҷом расидаанд) ва сатҳи бардурӯғ-мусбат.
MTTA/MTTR дар атрофи саҳифаҳо ва сафҳаҳои § нархи чипта (набояд баланд бошад).
Top-talkers (хидматҳо/қоидаҳое, ки садои 20% тавлид мекунанд).
Вақти миёна барои ислоҳи ҳушдор.
Фарогирии сатҳи сӯхтан: ҳиссаи хидматҳо бо SLO-огоҳиҳо дар ду тиреза.

10) Рӯйхати назоратии "Гигиенаи огоҳиҳо"

• Ҳушдор ба SLO/SLI ё тиҷорат/амният вобаста аст.
• Китобча ва соҳиби китоб мавҷуд аст; канали тамос ва ҳуҷраи ҷангӣ нишон дода шудааст.
• Ду тиреза (кӯтоҳ/дароз) ва кворуми манбаъҳо танзим карда шудаанд.
• Dedup, меъёри маҳдудият, худкор ҳал ва худкор-snooze дохил карда мешаванд.
• Нигоҳдорӣ ва қатъ кардани Windows барои релизҳо/муҳоҷират муайян карда шудааст.
• Соя/Канария гузашт; андозагирии FP/TP.
• Ҳисоботи андозагирии сифат.

11) Қолабҳои хурд

Мушаххасоти ҳушдор (идеяи YAML)

yaml id: payments-slo-burn severity: P1 owner: team-payments@sre purpose: "Защитить SLO успеха платежей"
signal:
type: burn_rate sli: payment_success_ratio windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
confirmations:
quorum:
- synthetic_probe: eu,us
- rum: conversion_funnel routing:
page: oncall-payments escalate_after: 5m controls:
dedup_key: "service=payments,region={{region}}"
rate_limit: "1/10m"
auto_snooze_after: "3 pages/1h"
runbook: "rb://payments/slo-burn"
maintenance:
suppress_when: [ "release:payments", "db_migration" ]

Матни навсозии стандартӣ (барои кам кардани садо)

Импакт: падение success_ratio платежей в EU (-3.2% к SLO, 20 мин).
Диагностика: подтвержден кворумом (EU+US синтетика), RUM — рост отказов на 2 шаге.
Действия: переключили 30% трафика на PSP-B, включили degrade-UX, след. апдейт 20:30.

12) Равандҳо: Ҳафтаинаи "Шарҳи ҳушдор"

1. Top-talkers → таҳрир/нест кардан.

2. FP/TP дар сигналҳои саҳифа → тасҳеҳи ҳудудҳо/тирезаҳо/кворум.

3. Довталабон барои коҳиш (Page → Ticket) ва баръакс.

4. Ҳолати вақт ба ислоҳи ҳушдор - таъхирҳо ба соҳибони хидматҳо зиёд карда мешаванд.

5. Тафтиши фарогирӣ бо огоҳиҳои SLO ва мавҷудияти китобчаҳо.

13) Истинод ба релизҳо ва амалиётҳо

Нашри эзоҳҳо ба таври худкор фишорҳои муваққатиро илова мекунад.
Тағйир додани тирезаҳо: дар 30 дақиқаи аввал пас аз баромад - танҳо сигналҳои SLO.
Китобҳои бозӣ дорои қадами "ҳушдори калиди паст/фишурда" барои тамаркуз ба реша мебошанд.

14) Бехатарӣ ва риояи

Сигналҳои амниятӣ (ҳакерӣ/ихроҷ/дастрасии ғайримуқаррарӣ) - каналҳои алоҳида, бидуни соатҳои ором.
Сабти аудити ҳама фишорҳо/тирезаҳои ором: кӣ, кай, чаро, мӯҳлати ниҳоӣ.
Талаботи тағйирнопазирӣ барои огоҳиҳои интиқодӣ (имзои ҳодиса).

15) Анти-намунаҳо

"Ҳар як график = ҳушдор" → тарма.
Ҳадди "! = 0 хатогӣ" дар фурӯш.
Як санҷиш/як минтақа ҳамчун манбаи ҳақиқат.
Саҳифа бе runbook/соҳиби.
"Фишорҳои муваққатӣ" -и доимӣ бидуни мӯҳлат.
Огоҳиҳои ноқисро "баъдтар ислоҳ кунед" - солҳо ҷамъ мешаванд.
Омезиши ғавғо бо ҳодисаҳои истеҳсолӣ.

16) Харитаи роҳсозӣ (4-6 ҳафта)

1. Инвентаризатсия: ҳама огоҳиҳоро бор кунед, соҳибон ва каналҳоро гузоред.
2. Ядрои SLO: ҷорӣ кардани қоидаҳои сӯзондан бо тирезаҳои дукарата барои хидматҳои муҳим.
3. Назорати садо: имкон додани кворум, мурда ва меъёри маҳдудият, баррасии ҳарҳафтаина оғоз кунед.
4. Фарогирии Runbook: 100% сигналҳои Саҳифаро бо китобҳои бозӣ пӯшед.
5. Сиёсати Фатиг: маҳдудиятҳои саҳифа/смена, Соатҳои ором, тақсимоти сарборӣ.
6. Автоматика: Ҳушдор-as-Code, Shadow/Canary, ҳисобот дар бораи ченакҳои сифат.

17) Сатри поён

Хомӯшӣ набудани мониторинг нест, балки сигналҳои хуб тарҳрезишудаи SLO ва равандҳо мебошад. Кворум, тирезаҳои дукарата, тарҳ ва масири қатъӣ огоҳиҳоро ба нодир, дақиқ ва иҷрошаванда табдил медиҳанд. Даста хоб аст, корбарон хушҳоланд, ҳодисаҳо таҳти назорат мебошанд.