Alertleriň aşa köp bolmagynyň öňüni almak

1) Mesele we maksat

Alert fatigue, ulgam ähmiýetsiz ýa-da actionable däl habarnamalary iberende ýüze çykýar. Netijesi - jaňlara üns bermezlik, MTTA/MTTR-iň ösüşi we hakyky wakalary sypdyrmak.
Maksat: signallary SLO we pleýbuklara daňyp, seýrek, manyly we ýerine ýetirip bolýar.

2) Signallaryň taksonomiýasy (kanal = netijeler)

Page (P0/P1) - adamy oýandyrýar; diňe häzirki wagtda el hereketi talap edilende we runbook bar.
Ticket (P2) - sagatda/günde asenkron iş; oýanmaýar, ýöne SLA-da yzarlaýar.
Dash-only (P3) - işjeň hereketsiz gözegçilik/tendensiýa; ses döretmeýär.
Silent Sentry - metrikler/arka tarapdaky audit (RCA/post-mortemler üçin).

3) "Dogry" alertiň dizaýny

• Maksat/çaklama (näme goraýarys: SLO, howpsuzlyk, pul, laýyklyk).
• Işe girizmegiň şertleri (bosagasy, penjiresi, çeşmeleriň kworumy).
• Runbook/Playbook (ädimiň gysgaça ID + baglanyşyk).
• Eýesi (topar/rol topary).
• Tamamlamak üçin ölçegler (haçan ýapmaly, awto-rezold).
• Gowşaklyk synpy (user-impact/platform/security/cost).

4) SLO gönükdirilen gözegçilik

SLI/SLO → başlangyç signallar: elýeterlilik, gizlinlik, işewürlik amallarynyň üstünligi.

• Gysga: 1 sagat üçin býudjetiň 5% → Sahypa.
• Uzyn: 6 sagatda 2% býudjet → Ticket.
• Kogortnost: sebitler/üpjün edijiler/VIP-segmentler boýunça alertler - ýalan global aladalardan az.

5) Sesleri azaltmagyň tehnikalary

1. Zondlaryň kworumy: diňe 2 sany garaşsyz çeşme (dürli sebitler/üpjün edijiler) ≥ meseläni tassyklasa işe girizilmegi.
2. Deduplikasiýa: birmeňzeş wakalaryň toparlanmagy (aggregation keys: service + region + code).
3. Gisterezis/dowamlylygy: tikenleri süzmek üçin "gyzyl zolakda ≥ N minut".
4. Rate-limit: X duýduryşdan köp bolmaly däl/sagat/hyzmat; geçende - bir page + gysgaça maglumat.
5. Awto-snooze/intellektual basyş: T penjiresinde gaýtalanýan alert → kök ýok edilýänçä Ticket-e terjime.
6. Wakalaryň baglanyşygy: onlarça alamatyň ýerine bir "ussat alert" (mysal üçin, "BD elýeterli däl" mikroservislerden 5xx ýapýar).
7. Maintenance penjireleri: meýilleşdirilen işler garaşylýan signallary awtomatiki usulda basýar.
8. Anomaly + guardrails: anomaliýalar diňe SLO signaly bilen tassyklanmasa, Ticket ýaly.

6) Ugrukdyryş we ileri tutulýan ugurlar

Ileri tutulýan ugurlar: P0 (Page, 15 min täzelenme), P1 (Page, 30 min), P2 (Ticket, 4-8 sagat), P3 (gözegçilik).
Bellikler boýunça marşrut: service/env/region/tenant → on-call-a laýyk gelýär.
Wagt eskalasiýasy: 5 minutda ack ýok → P2 → Duty Manager/IC.
Quiet Hours: kritiki däl gijeki sagatlar; Sahypa P2/P3 üçin gadagan.
Fatigue-syýasat: inerenerde> N page/smena bar bolsa - signallaryň hapalanmagyny güýçlendirmek üçin P2-e gaýtadan paýlamak.

7) Alertleriň hili: ylalaşyklar

Actionability ≥ 80%: jaňlaryň aglaba köplügi runbook arkaly hereket edýär.
False Positive ≤ Page signallary üçin 5%.
Time-to-Fix-Alert ≤ 7 gün - kemçilikli alert düzedilmeli/aýrylmalydyr.
Ownership 100% - her bir aladanyň eýesi we onuň kesgitlemesi bilen ammary bar.

8) Alertiň ömri (Alert as Code)

1. PR dörediň (maksat, şertler, runbook, eýesi, synag meýilnamasy).
2. Sandbox/Shadow: kölege-alert chat/log ýazýar, ýöne jaň etmeýär.
3. Kanareýa: on-call çäkli tomaşaçy, FP/TP ölçäris.
4. Önüm: rate-limit bilen goşulmak + 2-4 hepde gözegçilik.
5. Hepdelik syn: hil ölçegleri, düzedişler/aýyrmalar.
6. Deprequeit: eger signal has ýokary ýa-da actionable bolmasa.

9) Kämillik metrikasy (daşbordda görkeziň)

Alerts per on-call hour (mediana/95-percentile).
% actionable (ýerine ýetirilen ädimler bar) we false-positive rate.
MTTA/MTTR we page → ticket paýynyň töwereginde (ýokary bolmaly däl).
Top-talkers (20% ≥ ses öndürýän hyzmatlar/düzgünler).
Mean time to fix alert (birinji FP-den düzgüniň üýtgemegine çenli).
Burn-rate coverage: SLO-alertli hyzmatlaryň iki penjirede paýy.

10) "Alertleriň arassaçylygy" barlag-sanawy

• Alert SLO/SLI ýa-da iş/howpsuzlyk bilen baglanyşykly.
• Runbook we eýesi bar; aragatnaşyk we war-room kanaly görkezilýär.
• Iki penjire (gysga/uzyn) we çeşmeleriň kworumy sazlandy.
• Dedup, rate-limit, auto-resolve we auto-snooze bar.
• Goýberilende/göçende penjireler we suppression maintenance görkezilýär.
• Şadow/Canary geçdi; ölçenen FP/TP.
• Alertleriň hiliniň metrikleri boýunça hasabat goşuldy.

11) Kiçi şablonlar

Alertiň aýratynlygy (YAML pikiri)

yaml id: payments-slo-burn severity: P1 owner: team-payments@sre purpose: "Защитить SLO успеха платежей"
signal:
type: burn_rate sli: payment_success_ratio windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
confirmations:
quorum:
- synthetic_probe: eu,us
- rum: conversion_funnel routing:
page: oncall-payments escalate_after: 5m controls:
dedup_key: "service=payments,region={{region}}"
rate_limit: "1/10m"
auto_snooze_after: "3 pages/1h"
runbook: "rb://payments/slo-burn"
maintenance:
suppress_when: [ "release:payments", "db_migration" ]

Täzelenmäniň standart teksti (sesleri azaltmak üçin)

Импакт: падение success_ratio платежей в EU (-3.2% к SLO, 20 мин).
Диагностика: подтвержден кворумом (EU+US синтетика), RUM — рост отказов на 2 шаге.
Действия: переключили 30% трафика на PSP-B, включили degrade-UX, след. апдейт 20:30.

12) Prosesler: hepdelik "Alert Review"

1. Iň şowhunly düzgünler (top-talkers) → düzedýäris/aýyrýarys.

2. Page signallary boýunça FP/TP → bosagalary/penjireleri/kworumy düzedýäris.

3. Kanalyň peselmegine dalaşgärler (Page → Ticket) we tersine.

4. "Time-to-Fix-Alert" statusy - gijikdirmeler hyzmatlaryň eýelerine güýçlendirilýär.

5. SLO-alertler bilen coverage we runbook barlygyny barlamak.

13) Goýberişler we amallar bilen baglanyşyk

Relizleriň düşündirişleri awtomatiki usulda wagtlaýyn basyşlary goşýar.
Change windows: goýberilenden soň ilkinji 30 minutda - diňe SLO signallary.
Pleýbuklarda köküne ünsi jemlemek üçin "açylmadyk aladalary peseltmek/basyp ýatyrmak" ädimi bar.

14) Howpsuzlyk we gabat gelmek

Security-signallar (döwmek/syzmak/anomal giriş) - aýratyn kanallar, quiet hours.
Ähli basyşlaryň/asuda penjireleriň audit-sanawy: kim, haçan, näme üçin, möhlet.
Möhüm aladalar üçin üýtgemezlik talaby (wakanyň goly).

15) Anti-patternler

"Her diagramma = alert" → göç.
Tohumdaky "! = 0 ýalňyşlyk" bosagasy.
Bir zond/bir sebit hakykat çeşmesi hökmünde.
Runbook/eýesiz sahypa.
Hemişelik "wagtlaýyn basyşlar" möhletsiz.
Kemçilikli aladalary "Soň düzedeliň" - ýyllar boýy ýygnanýar.
Reliz sesini önüm hadysalary bilen garyşdyrmak.

16) Durmuşa geçirmegiň ýol kartasy (4-6 hepde)

1. Inwentar: ähli alertleri düşürmek, eýelerini we kanallaryny goýmak.
2. SLO-ýadro: burn-rate kritiki hyzmatlar boýunça goşa penjireli düzgünleri giriziň.
3. Ses-gözegçilik: kworum, dedup we rate-limit açyň, weekly review açyň.
4. Runbook örtügi: 100% Page signallaryny pleýbuklar bilen ýapyň.
5. Fatig syýasaty: page/smena çäkleri, Quiet Hours, ýüküň gaýtadan paýlanmagy.
6. Awtomatlaşdyryş: Alert-as-Code, Shadow/Canary, hil metrikleri boýunça hasabat.

17) Jemleýji

Dymmak gözegçiligiň ýoklugy däl-de, SLO we prosesler bilen baglanyşykly hil taýdan döredilen signallardyr. Kworum, goşa penjireler, dedup we berk marşrut alertleri seýrek, takyk we ýerine ýetirip bolýanlara öwürýär. Topar uklaýar, ulanyjylar kanagatlanýarlar, hadysalar gözegçilik astynda.