Habarnamalar we alertler ulgamy

(Bölüm: Amallar we Dolandyryş)

1) Bellenilmegi we ýörelgeleri

Maksat az, ýöne takyk: diňe degişli signallary, öz wagtynda we jogapkär adama/robota düşnükli next-step.

• Actionable by default: Her bir alertiň eýesi, ileri tutulýan ugry, jogap möhleti we hereket düwmesi bar.
• SLO-first: alertler SLI/SLO-nyň töwereginde gurulýar, mugt metrikleriň töwereginde däl.
• Noise-control: deadup, baglanyşyk, tupany basyp ýatyrmak.
• Context-rich: meta-maglumatlar (sebit, tenant, wersiýa, trace_id) we runbook baglanyşygy.
• Audit-ready: ähli alertler we reaksiýalar kesgitlenýär we üýtgemeýän žurnalda saklanýar.

2) Signallaryň çeşmeleri

Tech. telemetriýa: elýeterlilik, p95/p99, error-rate, nobatlar, resurs çäkleri.
Iş çäreleri: PriceMismatch, WebhookLag, RTP Drift, frod signallary.
Howpsuzlyk/laýyklyk: SoD-düzgün bozmalar, PII-elýeterlilik, açarlaryň/şahadatnamalaryň ekspirasiýasy.
Meýilleşdiriji: möhleti geçen SLA meseleler, DLQ-göçler, retry-storms.

3) Klassifikasiýa we ileri tutulýan ugurlar

Guardrails: alertler SLO/ýalňyşlyk býudjeti (burn rate) bilen baglanyşykly düzülýär.

4) Routing we eskalasiýa 24 × 7

Kontekste marşrut: 'region/tenant/product/provider/severity'.
Eskalasiýa basgançagy: on-call inerener → topar lideri → Duty Manager → Exec/Legal (PII/finans üçin).
Nobatlar: rollar boýunça aýlanmalar (SRE, App, Data, Security, Payments), ätiýaçlyk aragatnaşyklar (çat/ses/SMS).
Ümsümlik penjireleri: gijeki, goýberiş, marketing; P1 üçin kadadan çykmalar.

5) Sesiň peselmegi we korrelýasiýa

Duplikasiýa: '(fingerprint, region, tenant, route)' we 'trace _ id'.
"Tupan" basyşy: P1 işjeň bolanda dublikatlary wagtlaýyn basyp ýatyrmak.
Korrelýasiýalar: esasy sebäbiň töweregindäki signallaryň toparlanmagy (goýberiş/çykyş/üpjün ediji).
Gisterezis: bosagadan girmek/çykmak - "arra" -dan gaça durmak üçin dürli.

6) Alert mazmuny (şablon)

Sözbaşy: gysgaça we jikme-jik - "EU/Checkout: p95> 250ms (SLO breach)".
Esasy meýdanlar: prioritet, wagt, sebit, tenant, wersiýa, trace_id, affected%, termin. sebäbi.
Indi näme etmeli: ilkinji 1-3 ädim + runbook/düwmelere baglanyşyk (Re-route, Rollback, Pause Promo).
Indiki aragatnaşyk: N minutdan soň, eýesi (IC/on-call).

7) Eltip bermek kanallary

Söhbetdeşlik/habarçy: üçlügiň esasy kanaly (düwmeleri bolan bot kartoçkalar).
Habarçy/ses/SMS: P1 üçin.
Poçta: hasabatlar we urgent däl (P3/Info).
Webhuklar: tiketing/orkestratorlar bilen integrasiýa.
Status-sahypa: müşderileriň we hyzmatdaşlaryň daşarky habarnamasy.

8) Integrasiýa we "hereketleriň düwmeleri"

Waka-bot: kartoçka döredýär, IC belleýär, wideo köprüsini açýar, taýmerler başlaýar.
Руны (auto-actions): Re-route, Rollback, Raise Limit, Flush Cache, Disable Webhooks, Enable Safe Mode.
Hukuklar: runlaryň işe girizilmegi rollar bilen çäklenýär; ähli hereketlere gol çekilýär we loglar goýulýar.

9) Multiregion we multi-tenant

Sebitler boýunça garaşsyz SLO/bosagalar; ýerli hadysalar bütin dünýäni "reňklemeýär".
Görünmek süzgüçleri: hyzmatdaşlar/tenantlar diňe özlerini görýärler.
Ýurisdiksiýa talaplary: habarnamalaryň tekstleri, diller, wagt zolaklary.

10) Syýasatlar, meýilnamalar, dymmak penjireleri

Alertleriň syýasaty: eýeler, bosagalar, kanallar, eskalasiýa, şablonlar.
Senenamalar: iş/iş däl wagt, goýberiş/marketing penjireleri.
Change freeze: uly mahabat wagtynda çäkleri ýumşatmak ýa-da "P1 däl" basmak.

11) Audit we ýuridik düzediş

Kwitansiýalar: kritiki alertler üçin - 'receipt _ hash' we DSSE-gol.
WORM magazinesurnallary: wakalary we reaksiýalary üýtgewsiz saklamak (kim näme edendigini tassyklady).
Chain-of-custody: eskalasiýalary we çözgütleri yzarlamak.

12) Bildiriş ulgamynyň metrikleri we SLO

MTTA (acknowledge): P1 ≤ 5-10 min; P2 ≤ 30 minut.
Page rate/On-call load: çalyşmak üçin signallar - maksatly aralykda.
False Positive%: Maksat çäginiň ≤ (adatça <10-15%).
Correlation efficiency: toparlanan signallaryň paýy ≥ 80%.
Delivery SLO: söhbetdeşlik ≥ 99. 9%, SMS/ses ≥ 99. 5%.

Time-to-Action: p95

13) Daşbordlar we raportlar

Operatiw: işjeň hadysalar, burn-rate, sebitleriň/tenantlaryň kartasy, alertleriň nobaty.
Alertleriň hili: ses, FP, bosagalaryň retestleri, "dilsiz zolaklar".
On-call ýüki: jaň ýygylygy, reaksiýa wagty, "out of hours".
Post-waka: runalaryň netijeliligi, sebäpleriň gaýtalanmagy.

14) iGaming/fintech aýratynlyklary

Payments/PSP: P1 - üpjün edijiniň şowsuzlygy, ygtyýarnamalaryň şowsuzlygynyň ýokarlanmagy; ätiýaçlyk PSP-de awto-rout.
RTP & Limits: gözegçilik edilýän RTP-iň süýşmegine töwekgelçilikler, çäklerden ýokary, ýeňişleriň şübheli nusgalary.
Affiliates/webhuklar: gowşuryş gijikdirmesi, dubllaryň ösüşi, tassyklanan kwitansiýalaryň düşmegi.
Price/FX/Tax: vitrin laýyk gelmeýär, artefaktlaryň wersiýalarynyň bölünişigi.
Jogapkär oýun: RG-triggerler we/Compliance goldawynda olaryň öz wagtynda güýçlenmegi.

15) RACI

16) Girizmegiň çek-sanawy

• North-Star we SLI/SLO kesgitläň; alertleri burn-rate bilen baglanyşdyrmak.
• Syýasatlar katalogyny giriň: bosagalar, kanallar, eskalasiýa, dymmak penjireleri.
• Dedup, korrelýasiýa, histerezis, tupany basyp ýatyrmak.
• Köp sebitli we köp tenant görünmek düzgünlerini sazla.
• "Hereket düwmelerini" we runbuklary birikdirmek; başlamak hukugyny çäklendirmek.
• WORM/kwitansiýalary, trace_id yzarlamalaryny we run-auditini öz içine alyň.
• Hil tagtalaryny guruň (noise, FP, MTTA, page rate).
• Провести GameDay: PSP outage, WebhookLag, PriceMismatch, RTP Drift.
• Bosagalary yzygiderli gözden geçirmek; A/B bosagalary "dilsiz" metriklerde.
• On-call ýükleri we gowulaşmalar boýunça hasabat.

17) Pleýbuklar (salgylanma)

PSP Outage (P1): ätiýaçlyk awto-rout, müşderileriň wagtynyň azalmagy, "çal" amallaryň karantini, 15 minutdan soň status-täzelenme.
WebhookLag (P2): workerleri/batch artdyrmak, nobatlaryň ileri tutulmagy, zerur däl nokatlaryň wagtlaýyn arakesmesi.
PriceMismatch (P1/P2): keş fors-maýyplygy, deňeşdirme 'fx _ version/tax _ rule _ version', artefaktyň yzyna gaýtarylmagy, kompensasiýa.
RTP Drift (P2): bonuslaryň/mahabatyň arakesmesi, profilleriň barlagy, gözegçilik penjiresiniň giňelmegi.
Security: SoD/MFA fail (P1/P2): amallary blokirlemek, JIT-gaýtadan barlamak, forensika we zerur bolsa Legal.

18) FAQ

Ýalan täsirleri nädip azaltmaly?
SLO-gönükdirilen düzgünler, korrelýasiýa, gisterezis, öwrediji penjireler we çäkleri yzygiderli gözden geçirmek.

Has möhümi - gurşaw ýa-da takyklyk?
P1 üçin - takyklyk we tizlik (has gowy, ýöne möhüm). P3 üçin - tendensiýalaryň we bahalaryň gurşawy.

Telefon jaňy gerekmi?
Hawa, P1 üçin; söhbetdeşlik elýeterli däl ýa-da "ýapyk" bolup biler.

On-call buýrugyny nädip ýakmaly däl?
page rate çäkleri, ýükleri gaýtadan paýlamak, "follow-the-sun", her aýda sesleriň gykylygy.

Gysgaça maglumat: Habarnamalaryň we alertleriň ulgamy - signaldan herekete çenli dolandyrylýan konweýer. SLO-da guruň, sesi öçüriň, kontekste ugrukdyryň, hereket düwmelerini beriň we hemme zady kanuny taýdan düzüň. Şonuň üçin siz MTTA-ny gysgaldýarsyňyz, on-call ýüküni aýyrýarsyňyz we üpjün edijileriň ýiti partlamalary we şowsuzlyklary bilen hem işiň durnuklylygyny ýokarlandyrýarsyňyz.