Огоҳӣ ва вокуниш ба нокомӣ

(Қисм: Технология ва инфрасохтор)

Хулосаи мухтасар

Огоҳии қавӣ як сигнали вайрон кардани арзиши корбар аст, на танҳо "метри сурх. "Барои IGaming, дарвозаҳои SLO (таъхир, мавҷудият, табдили пардохт, вақт ба ҳамён), қоидаҳои бисёрсоҳавӣ, зангҳои равшан, шиддат, нақшҳои Chat Ҳадаф аз он иборат аст, ки зуд инҳирофро бубинад, ба онҳое, ки ислоҳ карда метавонанд, иттилоъ диҳад ва донишро ислоҳ кунад, то дафъаи оянда боз ҳам тезтар ва арзонтар вокуниш нишон диҳад.

1) Асосҳо: Аз ченакҳо то амал

SLI → SLO → Ҳушдор - сифати андозагиришуда → сатҳи мақсаднок → "буҷа дар ҳолати" аст.
Вазнинӣ (SEV): SEV1 - танқидӣ (даромад/GGR дар хатар), SEV2 - ҷиддӣ, SEV3 - мӯътадил, SEV4 - ноболиғ.
Таъсир/Таъхирнопазирӣ: кӣ азоб мекашад (ҳама/минтақа/иҷорагир/канал) ва то чӣ андоза таъхирнопазир аст (TTW →, p99 g, хатогӣ).
Амалиёт: барои ҳар як ҳушдор - амали мушаххас (runbook + соҳиби).

2) Таксономияи сигнал

ТЕХ: p95/p99 таъхири API, хатогӣ, пуррагӣ (CPU/IO/GPU), ақибмонии навбат.
Business-SLO: табдили пардохт (кӯшиши → муваффақият), Time-to-Wallet (TTW), муваффақияти гарав, оғози бозӣ.
Роҳҳои пардохт: Нишондиҳандаҳои мушаххаси PSP (хӯшаҳои вақт/коҳиш).
Пеш/мобилӣ: ченакҳои RUM (LCP/INP), сатҳи садама, синтетикаи сенария (воридшавӣ/амонат/қурб/баромад).

3) Сиёсати ҳушдор: SLO ва сатҳи сӯзондан

Намунаҳои SLI/SLO

Мавҷудияти пардохт-api ≥ 99. 9 %/30d p95 '/амонат '≤ 250 ms/30d

Табдили 'пардохтҳо _ кӯшиш → муваффақият ≥ ибтидои − 0. 3 %/24h

TTW p95 ≤ 3 дақиқа/24 соат

Тирезаи бисёрсоҳавӣ/Сӯхтан (идея Prom

Сӯхтани зуд: вайронкунии SLO 5-10 тезтар аз муқаррарӣ (саҳифаи ҳушдор дар 5-15 дақиқа).
Сӯхтани суст: сӯхтани сусти буҷа (чипта + таҳлил дар 1-3 соат).

yaml
API success proxy metric (recording rule in advance)
record: job:http:success_ratio expr:
sum(rate(http_requests_total{status=~"2..    3.."}[5m]))
/ sum(rate(http_requests_total[5m]))
Fast burn (99. 9% SLO)
alert: PaymentsSLOFastBurn expr: (1 - job:http:success_ratio{job="payments-api"}) > (1 - 0. 999) 14 for: 10m labels: { severity: "page", service: "payments-api" }
annotations:
summary: "SLO fast burn (payments-api)"
runbook: "https://runbooks/payments/slo"
Slow burn alert: PaymentsSLOSlowBurn expr: (1 - job:http:success_ratio{job="payments-api"}) > (1 - 0. 999) 6 for: 1h labels: { severity: "ticket", service: "payments-api" }

4) Паст кардани садо ва сифати сигнал

Манбаи дурусти ҳақиқат: тағир додани агрегатҳо (қоидаҳои сабт), на бо ибораҳои вазнини "хом".
Deduplication - Гурӯҳҳои Alertmanager аз рӯи 'хидмат/минтақа/вазнинӣ'.
Иерархия: ҳушдори аввал ба тиҷорат/SLI, дар зер - ченакҳои техникӣ ҳамчун ташхис.
Фишор: ҳангоми нигоҳдорӣ/озодкунии банақшагирифташуда (эзоҳ), ҳангоми ҳодисаҳои болооб.
Кардинал: 'Корбар _ ид/session _ id' -ро дар тамғакоғазҳои ҳушдор истифода набаред.
Огоҳиҳои санҷишӣ: триггерҳои муқаррарии "омӯзиш" (санҷиши каналҳо, нақшҳо, пайвандҳои runabook).

5) Масир ва авҷ гирифтани Alertmanager

yaml route:
group_by: [service, region]
group_wait: 30s group_interval: 5m repeat_interval: 2h receiver: sre-slack routes:
- matchers: [ severity="page" ]
receiver: pagerduty-sre continue: true
- matchers: [ service="payments-api" ]
receiver: payments-slack

receivers:
- name: pagerduty-sre pagerduty_configs:
- routing_key: <PD_KEY>
severity: "critical"
- name: sre-slack slack_configs:
- channel: "#alerts-sre"
send_resolved: true title: "{{.CommonLabels. service }} {{.CommonLabels. severity }}"
text: "Runbook: {{.CommonAnnotations. runbook }}"

inhibit_rules:
- source_matchers: [ severity="page" ]
target_matchers: [ severity="ticket" ]
equal: [ "service" ]

Идея: SEV = саҳифа → Pager боқимонда Slack/чипта аст. Боздоштан "риш" -и сатҳҳои поёниро бо SEV-и фаъол дар боло пахш мекунад.

6) Огоҳии Графана (ҳамчун қабати иловагӣ)

Қоидаҳои мутамаркази ҳушдор дар панели панелҳо (Prometheus/Loki/Cloud).
Нуқтаҳои тамос: PagER Duty/Slack/Email, Қоидаҳои огоҳӣ дар як папка.
Хомӯшӣ: корҳои банақшагирифташуда, муҳоҷират, релизҳо.
Суратҳо бо скриншотҳои худкори панел дар чипта.

7) Равандҳои занг ва зинда

Гардиш: хати 1 (SRE/платформа), хатти 2 (соҳиби хидмат), 3-юм (DB/Пардохтҳо/Sec).
Реаксияҳои SLA: шинохтан ≤ 5 дақиқа (SEV1), ташхис ≤ 15 дақиқа, иртибот ҳар 15-30 дақиқа.
Каналҳои навбатӣ: '# evistence-warroom', '# status-updates' (танҳо далелҳо).
Runbooks: истинод дар ҳар як ҳушдор + фармонҳои зуд ('/бозгашт ', '/ях кардан', '/миқёс ').
Огоҳиҳои омӯзишӣ: ҳармоҳа (санҷиши одамон, каналҳо, аҳамияти runabook).

8) Ҳодисаҳо: Давраи ҳаёт

1. Муайянкунӣ (ҳушдор/гузориш/синтетика) → Эътироф кардани занг.
2. Сегона: муайян кардани SEV/зарардида/гипотеза, ҳуҷраи кушоди ҷанг.
3. Стабилизатсия: rolls/rollback/scaling/phicheflags.
4. Алоқа: қолаби ҳолат (ба зер нигаред), ETA/қадамҳои оянда.
5. Пӯшида: тасдиқи барқароркунии SLO.
6. Шарҳи пас аз ҳодиса (RCA): Пас аз 24-72 соат, ҳеҷ гуна пардохт, ашёи амал.

• Чӣ шикаста/таъсир дорад (минтақа/иҷорагир/канал)
• Вақте ки оғоз/SEV
• Тадбирҳои муваққатӣ (сабуккунӣ)
• Навсозии ҳолати навбатӣ дар дақиқаҳои N
• Тамос (Мудири ҳодисаҳо)

9) Хусусиятҳои IGaming: минтақаҳо ва огоҳиҳои "дард"

Пардохтҳо/TTW: ҳиссаи танаффуси PSP, зиёд шудани нокомии код, TTW p95> 3m.
Қуллаҳои мусобиқа: p99 API/вақти оғози бозӣ/ақибмонии навбатӣ; пешбурди маҳдудиятҳо/миқёси худкор.
Хулосаҳои маблағҳо: SLA-и чекҳои дастӣ/дастӣ, маҳдудиятҳо аз рӯи кишварҳо.
Таъминкунандагони бозӣ: дастрасӣ аз ҷониби студия, вақти оғози сессия, тарки оғоз.
RG/Мувофиқат: пардаи ҷаласаҳои тӯлонӣ/" догон", ки аз ҳадди ниҳоӣ зиёданд - на саҳифа, балки чипта + огоҳӣ ба дастаи RG.

10) Намунаҳои қоида (ихтиёрӣ)

Таъхири баланд p95 (API)

promql alert: HighLatencyP95 expr: histogram_quantile(0. 95,
sum by (le, service) (rate(http_request_duration_seconds_bucket{service="api"}[5m]))) > 0. 25 for: 10m labels: { severity: "page", service: "api" }
annotations:
summary: "p95 latency > 250ms"
runbook: "https://runbooks/api/latency"

Навбати пешбар "дар"

promql alert: WithdrawalsQueueLag expr: max_over_time(queue_lag_seconds{queue="withdrawals"}[10m]) > 300 for: 10m labels: { severity: "page", service: "payments-worker" }
annotations:
summary: "Withdrawals lag >5m"
runbook: "https://runbooks/payments/queue"

Табдили пардохт ғӯтонда шуд

promql alert: PaymentConversionDrop expr:
(sum(rate(payments_success_total[15m])) / sum(rate(payments_attempt_total[15m])))
< (payment_conv_baseline - 0. 003)
for: 20m labels: { severity: "page", domain: "payments" }
annotations:
summary: "Payment conversion below baseline -0. 3%"
runbook: "https://runbooks/payments/conversion"

11) Чатҳо ва автоматизатсия

Огоҳиҳои худкор бо тугмаҳои амал: Қатъи канарӣ, Rollback, Scale + N.

Ихтисороти фармон: '/оғози ҳодиса ', '/навсозии вазъ', '/занг <соҳиби> ', '/grafana '

Ботҳо контекстро мустаҳкам мекунанд: охирин деплои, графикаи вобастагӣ, намунаҳо, чиптаҳои алоқаманд.

12) Кори пас аз ҳодиса (RCA)

Фактҳо: Вақт, чӣ дид/озмуд, чӣ кор кард.
Сабаби асосӣ: сабабҳои техникӣ ва ташкилӣ.
Муайянкунӣ ва муҳофизат: Кадом сигналҳо кӯмак карданд/ноком шуданд.
Ҷузъҳои амал: вазифаҳои мушаххас (SLO/огоҳиҳо/рамзҳо/маҳдудиятҳо/санҷишҳо/runabook).
Мӯҳлатҳои муқарраршуда ва соҳибон: мӯҳлатҳо ва масъулиятҳо; ҷаласаи минбаъда дар 2-4 ҳафта.

13) Рӯйхати санҷиши амалисозӣ

1. SLI/SLO-ро барои ҷараёнҳои асосӣ муайян кунед (API/Пардохтҳо/Бозиҳо/TTW).
2. Танзими қоидаҳои сабт ва огоҳиҳои бисёрсоҳавӣ + масири Alertmanager.
3. Ворид кардани занг бо гардиш, реаксияи SLO ва шиддат.
4. Огоҳиномаҳо дар бораи runbook ва фармонҳои Chat-Ops.
5. Танзими тирезаҳои фурӯзон/ором, эзоҳҳои озод/корӣ.
6. Ҳушдорҳои омӯзишӣ ва сенарияҳои рӯзи бозиро эҷод кунед (тарки PSP, болоравии p99, болоравии ақибмонии навбат).
7. Сифати ҳушдорро чен кунед: MTTA/MTTR,% ғавғо/дурӯғ, фарогирӣ аз ҷониби SLO.
8. RCA-ҳои мунтазам ва аз нав дида баромадани ҳудудҳо/равандҳо.
9. Ҳолати муоширатро ворид кунед/дастгирӣ кунед (қолибҳо).
10. Ҳама чизро ҳамчун рамз ҳуҷҷатгузорӣ кунед: қоидаҳо, хатсайрҳо, истиноди runabook.

14) Анти-намунаҳо

Ҳушдор аз ҷониби "ҳар як метрик →" ҳушдор-фетиг, нодида гиред.
Не SLO → маълум нест, ки "муқаррарӣ" ва "дар оташ" чист.
Ҳеҷ гуна фишор/ҷилавгирӣ § такрори тарма нест.
Саҳифа дар шаб барои рӯйдодҳои хурд (SEV бо Таъсир қиёс карда намешавад).
Огоҳиҳо бе дафтар/соҳиби.
Амалҳои "дастӣ" бидуни Chat-Ops/аудит.
Ягон объекти RCA/Action → ҳодисаҳои такрорӣ нест.

Хулоса

Огоҳӣ ва вокуниш як раванд аст, на маҷмӯи қоидаҳо. Link SLO бо огоҳиҳои бисёрсоҳавӣ, шиддатёбии возеҳи зангро эҷод кунед, Chat Он гоҳ ҳодисаҳо камтар, кӯтоҳтар ва арзонтар мешаванд ва релизҳо ҳатто дар соатҳои гарми IGaming пешгӯишаванда хоҳанд буд.