Դիտողությունն ու հեռուստատեսությունը

(Բաժին ՝ Տեխնոլոգիաներ և ենթակառուցվածքներ)

Live ռեզյումե

Դիտարկումը «ինչու է այն աշխատում»։ առանց վճարումների նոր տոմս։ IGaming-ում դա քննադատական է 'պիցցային կիսագնդեր, ստացիոնար պիկի, բազմաբնույթ և պահանջներ պատասխանատու հեմբլինգի/PII-ի համար։ Բազիս - մետրիկներ, լոգներ, հետքեր, որոնք համախմբված են համապատասխան լուծիչների և ստանդարտների (OpenTelemetry), SLO պայմանագրերի, աղմկոտ ալերտինգի և արժեքի վերահսկման հետ։

1) Դիտարկման շրջանակը 'որից այն կազմված է

Մետրիկները (ժամանակ) 'RED/USE, բիզնես-KPI, SLI։ Պահպանվում են TSDB-ում։

Լոգները (իրադարձություններ տեքստում/JSON) 'աուդիտ, սխալներ, բիզնես փաստեր, անվտանգություն։

Ուղիներ (սպեններ) 'հարցման ուղին ծառայությունների, լատենտության, ձերբակալման պատճառների միջոցով։

Podayling: CPU/հիշողություն/eBPF հոսքեր, heap/www.k-կոնտենշն։

RUM և սինթեզիկան 'իրական օգտագործողներ (web/app) + ռոբոտային ստուգումներ։

Հեռուստաչափության կատալոգը 'սխեմաներ, PII քաղաքականությունը, պահեստավորման ժամանակը, արժեքի տեգերը։

2) Ազդանշանների և սկզբունքների տաքսոնոմիա

RED для API: Rate, Errors, Duration.

USE ենթակառուցվածքի համար 'Utilization, Saturation, Errors (CPU, սկավառակներ, ցանցեր, գծեր)։

SLI/SLO ՝ չափված ցուցիչներ (օրինակ, հաջողակ հարցումներ/բոլորը, p95 latency), հասանելիության նպատակները (օրինակ ՝ "99։ 9 տոկոսը 30 օրվա ընթացքում"), սխալների բյուջեն կատարվում է գործընթացների ձգողներով։

High-cardinality-ը մտքով 'պիտակները պետք է օգտակար լինեն կտրվածքներում (տարածք/տենանտ/պրովայդեր), բայց ոչ պայթեցնել TSDB-ը։

3) Ստանդարտներ և հարաբերակցություն

OpenTelemetry (OTel) 'մեկ MSK/արձանագրություն մետրիկի, լոգարանների և հետքերի համար։

Ցուցիչները ՝ «trace _ id», «բանաձև _ id», «www.relation _ id», «player _ id» (կեղծանունային), «payment _ rome»։

ID 'մուտքային կողպեքները պարունակում են բոլոր միկրովայրկյանները վճարելու/PSA/job/metrics/spens։

Օրինակ 'հարաբերականության վերնագրեր


traceparent: 00-<trace_id>-<span_id>-01 x-request-id: <correlation_id>

4) Metriki: Ի՞ նչ և ինչպես ենք չափում և չափում

Անվանումը/պիտակները

`service="payments-api"`, `env="prod"`, `region="eu-west"`, `tenant`, `provider="pspX"`.

Prometheus օրինակներ

prometheus
RED http_requests_total{service="api",route="/deposit",method="POST",status="200"}
http_request_duration_seconds_bucket{service="api",le="0. 25",route="/deposit"} 1234 http_request_errors_total{service="api",route="/deposit"}

USE cpu_utilization_ratio{node="n1"} 0. 71 queue_depth{queue="withdrawals"} 128

Бизнес payments_success_total{psp="X",currency="EUR"} 4521 payment_conversion_ratio{route="pspX"} 0. 948

Գիստոգրամները և exemplars

Պահպանեք լատենտության հիստոգրամները (native-histograms/wwww.uckets) և կապեք exemplar հետ «trace _ id» -ի հետ «պղնձի բաքից» դեպի կոնկրետ ուղու։

5) Լոգներ ՝ կառուցվածքային և անվտանգ։

Միայն JSON (ոչ «free-form» վաճառքում)։

Поля: `timestamp`, `severity`, `service`, `trace_id`, `correlation_id`, `player_id_hash`, `event`, `amount`, `currency`, `ip_hash`.

PII-ի դիմակավորում/քաշում, առանձին ինդեքսներ/retention զգայուն համար։

Logs pline: parsing-ը կարգավորում է էներգիայի հարստացումը (geo/ASN) PII-ի խմբագրումը։

JSON իրադարձությունների օրինակ

json
{
"ts":"2025-11-05T10:42:31Z",
"sev":"ERROR",
"service":"payments-api",
"event":"psp_timeout",
"trace_id":"9c5e...e2",
"route":"pspX",
"duration_ms": 3100,
"attempt":2,
"player_id_hash":"p:1b7f...",
"pii_redacted":true
}

6) Ուղիներ. Որտե՞ ղ է կորցնում ժամանակը

Սպենները 'մուտքային հարցումը, պրովայդերների զանգերը (PFC/խաղային պրովայդերներ), BD/kash-ը, RPC-ը։

Ատրիբուտներ ՝ "db. system`, `net. peer. name`, `messaging. system`, `psp. route`, `game. provider`.

Սեմփլինգը

head-based (հավանական) ծավալի համար,

tail-based (պայմաններով ՝ սխալներ, p95 +, VIP սեգմենտը),

guaranteed-keep ստացիոնար/PII քննադատական համար։

7) Առջևի և Altaila դիտարկումը

RUM: TTFB, FCP/LCP/CLS/INP, JS, ցանցեր և SPA-routing սխալներ։

Կրաշ-զեկույցներ ՝ սիմվոլացիա, դեֆուսացում, տոմսի տարբերակ, սարք/OS։

Սինթետիկա 'մուտքի/ավանդի/տոկոսադրույքի սցենարներ; երկրաչափական ստուգումներ։

8) SLO, SLI և սխալների բյուջե

SLO (կեղծ-YAML)

yaml service: payments-api sli:
- name: availability expr: sum(rate(http_requests_total{status=~"2..    3.."}[5m]))
/ sum(rate(http_requests_total[5m]))
- name: latency_p95 expr: histogram_quantile(0. 95, rate(http_request_duration_seconds_bucket[5m]))
targets:
availability: "99. 9%/30d"
latency_p95: "<=250ms/30d"
error_budget_policy:
fast_burn: 5% for 1h -> page, freeze deploy slow_burn: 20% for 24h -> incident, improvement plan

Alerting-ը սխալներ կատարելու համար, ոչ թե «յուրաքանչյուր մետրով»։

Freeze ընթացակարգերը բյուջեի այրման ժամանակ 'սահմանափակել ածխաջրածինները/կանարները։

9) Ալերտինգը առանց աղմուկի

Multi-71, multi-burn կանոնները ՝ կարճ/երկար պատուհան։

Deduplication/ruting: ծառայություններ/տարածաշրջաններ/քննադատություն on-call-ում։

Runbook URL-ը և ենթատեքստը (վերջին deplois, եզրերի փոփոխությունները, կախվածության գրաֆիկը)։

Հանգիստ ժամացույց և ճնշում պլանավորված աշխատանքի ընթացքում։

Կանոնների օրինակ (PromQL գաղափարը)

promql alert: PaymentsSLOFastBurn expr: slo_error_rate_5m > 2 slo_budget_rate for: 15m labels: { severity="page", service="payments-api" }
annotations:
summary: "SLO fast burn"
runbook: "https://runbooks/payments/slo"

10) Պրոֆեյլինգը և eBPF-ը

EBPF/pupailers: flame գրաֆիկները CPU/alloc, I/O-լատինականությունը, ցանցային drops, Winscall-anomalia։

Օգտակար է p99, «ջիթերի» և հազվագյուտ կախվածությունների համար։

11) Բիզնես դիտարկումը (www.t & risk)

Ֆինանսներ/մոնետիզացիա 'դեպոզիտների փոխակերպում, TTW (Time-to-wallet), հեղինակներ ։/ցանցային, 108/charjbey։

Խաղային ակտիվությունը 'rentenshn/strik, մասնաբաժինը-2019, պրովայդերների «լիպտությունը»։

Անտիֆրոդ/աբյուզ 'գործողության արագություն, սարքերի համընկնում/IP, հարաբերակցություն։

RG-ազդանշանները 'երկար նստաշրջաններ, «դոգոն», սթեյքերի աճ։

Բիզնես մետրիկները կապված են տեխնիկայի և թողարկումների հետ (annotation events)։

12) Անվտանգություն, PII և համապատասխանություն

System-zones: Dadasets/logs («pii = media», «region = EU»)։

Դիմակավորում մինչև ինդեքսավորումը, ֆոսֆատորների կեղծանունացումը։

WORM-2019 մրցույթի համար; եղջերաթաղանթի հասանելիությունը։

Պահեստավորման ժամկետները 'տարբեր տեխնոլոգների/2019/բիզնեսի համար։

Հում գաղտնիքների արգելքը լոգարաններում. սկան ստուգումներ CI-ում։

13) Արժեքի կառավարումը (FinOps)

Կարդինալության լիմիտը 'ուշադիր' «user _ id», «session _ id»։

Կուսակցության/ռետենշն 'տաք (7-14 օր), տաք (30-90), սառը (արխիվ)։

Sampling (tail-based) և downsampling metric։

Բիլինգը "team '," "," tenault "թեորեմներով' հաշվետվություններ" ովքեր այրում են դիտարկումը "։

14) Գործիքներ (հանրաքվեներ)

Մետրիկները ՝ Prometheus/lake մետրի համար, Grafana dashbords։

Լոգի ՝ Loki/ELK; ingestion կանոնները, reduction/parsing։

Թրեյսներ ՝ Tempo/Jaeger/OTel-կոլեկցիոներներ; մետրի exemplars-ոսպնյակներ։

Սինթետիկ 'Blackbox-օպերատոր, զննարկիչ ռոբոտներ։

Alerting: Alertmanager/chat-2019, on-call։

Podailing: eBPF/www.inuous profiling։

15) Օրինակներ ՝ արագ ներդնել հիմքը

(a) API (կեղծ)։

python from prometheus_client import Counter, Histogram, start_http_server reqs = Counter('http_requests_total','', ['route','method','status'])
lat = Histogram('http_request_duration_seconds','', ['route'])
def handle(req):
with lat. labels(route=req. route). time():
status = app(req)
reqs. labels(route=req. route,method=req. method,status=str(status)). inc()

(b) Trace _ id Loges (middleware-գաղափար)

go tid:= ctx. Value("trace_id")
logger = logger. With("trace_id", tid)
logger. Info("deposit-accepted", "amount", amt, "route", route)

prometheus http_request_duration_seconds_bucket{..., le="0. 25"} 1023 # exemplar: trace_id=9c5e...

16) Գործընթացներ և վիրահատություն

Մեկ բառարան/պիտակներ (naming-guide) և dashbords։

Releault-annot.ru ավտոմատ գրաֆիկներում։

Միջադեպերը ՝ քարտը, թայմլայնը, RCA առանց հետաքննության, action items։

Ուսուցման անհանգստությունները («game-day») 'անկման իմիտացիա, PSA ուշացում, քեշի գերտաքացում։

Runbooks 'տուրքի հրահանգներ և ալտերտեր։

17) Հասուն թուղթ

1. OTel MSK/կոլեկցիոները պատրաստվում է մետրիկի/logs/treiss միասնական էքսպորտը։

2. RED/USE-ն ծածկում է բոլոր ծառայությունները + SLI/SLO հիմնական API-ով։

3. Փոխակերպումը 'trace _ id' noblogs metric (exemplars, jump-links)։

4. Alertas-ը multi-burn-ի և runabuk-հղումների հետ։

5. RUM + սինթեզիկան «ավանդի/տոկոսադրույքի/եզրակացության» վրա։

6. Podailing (eBPF) սպիտակ ցուցակի վրա։

7. PII քաղաքականությունը 'դիմակավորում, գոտիներ, հասանելիություն, պահեստավորման ժամկետներ։

8. Հեռուստատեսության արժեքի ֆինանսական զեկույցը (թեգեր 'team/2019 ")։

9. «Պինդ բեռի պատրաստակամությունը» 'թեստային պլան, տաքացնելով քեշը, ալֆոիդները։

10. Express RCA-ը և SLO/շեմերը։

18) Անտիպատերնի

Լոգները «պարզ» առանց կառուցվածքի և «trace _ id»։

Ալերտները յուրաքանչյուր մետրի վրա պարունակում են ալերտ-ֆետիգ։

Գիստոգրամները առանց ճիշտ տանկերի կոչվում են «հարթ» p95։

Պիտակների անսահմանափակ կարդինալությունը բացատրում է արժեքի պայթյունը։

RUM/սինթեզիկայի բացակայությունը «ամեն ինչ» է, իսկ օգտագործողը ՝ ոչ։

PII խառնուրդը տեխնոլոգների հետ, անսահմանափակ վերականգնումը։

Հեռուստատեսության մեկուսացումը բիզնես-KPI-ից '«լատենտությունը նվազում է, եկամուտները նույնպես»։

Արդյունքները

Ուժեղ դիտարկումը սննդի, SNE-ի, անվտանգության և ածխաջրածինների միջև ընդհանուր լեզուն է։ Միացնելով մետրերը, լույսերը, ուղիները OTel-ի տակ, ներկայացնելով SLO-ն սխալների բյուջեով, ալերթինգը դարձնելով խելացի և արժեքավոր, դուք ստանում եք մի համակարգ, որը նախկինում նկատում է խնդիրները, ավելի արագ վերականգնվում և կանխատեսելիորեն անցնում է պիկի պիկտիվները։

Դիտողությունն ու հեռուստատեսությունը

Live ռեզյումե

Prometheus օրինակներ

Գիստոգրամները և exemplars

JSON իրադարձությունների օրինակ

Կանոնների օրինակ (PromQL գաղափարը)

Արդյունքները

Կապ հաստատեք մեզ հետ

Արագ կապ

Տեսանյութը շուտով կթարմացվի

Այս պահին մենք ծանրաբեռնված ենք նախագծերով