Operasiýa tagtasy

(Bölüm: Amallar we Dolandyryş)

1) Bellenilmegi we ýörelgeleri

Operasiýa daşbordy - platformanyň saglygyna gözegçilik etmek we hereket etmek üçin "ýekeje penjire". Ulanyjynyň roly (SRE, Product, Finans, Compliance, Support, Partnýorlar) kontekstinde metrikleri, wakalary, aladalary we iş görkezijilerini jemleýär.

• Actionable by design: Her widgetda hereket düwmesi (rollback, pauze, re-run, re-route) bar.
• Role-aware: Hukuk we jikme-jiklik derejesi/tenantyň/sebitiň roluna baglydyr.
• Source-of-truth: sanlar billing/žurnallar/kwitansiýalar bilen gabat gelýär.
• Near-real-time + taryhy: wakalar üçin sekunt/minut, tendensiýalar üçin aýlar/ýyllar.
• Explainability: Islendik agregat 'trace _ id' bilen çig wakadan öň açylýar.

2) Rollar we ssenariýalar (kim we näme üçin gelýär)

SRE/Platforma: elýeterlilik, gizlinlik p50/p95/p99, ýalňyşlyk/retrailer, capacity, cost per 1k wakalar.
Önüm/Amallar: E2E-Success Rate, öwrülişik, hyzmatdaşlaryň onbording wagty, aýratynlyklar.
Maliýe/FinOps: girdeji/COGS/CM, egress/ingress, býudjetler we kaplar, gyşarmalar.
Komplayens/Howpsuzlyk: kwitansiýalar/gollar, PII-soraglar, SoD-bozmalar, resertifikasiýa ýagdaýy.
Support/CS: biletleriň nobaty, hyzmatdaşlar we sebitler boýunça MTTA/MTTR, SLA.
Hyzmatdaşlar/Tenantlar: SLO-nyň öz metrikleri, webhuklaryň, usage we kwotalaryň ýagdaýlary.

3) Demirgazyk ýyldyz we esasy SLI/SLO

North Star: E2E Success Rate her sebitde p95 maksatly möhüm ugurlar boýunça.

• per-kanal/sebit elýeterliligi.
• Gizlinlik p50/p95/p99.
• Error-rate we retraýlaryň paýy.
• Webhuklary eltmegiň üstünligi (kwitansiýalar bilen%).
• 1k wakalaryň we egress/ingressiň birligi üçin bahasy.
• Wakalaryň gysgaça mazmuny: MTTA, MTTR, error-budget burn.

• Elýeterliligi ≥ 99. 95 %/sebit/kanal.
• p95 ≤ 120 ms (vitrin), ≤ 250 ms (checkout/quote).
• Webhuklaryň üstünligi ≥ 99. 5 minutda 5%. penjire.
• Δ we checkout = 0 arasynda (± 1 minor unit).
• Reaksiýanyň wagty P1 ≤ 10 minut, MTTR ≤ 60 minut.

4) Daşbord maglumatlarynyň arhitekturasy

Waka tekeri: telemetriýa (traces/metrics/logs), işewürlik çäreleri, billing, laýyklyk.
Akym/agregasiýa: near-real-time üçin penjireler T + 5s/T + 1m; Kepillendirilen gowşuryş üçin CDC/outbox.
Ammar: time-series (operasiýa), OLAP (uzak taryh), WORM-magazinesurnallar (audit).
Semantik gatlak: metrikler sözlügi, ölçeg birlikleri, sebitler we tenantlar boýunça kadalaşma.
Çig mal üçin link: drill-down do 'trace _ id '/' event _ id' we gollar (receipt_hash).

5) Interfeýsiň we widjetleriň dizaýny

Global şlýapa: süzgüçler (wagt, sebit, tenant, önüm, gurşaw), ýagdaý görkezijileri.
Plitkalar (KPIs): E2E Success, elýeterlilik, p95, error-rate, cost/1k, egress.
Grafikler: sparkline trendleri, sebitler boýunça heat-map, persentil grafikler.
Tablisalar: ýokary ýalňyşlyklar, pese gaçýan hyzmatdaşlar, kwotalaryň artykmaçlygy, ýapylmadyk hadysalar.
Hereket bölümleri: "Mahabatyň arakesmesi", "Çyzygyň yza süýşürilmegi", "Kwotany ýokarlandyrmak", "Eltip bermegi täzeden başlamak".
Context-help: metrika/usulyýet boýunça maslahatlar we SLO bilen baglanyşyk.

6) Daşbord modullary (maslahat berilýän toplum)

1. Platformanyň saglygy: elýeterlilik/gizlinlik/ýalňyşlyklar, burn-down error-býudjet.
2. Hyzmatdaş integrasiýalary: webhuklaryň ýagdaýy, kwitansiýalar, idempotent dubllary, lag nobatlar.
3. Checkout & Bahalar: "fx _ version", "tax _ rule _ version", "FX _ version", "FX _ version", "FX", "FX", "FX", "FX", "FX", "FX", "FX", "FX", "FX", "FX".
4. Mazmun/kataloglar: çap edilen wagty, keshiň/maýypyň ýalňyşlyklary, freshness.
5. RTP & Limits (mümkin bolsa): teor. vs observed RTP, limitleriň işlemegi, ekspozisiýa.
6. FinOps: COGS/birlik, egress/ingress, compute/storage, býudjetler/kap-alertler.
7. Howpsuzlyk/Compliance: SoD, JIT, MFA, gol çekilen amallar, PII-soraglar we magazinesurnallar.
8. Support: nobatlar, MTTA/MTTR, sebäpler, awto-runbook.
9. Release/Feature Flags: relizleriň statuslary, kanar sebitleri, hadysalar bilen regressiýalaryň awtomatiki ýelmemesi.
10. Experiments: A/B guardrails, SLI/ROI-e täsir edýär.

7) Alertler, runlar we güýçlenmeler

'trace _ id' -den ses aýyrmak we duplikasiýa etmek bilen P1-P3 derejesiniň alertleri.
Awto-runbook: açylanda - barlaglary/fiksleri başlamak (nagt pullary arassalamak, marşrutlary üýtgetmek, mahabaty duruzmak).
Eskalasiýa: matrisa 24 × 7, jogap SLO, kanallar (chat/voice/SMS), "gyzyl düwme".
Post-incident: sebäp-netije baglanyşyklary we action items hasabatlarynyň şablonlary.

8) Köp sebitlilik we multi-tenant

Dilimler: sebit/tenant/kanal/üpjün ediji, garaşsyz SLO we býudjetler.
Ynam zolaklary: PII/maliýe maglumatlary - diňe degişli ugurlarda, galanlary - agregatlarda görünýär.
Cost-aware: p95 deň bahadan marşrutlary deňeşdirmek; optimizasiýa boýunça teklipler.

9) Howpsuzlyk we gizlinlik

RBAC/ABAC: rollar boýunça görünmek we hereket etmek; Önüme eýelik etmek üçin ReBAC.
Gollar we kwitansiýalar: maliýe/möhüm wakalar üçin - heşler we DSSE-kwitansiýalar.
PII-arassaçylyk: tokenizasiýa, maskalanmak, diňe tassyklanan joblar arkaly elýeterlilik.
Audit: Konwensiýalary/rollary/çäkleri üýtgetmek üçin WORM-magazinesurnallar, köpeltmek.

10) Metrik maglumatlaryň nusgasy (mysal)

`metric` `{name, unit, type: counter/gauge/hist, owner, sla_ref}`

`dim` `{region, tenant, product, provider, version, environment}`

`point` `{metric, value, ts, dims{}, trace_id, signature?}`

`event` `{type, severity, subject_id, payload_hash, receipt_hash, ts}`

`slo` `{name, target, window, burn_rate, owners[], runbook_url}`

`alert` `{slo_ref, condition, status, ack_by, acknowledged_at, runbook_step}`

11) Dashbordyň API/webhuklary

'POST/ingest/metrics' - metrikleri kabul etmek (shema, çäkler, autentifikasiýa).
'POST/ingest/events' - iş wakalary (wersiýalary/gollary).
`GET /kpis? filters... '- widget agregatlary.
'GET/traces/{ trace _ id}' - çuňňur mahabat.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookDeliveryLag`, `SecuritySoDViolation`.

12) Maglumatlaryň hili we synaglar

Data contracts: shemalar we kabul ediş wersiýasy ('expand → migrate → contract').
Anomaliýalar: geçişlere/böküşlere gözegçilik etmek, "flatline "/" noise" bosagalary.
Sample: high-QPS üçin metrik - süýşýän, wekilçilikli.
Backfill: wersiýa bellikli ygtybarly yzyna ýüklemeler.

13) Daşbordyň metrikleri (metrik metrikler)

UI/API elýeterliligi ≥ 99. 9%.
Latency p95 API ≤ 300 ms.
Completeness: maglumatlary penjireden iberen çeşmeleriň paýy 99 ≥. 5%.
Freshness: lag inkremental täzelenmeler ≤ 30 s.
Correctness: salgylanma hasabatlaryndan tapawut ≤ 0. 1%.

14) Ykdysadyýet we FinOps daşbordda

Cost per 1k provayder/sebit boýunça bölünen wakalar.
Egress/Ingress ýylylyk kartlary, kesh/routing teklipleri.
Býudjetler/kap-alertler: 80/90/100%, awtotrotling we ileri tutulýan ugur.

15) Elýeterlilik we UX

Gijeki tema, gysga gollar, status nyşanlary.
Klawiatura nawigasiýasy we a11y: kontrast, alt, aria bellikleri.
Saklanan presetler: "SRE nobaty", "maliýe", "hyzmatdaş".
Snapshotlar we şering: süzgüçler we baglanyşyk/eksport bilen ýagdaýy düzetmek.

16) Töwekgelçilikler we anti-patternler

Dash-sprawl: Metrik sözlüksiz 20 dürli daşbord.
Vanity-metrikler: SLO/hereketler bilen aragatnaşyksyz owadan grafikler.
Sanlaryň gabat gelmezligi: hasabatlar ≠ billing/audit.
Şowhunly aladalar: ýadawlyk we P1 geçişleri.
Drill-down ýoklugy: başlangyç we sebäplere ýetmek mümkin däl.

17) Girizmegiň çek-sanawy

• Rollary we ssenariýalary kesgitlemek; North Star we SLI/SLO bilen ylalaşmak.
• Metrikler we birlikler sözlügini başla; data contracts.
• Ingest (metrics/events/traces), OLAP we WORM auditini guruň.
• Esasy modullary durmuşa geçirmek (saglyk, hyzmatdaşlar, barlag, FinOps, howpsuzlyk).
• Run we eskalasiýa bilen alertleri goşmak; "gyzyl düwme".
• Hereketleri goşuň: rollback/pause/re-route/raise-limit.
• Sebitlere/tenantlara görä heat-map gurmak; süzgüçler we presetler.
• Sanlaryň billing/kwitansiýalar bilen ýygnalmagyny barlamak.
• Oýun-gün (GameDay): üpjün edijini öçürmek, retrainiň göçmegi, bahalaryň sinhronlaşmagy.
• SLO hepdelik gykylyk we post-mortem hili.

18) RACI

19) FAQ

Hasabatlaryň hemmesini daşbord bilen çalşyp bolarmy?
Ýok. Daşbord - operasiýa we hereketler üçin; resmi hasabat/audit - aýry-aýry artefaktlar.

Näçe "hakyky wagt" gerek?
Wakalar üçin - sekunt/minut, ykdysadyýet üçin - minut/sagat; mutlak "onlaýn" däl-de, sazlaşyk möhümdir.

Alertleriň sesine nädip garşy durmaly?
SLO-gönükdirilen şertler, agregasiýa, 'trace _ id' boýunça de-duplikasiýa, ileri tutulýan we awto-runbuklar.

Metrleriň dogrulygyny nädip barlamaly?
Salgylanma hasabatlary, synag görnüşleri, gözegçilik nusgalary we WORM-žurnallary bilen yzygiderli deňeşdirmeler.

Gysgaça maglumat: Operasiýa tagtasy "owadan tagta" däl-de, dolandyryş guraly: birmeňzeş SLI/SLO, interfeýsden hereket etmek, çig mala ýol açmak we billing we audit bilen berk utgaşdyrmak. Wakanyň arhitekturasynda guruň, rollar boýunça kontekst beriň, runlary we güýçlenişleri goşuň - we öňünden aýdyp boljak amallary, çalt çözgütleri we durnukly ösüşi alarsyňyz.