Amal gatlagynyň arhitekturasy

1) Amal gatlagynyň wezipesi

Operasiýa gatlagy, öňünden aýdyp boljak işlemegi üpjün edýän platforma we tejribe toplumydyr: çalt çykarylmalar, pes MTTR, laýyklyk we dolandyrylýan baha. Önümler we infrastruktura üçin perilleri döredýär: standartlar, awtomatlaşdyryş, gözegçilik, üýtgeşmeleri dolandyrmak we howpsuz elýeterlilik.

2) Logiki model (tekizlikler we domenler)

┌────────────────────────────────────────────────────────┐
│        Interface Plane (UX)          │← ChatOps/Portals/API
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Control Plane: Policy, Orchestration, Identity, CMDB │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Data/Execution Plane: CI/CD, Jobs, IaC, Runtime Ops  │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Telemetry Plane: Logs, Metrics, Traces, SLO Dashboards │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Security & Compliance Plane: Secrets, RBAC, Audit, IR │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Finance/Cost Plane: Usage, Quotas, Budgets, FinOps   │
└────────────────────────────────────────────────────────┘

• Hyzmat katalogy/CMDB: hyzmatlaryň, eýeleriň, SLO-laryň, garaşlylyklaryň bitewi sanawy.
• Orkestr: paýlaýynlar, wezipeler, täçler, yzlar, DR.
• Syýasatlar (Policy-as-Code): töwekgelçilikler, elýeterlilik, retentions, change-gates.
• Syn edilişi: metrikler/söwdalar/loglar, SLI/SLO, alertler we status-sahypa.
• Elýeterliligi/syrlary: JIT/JEA, tokenler, kripto, KMS/Vault.
• Wakalar/üýtgeşmeler: ITSM/biletler, CAB/RFC, post-mortemler, simulýasiýalar.
• DataOps: maglumat şertnamalary, täzelik, lineage, hil.
• FinOps: çykdajylary, çäkleri, kwotalary, optimizasiýalary hasaba almak.

3) Salgylanma akymlary

3. 1 Goýbermek (CI/CD → GitOps)

1. Kod/manifestli PR → synaglar/skanlar → artefaktlaryň goly.
2. SLO gardrailleri bilen progressiw depla (kanareýa/gök ýaşyl).
3. Zaýalananda awto-rollbek; telemetriýada goýberilişiň düşündirişleri.

3. 2 Waka (Detect → Respond → Recover)

1. Burn-rate/alamatlar + kworum → Page + war-room.
2. Ýollar/bloglar boýunça diagnostika; pleýbuklar.
3. Yzyna/folbek/çäkleri → AAR/RCA → CAPA.

3. 3 Üýtgetmek (RFC/CAB)

1. Töwekgelçilik seljermesi + hyzmat penjiresi + backout-plan.
2. Kritiki däl alertleriň suppressiony, SLO-signallary işjeň.
3. Evidence we hasabat, syýasata täzeden garamak.

4) Hyzmat katalogy we CMDB

Atributlar: eýesi, SLI/SLO, garaşlylyk (içerki/daşarky), daşbordlar, alertler, runbook 'i, maglumat synplary (PII/maliýe), zonalar (prod/stage/dev).
Awto-doldurmak: CI/CD, telemetriýa we repozitoriýalardan.
Ulanylmagy: alertleriň marşrutlaşdyrylmagy, eskalasiýa, blast radius hasaplamasy, kämillik boýunça hasabat.

5) Kod hökmünde syýasatlar (Policy-as-Code)

Kategoriýalar: Elýeterlilik (RBAC/ABAC), Howpsuzlyk (SAST/SCA/DAST), Alertler/SLO, Retensiýa, change-gates, çeşmeler/kwotalar.
Mehanika: deklaratiw düzgünler (YAML/Rego/CEL), CI-de tassyklama, Control Plane-de mejbury ýerine ýetirmek.
Geýt mysaly: "Eger SLO-laryň hemmesi ýaşyl bolsa, işjeň SEV-1 ýok bolsa, synaglar geçse, gollar dogry bolsa, deploga rugsat berilýär".

6) Orkestrlemek we ýerine ýetirmek

CI/CD: build → scan → sign → promote.
Jobs/CronJobs/DAG: yzlar/aýlanmalar/yzlar; möhletler we bäsdeşlik (Forbid/Replace).
Hereketsizlik we yza gaýdyp gelmek: check-then-act, ädim bellikleri, circuit-breaker.
Başlamak hukugy: JIT hasaplary, çäkli skope; audit.

7) Signallaryň synlanylyşy we hili

SLI/SLO domenler boýunça: elýeterlilik/gizlinlik/işewürlik amallarynyň üstünligi, maglumatlaryň täzeligi.
Alertler: burn-rate iki penjirede, kworum, dedup/rate-limit, runbook we eýesi.
Loglar/metrikler/söwdalar trace_id bilen baglanyşykly; grafikalardan bloglara çenli kanallar.
Status-sahypa: şablonlar, täzelenmeleriň ýygylygy, neşirleriň barlagy.

8) Elýeterlilik, syrlar, kripto

Gizlin saklaýyş (KMS/Vault), aýlanyş, repoda gizlin saklamagy gadagan etmek.
JIT/JEA: amalyň/çalşygyň wagtyna hukuklaryň berilmegi.
Hyzmatlaryň arasynda mTLS/OIDC; Şekilleriň goly/SBOM.
Audit: üýtgewsiz magazinesurnallar, möhüm hereketler üçin WORM.

9) Hadysalar, üýtgeşmeler, hyzmat penjireleri

Wakalar: SEV-matrisa, IC/TL/Comms/Scribe, täzelenme şablonlary, AAR → RCA → CAPA.
Üýtgeşmeler: RFC/CAB, töwekgelçilik bahalandyrmasy, kanareýkalar, backout.
Hyzmat penjireleri: wagt, aragatnaşyk, suppression düzgünleri, evidence saýlamak.

10) Operasiýa gatlagynda DataOps

Maglumat şertnamalary (shemalar, täzelik/doly SLA).
Her gatlakda DQ synaglary (Bronze/Kümüş/Gold).
Lineage we kataloglar; nika üçin karantin.
Täzelik/dreýf boýunça SLO maglumatlary we alertler.

11) FinOps we bahasy

Birlik ykdysadyýeti: $/1k soraglar, $/üstünlikli amal, $/GiB log, $/SLO nokady.
Kwotalar/çäkler: egress, log-göwrümler, wezipeleriň dowamlylygy.
Optimizasiýa: partiýa/nagt/materiallaşma/arhiw (hot-warm-cold).
Hasabatlar: arzan "gymmat" hyzmatlar/soraglar, artykmaç sarp etmek üçin töwekgelçilikler.

12) Interfeýsler: ChatOps/Portals/API

Platforma portaly: hyzmatlaryň katalogy, "deploy/yzyna" düwmeleri, SLO statusy, penjire yuvalary, syýasatlar.
ChatOps: `/deploy`, `/handover start`, `/mw create`, `/status update` — с аудитом и evidence.
API: ITSM/HR/billing/üpjün edijiler bilen integrasiýa üçin.

13) Jogapkärçilik modeli (RACI)

Platform/SRE: gözegçilik tekizligi, syýasatlar, gözegçilik, aýlanyş.
Product/Dev: SLO services, relizler, pleýbuklar.
Howpsuzlyk: syrlar, gowşaklyklar, IR.
Data/Analytics: DataOps, täzelik/hil SLA.
Compliance/Legal: düzgünleşdiriji, saklamak evidence.
Support/Comms: status-sahypa, müşderi habarlary.

14) Operasiýa gatlagynyň kämillik ölçegleri

SLO coverage: Belli bir SLI/SLO we burn-rate bilen% hyzmatlar.
Alert hygiene: actionable ≥80%, FP ≤5%, alerts/on-call-hour (p95).
DORA: deploew ýygylygy, lead time, MTTR, change-failure-rate.
Change governance: RFC üýtgemeleri%, "on-time" penjireleri%, yza gaýdyp gelmek%.
Howpsuzlyk: syrlaryň/şahadatnamalaryň ortaça aýlanma wagty, gowşak goralanlyklaryň ýapylmagy.
FinOps: Koq tygşytlamagyň $/birligi we%.
Docs: runbook/SOP ýapmak, täzelik (90 günden ≤).

15) Çek-sanawy "iň az durmuşa ukyply iş gatlagy (MVP)"

• Hyzmat katalogy/CMDB eýeleri, SLO, endikler we daşbordlar bilen.
• CI/CD + GitOps, artefaktlaryň goly, progressiw neşirler, awto-yza gaýdyp gelmek.
• trace_id we SLO-alertler (goşa penjireler, kworum) bilen birleşdirilen telemetriýa (loglar/metrikler/söwdalar).
• Policy-as-Code: girelgeler, aladalar, retents, change-gates.
• Gizlin ammar, JIT/JEA, mTLS/SSO, üýtgemeýän audit.
• ITSM/hadysalar: SEV matrisa, pleýbuklar, status sahypasy, täzelenme şablonlary.
• Hyzmat penjireleri: senenama, RFC şablonlary, backout meýilnamalary, evidence.
• FinOps: çykdajylaryň, kwotalaryň/çäkleriň, hasabatlaryň görünmegi.
• Resminamalar (Docs-as-Code), SOP/Runbook şablonlary, önüme taýýarlyk barlagy.

16) Anti-patternler

Dolandyryş tekizligi we syýasaty bolmadyk "Platforma = skriptlar toplumy".
Gözegçilik "hemme zatdan" → alertleriň göçmegi, alert fatigue.
GitOps/auditsiz el bilen prod-üýtgeşmeler.
Ammar we aýlawsyz üýtgeýän gurşawdaky syrlar.
SLO ýoklugy: hil maksatlary hakda däl-de, duýgular hakda jedel edýäris.
Eýeleriň bölek kataloglary/tablisalary → ýiten eskalasiýa.
"High-risk" -iň "backout" meýilnamasy ýok.
Gurluşsyz/korrelýasiýa → uzak derňewler.

17) Kiçi şablonlar

17. 1 Hyzmat kartoçkasy (katalog)

Service: checkout-api
Owner: @team-checkout
SLO: availability 99. 9% (28d), p95 latency ≤ 250 ms
Dependencies: payments-api, auth, redis, psp-a
Dashboards: SLO, errors, latency, capacity
Runbooks: rb://checkout/5xx, rb://checkout/rollout
Data: PII masked; retention 30d logs, 365d audit
Change gates: canary 1/5/25%, auto-rollback on burn-rate breach

17. 2 Alertiň syýasaty (ideýa)

yaml id: checkout-latency-burn type: burn_rate sli: http_latency_p99 windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
quorum: [ "synthetic:eu,us", "rum:checkout" ]
owner: team-checkout runbook: rb://checkout/latency routing: page:oncall-checkout controls: {dedup_key: "svc=checkout,region={{region}}", rate_limit: "1/15m"}

17. 3 Gate deploi (psevdo)

yaml allow_deploy_when:
tests: passed signatures: valid active_sev: none_of [SEV-0, SEV-1]
slo_guardrails: green_last_30m rollback_plan: present

18) Durmuşa geçirmegiň ýol kartasy (8-12 hepde)

1. Ned. 1-2: hyzmatlaryň sanawy → katalog/CMDB; esasy SLI/SLO we daşbordlar.
2. Ned. 3-4: GitOps + progressiw goýberişler; Policy-as-Code.
3. Ned. 5-6: ýekeje telemetriýa we status-sahypa; kworum bilen burn-rate; runbook örtügi.
4. Ned. 7-8: syrlar/JIT, üýtgemeýän audit; RFC/hyzmat penjireleri.
5. Ned. 9-10: FinOps hasabatlylygy, kwotalar/çäkler; loglary we saklamagy optimizirlemek.
6. Ned. 11-12: hadysalaryň simulýasiýasy/DR; kämillik metrikasy; yzygiderli gowulaşmagyň meýilnamasy.

19) Jemleýji

Operasiýa gatlagynyň arhitekturasy gözegçilik tekizligi we ulanylyşy gaýtalanýan, ölçelip bolýan we howpsuz prosese öwürýän standartlaşdyrylan amallar. Hyzmat katalogy, GitOps, telemetriýa, syýasatlar, howpsuz elýeterlilik we dolandyrylýan üýtgeşmeler durnukly goýberişleri, çalt dikeldiş we aç-açan bahany, ýagny iş üçin öňünden aýdylýanlygy berýär.