Operasiýa we Dolandyryş → Operatorlar üçin AI kömekçileri

Operatorlar üçin AI kömekçileri

1) Bu näme üçin zerur?

Operatorlar alertlerde, çukurlarda we dargadylan artefaktlarda gark bolýarlar. AI kömekçisi dürli signallary düşnükli maslahatlara we taýýar hereketlere öwürýär: has çalt triaj, az el bilen işlemek, SLO-nyň has öňünden aýdylyşy.

• MTTD/MTTR we alertleriň sesini azaltmak.
• Hendowerleriň we wakadan soňky resminamalaryň hilini ýokarlandyrmak.
• "Agyr düzgüni" awtomatlaşdyrmak (konteksti, gysgaça mazmuny, biletleri gözlemek).
• Jogaplaryň/aragatnaşyklaryň bitewi standartlaryny düzmek.

2) Ulanmak ssenariýalary (Top-12)

1. Wakalaryň üçlügi: alertleriň toparlanmagy → sebäpleriň çaklamalary → ileri tutulýan ugur/täsir.
2. Hereket görkezmeleri (Action Hints): runbook baglanyşyklary we başlamak düwmeleri bilen "indi näme etmeli".
3. Awto-gysgaça maglumat (Incident TL; DR): waka/steýkholderler kanaly üçin gysgaça gysyş.
4. Bilim boýunça gözleg (RAG): runbook/SOP/postmortem/eskalasiýa matrisi boýunça çalt jogaplar.
5. Diketleriň/täzelenmeleriň döredilmegi: Jira/Status täzelenmeleriniň şablon boýunça dizaýnlary.
6. Alertleriň seljermesi: "şowhunly düzgünleri" kesgitlemek, sazlamak boýunça teklipler.
7. Observability Q&A: "1 sagatda p99 bets-api görkeziň" → taýýar grafikler/soraglar.
8. Wendor-kontekst: üpjün ediji barada gysgaça maglumat (kwotalar, SLA, penjireler, hadysalar).
9. Öňünden aýdylýan maslahatlar: "burn-rate ↑ + lag ↑ → PSP feýlowerini taýýarlamak".
10. Handover Copilot: Dashbordlardan/biletlerden çalşyk bukjasyny ýygnamak.
11. Postmortem Copilot: loglardan/tredlerden hronologiýa + Corrective/Preventive Actions.
12. Habarlaryň lokalizasiýasy/äheňi: dogry, tutanýerli müşderi täzelenmeleri.

3) Çözgüdiň arhitekturasy (ýokary derejeli)

Çeşmeler: metrikler/loglar/söwdalar (Observability), biletler/hadysalar, konfigiler/fiziki baýlyklar, üpjün ediji statuslar, SLO/OLA katalogy, runbook/SOP.
RAG gatlagy (bilim boýunça gözlemek): bellikli resminamalary indekslemek (domen, wersiýa, senesi, eýesi). "Operator üçin".
Gurallar (Tools/Actions): howpsuz amallar: "scale-up HPA", "kanareýkany duruzmak", "safe-mode açmak", "PSP-ni üýtgetmek", "bilet döretmek", "grafikleri ýygnamak". Ähli hereketler auditli dellalyň/orkestratoryň üsti bilen amala aşyrylýar.
Policy-guardrails: rollar boýunça hukuklar, HITL-tassyklama, çäkler, gury run (dry-run), magazineurnal.
Howpsuzlyk: KMS/Secrets, PII maskalar, mTLS, Maglumatlara giriş barlagy.
Interfeýsler: NOC-daky söhbetdeşlik/panel, daşborddaky widjetler, slak slash buýruklary.

4) UX-patternler (operatoryň görýän zady)

Wakalaryň kartoçkalary: "simptom → gipotezalar (reýting) → teklip edilen 3 ädim → maglumatlara baglanyşyk → hereket düwmeleri".
Ýeke-täk senagat meýdançasy: "Payments üçin soňky 4 sagat üçin handover bukjasyny emele getiriň".
Ynam/çeşme yşyklandyrylyşy: "esaslanýar: Grafana, Postgres logs, Runbook v3".
"Dry-Run" düwmesi: näme ediljekdigini we töwekgelçilikleriň nirede boljakdygyny görkeziň.
Çözgütleriň taryhy: ädimini, netijesini, yza gaýdyp gelmegini/üstünligini kim tassyklady.

5) Integrasiýa we hereketler (examples)

Observability: taýýar PromQL/LogsQL/Trace-süzgüçler, basmak üçin grafikler.
Feature Flags: safe-mode-i açyň/baýdagy yzyna gaýtaryň (tassyklamak bilen).
Release-kanareika: togtatmak/togtatmak; grafikalara düşündiriş goşuň.
K8s: HPA deslapky skail, daemon täzeden başlamak, PDB/Spread barlagy.
Üpjün edijiler: PSP-X → PSP-Y marşrutyny üýtgetmek; kwotalary barlamak.
Aragatnaşyklar: wakanyň kanalyna täzelenmäniň taslamasy/status-sahypa.
Tickets: Jira-ny öňünden doldurylan bölümler bilen döretmek.

6) Howpsuzlyk we gizlinlik syýasaty

Rollar/domenler boýunça elýeterlilik: operator diňe "öz" ulgamlaryny we iň az ýeterlik maglumatlary görýär.
Hereket magazineurnaly: kim/haçan/näme tassyklady, netijesi, yzyna gaýtarylmagy.
PII/syrlar: jogaplarda/ýazgylarda gizlenmek; "çig" syrlaryň ýoklugy.
Mazmuny saklamak: TTL we bellikli alnan artefaktlaryň (RAG) wersiýalary.
Artefakt hökmünde "pikirlenmegi" gadagan etmek: modeliň içerki pikirlerini däl-de, çeşmelere esaslary we salgylanmalary saklaýarys.
Araçy satyjy: perimetrden çykýan maglumatlaryň anyk sanawy (standart - nol).

7) Netijeliligiň hili we metrikasy

• MTTD/MTTR ↓, Pre-Incident Detect Rate ↑, Change Failure Rate ↓, Handoff Quality Score ↑.
• Alert Fatigue ↓ (operator/smena üçin alert), birinji güne çenli wagt ↓.

• Acceptance Rate (teklipleri kabul etmek), Time Saved/Case, Precision/Recall synplar boýunça (mysal üçin, P1), Hallucination Rate (çeşmesiz ýalňyş sözler), Safety Incidents = 0.

• Recall(P1) ≥ 0. 7, Precision ≥ 0. 6, Acceptance ≥ 0. 5, Time Saved ≥ 25%, Hallucination ≤ 2% hökmany çeşmelere salgylanmalar.

8) Senagat-injiniring we bilimleri dolandyrmak

Soraglaryň şablonlary: formulalary standartlaşdyrýarys (aşakda - mysallar).
Kontekst gatlaklary: (a) ulgamlaýyn düzgünler (howpsuzlyk, jogap stili), (b) çalşygyň/domeniň gysga mazmuny, (c) täze resminamalar/grafikler boýunça RAG gözlemek.
Bilimiň wersiýasy: her runbook/SOP-da 'id @version' we senesi bar, AI baglanyşyk we wersiýa berýär.
Jogaplary tassyklamak: ähli hakyky talaplar üçin maglumat çeşmelerine/daşbordlara salgylanmagy talap edýäris.

Triage:
"You are an SRE operator. Based on [Grafana: payments, Logs:psp_x, Incidents: last 24h]
group alerts into 3-5 hypotheses with probability, effect on SLO, and brief validation steps.
Answer: hypothesis cards + links"

Handover:
"Collect handover packet in last 4h for Payments domain:
SLO, incidents (ETA), releases/canaries, providers/quotas, risks/observations, action items.
Add links to panels and tickets"

9) Proseslere goşulmak (SOP)

Hadysalar: AI TL neşir edýär; DR her N minutda indiki ETA-ny taýýarlaýar, ädimleri hödürleýär.
Neşirler: deslapky we post-deple hasabatlary; öňünden aýdylýan töwekgelçiliklerde awtogeýt.
Çalşyklar: Handover bukjasy çek sanawy boýunça düzülýär we tassyklanýar.
Postmortemalar: Timeline boýunça taslama + Corrective/Preventive Actions sanawy.
Hasabat: şowhunly alertleriň we sazlama teklipleriniň hepdelik deýjesi.

10) Daşbordlar we widjetler (iň az)

AI Ops Overview: kabul edilen teklipler, tygşytlanan wagt, üstünlikli/yza gaýdyp gelýän hereketler.
Triaging Quality: Precision/Recall synplar boýunça, jedelli ýagdaýlar, Top-ýalňyşlyklar.
Knowledge Health: runbook/SOP örtügi, köne wersiýalar, boşluklar.
Alert Hygiene: ses çeşmeleri, sazlamak üçin kandidat düzgünleri.
Safety & Audit: hereketleriň ýazgysy, ret edilen synanyşyklar, dry-run hasabatlary.

11) Anti-patternler

"Jadyly guty hemme zady çözer" - RAG we salgylanmalar bolmazdan, faktlary "çaklamak" bilen.
HITL/rollar/çäkler bolmazdan yzyna gaýtaryp bolmajak hereketleri awtomatlaşdyrmak.
Gözlegde önüm/steýj artefaktlaryny garyşdyrmak.
Kömekçiniň jogaplarynda we ýazgylarynda syrlar/PII.
Hil ölçegleriniň we peýdalara baha bermegiň ýoklugy.
"Ähli meseleler üçin bir söhbetdeşlik" - kartoçkalar, statuslar we hereket düwmeleri ýok.

12) Girizmegiň çek-sanawy

• Domenler we ssenariler kesgitlenildi (triaj, gysgaça maglumat, handover, biletler).
• RAG düzedildi: runbook/SOP/postmortem indeksi/eskalasiýa matrisalary (wersiýalar bilen).
• Integrasiýa: Observability, Flags, Release, Tickets, Providers - howpsuz gurallar arkaly.
• Syýasatlar: rollar, HITL, magazineurnal, dry-run, PII/syrlary gizlemek.
• UX: waka kartoçkalary, hereket düwmeleri, ynam we baglanyşyklar.
• Metrikler: AI-KPI we Ops-KPI + dashbordlar.
• Prosesler: AI bilen baglanyşykly hadysalara/goýberişlere/çalşyklara/postmortemlere SOP.
• Operatorlary taýýarlamak meýilnamasy we kömekçi bilen "aragatnaşyk düzgünleri".

13) "Howpsuz" awto hereketleriň mysallary

TL neşir etmek; DR/ETA waka kanalyna.
Bileti döretmek/täzelemek, artefaktlary baglanyşdyrmak.
Metrikleri we ýazgylary okamak/döretmek (ulgamda üýtgemän).
Grafiklerdäki relizleriň/baýdaklaryň düşündirişleri.
dry-run playbook (tassyklanylanda näme ediler).

14) Rollar we jogapkärçilik

Ops Owner: iş netijeleri (MTTR, ses), SOP tassyklamasy.
Observability/SRE: RAG, integrasiýa, howpsuzlyk we hil metrikleri.
Domain Leads: Teklipleri tassyklamak, runbook/SOP-iň ähmiýeti.
Training/Enablement: "AI bilen nädip aragatnaşyk saklamalydygy" operatorlary tanamak, synaglar.
Compliance/Security: maglumat syýasaty, log auditi we saklamak.

15) 30/60/90 - işe girizmek meýilnamasy

• Bir domende pilot (mysal üçin, Payments): triaj, TL; DR, biletler.
• Bilimleriň indeksasiýasy (RAG) we hadysalaryň kartoçkalary, dry-run hereketleri.
• Esasy metrikleri: Acceptance/Time Saved/Precision/Recall.

• Flags/Release bilen integrasiýa üçin handover/postmortem copilot goşuň.
• Öňünden aýdylýan maslahatlary (burn-rate, lag) we alertleri sazlamagyň tekliplerini goşuň.
• Kömekçini ulanyp iki oýun-day geçiriň.

• Bets/Games/KYC-de giňeltmek, şablonlary birleşdirmek.
• AI bilen SOP resmileşdirmek, KPI-ni çärýekleýin maksatlara girizmek.
• Ykdysady täsirini optimizirlemek (bahasy/hadysasy, iş wagtynyň azalmagy).

16) Kömekçiniň jogaplarynyň mysallary (formatlary)

Symptom: p99 payments-api ↑ up to 420 ms (+ 35%) in 15 minutes
Hypotheses:
1) PSP-X timeouts (probable 0. 62) - outbound_error_rate growth, quota 88%
2) DB-connections (0. 22) — active/max=0. 82
3) Cash evikshens (0. 16) — evictions>0
Steps:
[Open PSP-X panel] [Check quota] [Enable safe-mode deposit]
[Payments-api canary pause]
References: Grafana (payments p99), Logs (psp-x), Runbook v3

SLO OK/Degraded, incidents: INC-457 ETA 18:30, canary bets-api 10%, PSP-X quota 85%.
Action items: @ squad-payments check out the feilover before 7 p.m.

Impact: deposit conversion − 3. 2% at 5pm-5.25pm
Timeline: 16:58 alert p99; 17:04 canary pause; 17:08 PSP- X→Y
Root cause: slow PSP-X responses when 90% quota is reached
Actions now: breaker tuning, auto-predictor quota> 0. 85, alert hygiene

17) FAQ

S: Ilki bilen näme awtomatlaşdyrmaly?
A: Gysgaça maglumat/bilet/bilim gözlemek - howpsuz we derrew wagt tygşytlaýar. Soňra - HITL bilen öňünden aýdylýan maslahatlar we ýarym awtomatiki hereketler.

S: "Galýusinasiýa" garşy nähili göreşmeli?
A: Diňe RAG, diňe baglanyşyklar bilen jogaplar, çeşmesiz jogaplaryň gadagan edilmegi, hiliň awtonom bahalandyrylmagy, jedelli jogaplary retro bilen bellemek we seljermek.

Q: Kömekçä "düwmelere basmak" hukugyny bermek mümkinmi?
A: Hawa - tersine we pes töwekgelçilikli ädimler üçin (düşündirişler, gysgaça maglumat, dry-run, skeyl öň), galanlary - HITL we rollar arkaly.