Amallar we Dolandyryş → Amallaryň hiline gözegçilik

Amallaryň hiline gözegçilik

1) Bu näme üçin zerur?

Amallaryň hili - girdeji, SLA we ulanyjylaryň ynamyna bagly hereketleriň öňünden aýdylýanlygy we gaýtalanmagy. Güýçli hil gözegçiligi ulgamy üýtgeýşini peseldýär, çalşyklaryň arasyndaky hendowerleri çaltlaşdyrýar, goýberilende ýalňyşlyklaryň sanyny azaldýar we hadysalara reaksiýanyň tizligini ýokarlandyrýar.

• Amallary ölçäp we dolandyryp bolýar.
• Ýerine ýetirişiň üýtgeýşini (durnuklylygy) peseltmek.
• Galyndylary azaltmak (garaşmak, üýtgetmek, "el taýaklary").
• Gündelik işe yzygiderli gowulaşmak (Kaizen).

2) Hil modeli: QA vs QC

QA (Quality Assurance) - "gurlan" hil: standartlar, SOP, okuwlar, oýunlar, amalyň ýerine ýetirilişinden öň we wagtynda awtomatlaşdyrylan barlaglar.
QC (Quality Control) - netijäni barlamak/saýlamak/ýerine ýetirilenden soň audit (biletleri barlamak, ýazgylary barlamak, SPC kartlaryny barlamak).

Prinsipi: iň ýokary hil - taslamalaşdyrmak we ýerine ýetirmek döwründe (QA), QC gowulaşdyrmak üçin "ätiýaçlandyryş" we maglumat çeşmesi bolup galýar.

3) Ulgamyň esasy elementleri

1. Standartlar we SOP: ädimme-ädim görkezmeler, rol modeli, çek sahypalary.
2. Prosesleriň kartasy: giriş/çykyş, eýeler, prosesiň SLO-lary, artefaktlar.
3. Hil geýtleri: ädimlere (deslapky barlaglar), töwekgelçilik üçin "dur-kran".
4. SPC (prosesiň statistik gözegçiligi): gözegçilik kartlary, triggerler.
5. Auditler we nusgalar: standartlara laýyklygyny yzygiderli barlamak.
6. Seslenme we RCA: postmortemler, 5 Why/" balyk süňkü ".
7. Okuw we sertifikat: endikleriň matrisa, Şadow çalşygy.
8. Awtomatlaşdyryş: awto-barlaglar, botlar, syýasatlar, integrasiýa synaglary.

4) Hil gözegçiligi astyndaky prosesler (mysallar)

Çalşyk düzgünleri (gözegçilik, açarlaryň aýlanmagy, bekaplar, nobatçy barlaglar).
Hendowerler we eskalasiýalar (eskalasiýa matrisi, aragatnaşyk kanallary, taýmingler).
Waka-dolandyryş (deteksiýa → aragatnaşyk → dikeldiş).
Traffigiň relizleri/fiçewkleşmeleri/göçürmeleri.
Üpjün edijiler bilen amallar (PSP/KYC), reconciliations, hasabatlar.
Mazmuny/çäkleri dolandyrmak, jekpotlar/bonuslar.
Maglumatlar bilen işlemek (ETL, arhiwlemek, gizlinlik).

5) SLO prosesi we KPI hil

• FPY (First Pass Yield): gaýtadan işlemezden geçen prosesleriň paýy.
• RFT (Dogry ilkinji wagt): Ýalňyşsyz/yzyna gaýtarylmazdan meseleleriň paýy.
• DPMO: million mümkinçilikli kemçilikler (köpçülikleýin amallar üçin).
• Prosesiň SLO: p95/p99 dowamlylygy,% üstünlikli tamamlanmagy.
• Compliance Rate: SOP/çek sanawynyň hökmany nokatlarynyň berjaý edilmegi.
• Change Failure Rate: rebound/wakalar bilen relizleriň paýy.
• MTTD/MTTR prosesi: şowsuzlyklary ýüze çykarmak/dikeltmek.
• Handoff Quality Score: hendoweriň hili (doly, öz wagtynda).

6) Standartlar we çek-listler (QA)

• Esasy daşbordlaryň saglygyny barlamak (API p99, lag, DB connections).
• Üpjün edijileriň statuslary (PSP/KYC/studiýalar), kwotalar we çäkler.
• Wakalaryň nobatlary we örtülmedik postmortemler.
• Çalşyk aralygy üçin relizler/fiçeflaglar meýilnamasy.
• Ätiýaçlyk aragatnaşyk kanallary we eskalasiýalaryň elýeterliligi.
• Bekaplar/açarlar/syrlar - meýilnama boýunça gözegçilik.
• Öňki çalşykdan Hendower (artefaktlar, töwekgelçilikler, gözegçilikler).

• Ähli synaglar/linterler/howpsuzlyk ýaşyl.
• Daşarky gurallar bilen CDC/şertnamalar geçirildi.
• Yzyna gaýtarmak we yzyna gaýtarmak meýilnamasy; kanareýa taýýar.
• Häzirki runbook, nobatçy tassyklandy, üpjün edijileriň penjireleri hasaba alyndy.
• Neşiriň düşündirişleri daşbordlara girizildi.

7) SPC we gözegçilik kartlary

• Gözegçilik edýän zat: amallaryň dowamlylygy, kemçilikleriň%, alertlere reaksiýanyň wagty, hendoweriň wagty.
• Düzgünler: 1 nokat çäkden daşarda, 7 yzygiderli nokat ösüş/güýz bilen, 8 nokat orta tarapyň bir tarapynda - prosesiň üýtgemegi barada signal.
• Hereketler: SPC signallarynda → gysga RCA we düzediş çäreleri (SOP düzediş, okuw, awtomatlaşdyryş).

8) Saýlaw we auditler (QC)

Saýlaw meýilnamasy: möhüm prosesler - gündelik nokat barlaglary; orta - hepdelik; pes - triggerler boýunça.
Auditiň ölçegleri: çek-listleriň dolulygy, ýerine ýetirilişiň takyklygy, aragatnaşyklaryň dogrulygy, SLO-nyň berjaý edilmegi, howpsuzlygyň berjaý edilmegi.
Skoring audit: 0-100 kritiklik agramy bilen; netijeler - umumy hil daşborduna.

9) Hendowerleriň we çalşyklaryň hili

Handoff-paket: gysga ýagdaýy, töwekgelçilikleri, "syn edilýän tendensiýalary", gutarylmadyk hereketleri, aralyk üçin SLO.
Aragatnaşyk: täzelenmeleriň ýeke-täk formaty (şablon), waka kanalynda jogap SLA, karar bermek üçin wagt gutulary.
Kölegeli çalşyklar: täze operatorlar "kölegede" nobatçylyk edýärler, soňra sertifikat çek sanawy boýunça özbaşdak çalşyklara geçýärler.

10) Waka-dolandyryşyň hili

"Definition of Done": waka diňe SLO dikeldilenden, işewürlik/sapport üçin täzelenme çap edilenden we düzedişler üçin meseleler döredilenden soň ýapylýar.
Postmortem aýyplamasyz: faktlar, hronologiýa, "indiki gezek başgaça näme bolar".
Action Items SLA: möhletler we eýeler; statusyň hepdelik barlagy.
Metrikler: regressiýasyz hadysalaryň% -i, birinji täzelenmä çenli ortaça wagt, wagtyň dolulygy.

11) Hil gözegçiligini awtomatlaşdyrmak

Awto-çekerler: botlar çek-listleriň doldurylmagyny, neşiriň düşündirişleriniň bardygyny, Alertmanager marşrutlarynyň dogrulygyny barlaýarlar.
Syýasatlar/düzgünler: CI/CD-de hökmany geýtler, konfigurasiýalary tassyklamak (JSON/YAML), gizlin skanerler.
Magdançylyk prosesi: dar ýerleri we "salgylanma" ugrundan gyşarmalary gözlemek üçin magazinesurnallary seljermek.
Awto-ýatlatmalar: möhleti geçen postmortemler, ýapylmadyk action items, SOS nokatlary.

12) Metrikler we daşbordlar (iň az toplum)

Operations Quality Overview: FPY, RFT, DPMO, SLO prosesi, Change Failure Rate, açyk action items.
Shifts Board: çek sanawlaryny ýerine ýetirmek, Handoff Quality Score, töwekgelçiliklere reaksiýa wagty, gözegçiligi ýapmak.
Incidents Quality: MTTD/MTTR, ilkinji müşderi täzelenmesi, RCA dolulygy, regressiýa.
Release Quality: pese gaçýan kanareýalaryň göterimi, yza gaýdyp gelmek, steýkholder täzelenmeleriniň ortaça dowamlylygy.
Compliance & Security: hökmany proseduralary ýerine ýetirmek (bellikler, açarlary aýlamak, elýeterlilik), düzgün bozmalar we ýok etmek möhletleri.

13) Hil aladalary (ideýalar)

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14) Gowulaşdyrmagyň tertibi (PDCA aýlawy)

1. Plan: SPC/audit maglumatlary boýunça metrikleri/maksatlary saýlamak, dar ýerleri kesgitlemek.
2. Do: çäkli meýdanda üýtgeşmeleriň piloty (SOP, okuw, awtomatlaşdyryş).
3. Çek: metrikleri (FPY/RFT/SLO/hadysalar) öň/soň deňeşdiriň.
4. Act: üstüni ulalt, şowsuz aýlan; standartlary täzelemek.

15) Rollar we jogapkärçilik

Prosesiň eýesi: SLO, standartlar, daşbordlar, gowulaşmalar.
Operatorlar: ýerine ýetiriş, çek-listler, waka-aragatnaşyk.
SRE/Platforma: awtomatlaşdyryş, gözegçilik, Alertmanager ugurlary.
QA-amallar: auditler, nusgalar, gözegçilik kartlary, okuw.
Hil dolandyryjysy: PDCA-ny utgaşdyrmak, gowulaşmalary ileri tutmak.

16) Anti-patternler

"Soňra barlarys" - QA-nyň ýoklugy, diňe QC-den soňky faktuma daýanýar.
Kwitansiýa üçin çek sahypalary (sypdyrmalar üçin netijesiz).
Hendowerleriň ýekeje standartı ýok → kontekstiň ýitmegi we ýalňyşlyklaryň gaýtalanmagy.
"Hemme zady" maksatsyz ölçemek → hereketsiz metrika.
Action items we möhletsiz postmortemler → hemişelik regressiýalar.
Awtomatlaşdyrylyp bilinjek zatlary el bilen barlamak.

17) Girizmegiň çek-sanawy

• Prosesleriň kartasy, eýeler, giriş/çykyş, SLO.
• SOP we çek sanawlary (çalşyklar, goýberişler, hadysalar, üpjün edijiler).
• CI/CD we operasiýa gurallarynda hil geýtleri.
• Daşbordlar we SPC gözegçilik kartlary.
• Saýlaw meýilnamasy we yzygiderli barlaglar.
• Hendower şablony we Shadow çalşygyny öwrenmek.
• Postmortemleriň düzgünleri we treking action items.
• Barlaglary we ýatlatmalary awtomatlaşdyrmak.
• Çärýek gowulaşdyrmak maksatlary (FPY/RFT/SLO/MTTR).

18) Şablonlar (bölekler)

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19) Çalt başlamak (30 gün)

1-nji hepde: 3-5 sany möhüm prosesi, SLO-ny, eýelerini suratlandyrmak; çalşyklaryň/goýberişleriň esasy çek-sanawlaryny işe girizmek.
2-nji hepde: hil we 3 alert daşbordlaryny goşuň (ShiftChecklist, Handoff, IncidentSLA).
3-nji hepde: 1-2 metrler üçin nusgalary/auditleri we SPC-leri işe girizmek.
4-nji hepde: usulyýet boýunça 2 sany postmortem geçirmek we çärýek üçin PDCA meýilnamasyny tassyklamak.

20) FAQ

S: Täsirini nädip çalt görmeli?
A: Hendowerlerden we IncidentSLA-dan başlaň: bu MTTR-iň derrew peselmegini we öňünden aýdylýanlygy ýokarlandyrýar.

Q: Eger eýýäm alertler bar bolsa, SPC gerekmi?
A: Hawa. Alertler "ýangyn" tutýarlar, SPC - ýangyna çenli prosesiň süýşmegi.

Q: Ilki bilen näme awtomatlaşdyrmaly?
A: Relizleriň geýtleri, smenalaryň çek-listlerini barlamak, relizleriň düşündirişleri we action items boýunça ýatlatmalar.