Operațiuni și operațiuni de management al → Controlul calității

Controlul calității operațiunilor

1) De ce aveți nevoie de ea

Calitatea tranzacțiilor este predictibilitatea și reproductibilitatea activităților de care depind veniturile, SLA-urile și încrederea utilizatorilor. Un sistem puternic de control al calității reduce variabilitatea, accelerează predarea între schimburi, reduce numărul de erori în timpul eliberărilor și crește viteza de răspuns la incidente.

• Asigurați-procese măsurabile și ușor de gestionat.
• Reducerea variabilităţii performanţei (stabilitate).
• Reducerea deșeurilor (așteptare, modificări, „cârje de mână”).
• Construiți îmbunătățirea continuă (Kaizen) în munca de zi cu zi.

2) Model de calitate: QA vs QC

QA (Quality Assurance) - calitate încorporată: standarde, POS-uri, training-uri, porți, verificări automate înainte și în timpul procesului.
QC (Controlul calității) - verificarea rezultatelor/eșantionarea/auditul după execuție (revizuirea biletului, verificarea jurnalului, controlul cardului SPC).

Principiu: calitate maximă - în timpul fazei de proiectare și execuție (QA), QC rămâne „asigurare” și sursa de date pentru îmbunătățiri.

3) Elemente cheie ale sistemului

1. Standarde și POS-uri: instrucțiuni pas cu pas, model de urmat, liste de verificare.
2. Harta procesului: intrări/ieșiri, proprietari, SLO proces, artefacte.
3. Porți de calitate: verificări prealabile, oprire pentru risc.
4. SPC (controlul statistic al procesului): carduri de control, declanșatoare.
5. Audituri și eșantionări: verificarea periodică a conformității cu standardele.

6. Feedback și RCA: postmortems, 5 De ce/” os de pește„

7. Instruire și certificare: Matrix Abilități, Shadow Schimburi.
8. Automatizare: verificări automate, roboți, politici, teste de integrare.

4) Procese de control al calității (exemple)

rutine Shift (monitorizare, rotație cheie, copii de rezervă, verificări de serviciu).
Handovers și escaladări (matrice de escaladare, canale de comunicare, temporizări).
Gestionarea incidentelor (detectarea → comunicarea → recuperarea).
Versiuni/conexiuni de caracteristici/transferuri de trafic.
Operațiuni cu furnizori (PSP/KYC), reconcilieri, rapoarte.
Gestionarea conținutului/limite, jackpot-uri/bonus.
Lucrați cu date (ETL, arhivare, confidențialitate).

5) SLO de proces și KPI de calitate

• FPY (First Pass Yield) - proporția de procese care au trecut fără rework.
• RFT (Right First Time) - procent de sarcini fără erori/returnări.
• DPMO: defecte la un milion de oportunități (pentru operațiuni în vrac).
• Procesul SLO: durata p95/p99,% din completările de succes.
• Rata de conformitate: conformitatea cu POS-urile/listele de verificare obligatorii.
• Modificarea ratei de eșec: Cota de lansări rollback/incident.
• Procesul de detectare/recuperare a defecțiunilor MTTD/MTTR.
• Handoff Scor de calitate: Handoff calitate (completitudine, actualitate).

6) Standarde și liste de verificare (QA)

• Verificarea stării de sănătate a tablourilor de bord cheie (API p99, lag, conexiuni DB).
• Statusuri furnizor (PSP/KYC/studio), cote și limite.
• Cozi incidente și post-mortem deschise.
• Planul de eliberare/phicheflag pentru intervalul de schimbare.
• Canale de comunicare redundante și disponibilitatea de escaladare.
• Backup-uri/chei/secrete - control programat.
• Predarea de la trecerea anterioară (artefacte, riscuri, observații).

• Toate încercările/lintere/verde de siguranță.
• Contractele CDC/instrumente externe postate.
• Planul rollback și phicheflags; canar gata.
• Runbook curent, însoțitor confirmat, ferestre furnizor luate în considerare.
• Lansați adnotări în tablouri de bord incluse.

7) SPC și carduri de control

• Ce monitorizăm: durata operațiunilor,% din defecte, timpul de reacție la alerte, timpul de predare.
• Reguli: 1 punct în afara limitelor, 7 puncte consecutive cu creștere/scădere, 8 puncte pe o parte a mediei - un semnal al unei schimbări în proces.
• Acțiuni: pentru semnale SPC → RCA scurte și măsuri corective (corecție POS, instruire, automatizare).

8) Prelevarea de probe și audituri (QC)

Planul de eșantionare: procese critice - controale zilnice la fața locului; medie - săptămânală; scăzut - de declanșatori.
Criterii de audit: completitudinea listelor de verificare, acuratețea execuției, corectitudinea comunicațiilor, respectarea SLO, respectarea siguranței.
Notarea auditului: 0-100 cu ponderi în funcție de critică; rezultate - la tabloul de bord general de calitate.

9) Calitatea handoverelor și a schimburilor

Pachetul Handoff: status scurt, riscuri, „tendințe observate”, activități neterminate, SLO pe interval.
Comunicații: un singur format pentru actualizări (șablon), SLA pentru a răspunde la un canal incident, cutii de timp pentru luarea deciziilor.
Schimburi de umbre: noii operatori sunt la datorie „în umbră”, apoi trec la schimburi independente în conformitate cu lista de verificare a certificării.

10) Calitatea managementului incidentelor

Definiția Done: Incidentul este închis numai după restaurarea SLO, publicarea actualizării pentru afaceri/suport și crearea de sarcini pentru remedieri.
Postmortem fără acuzații: fapte, cronologie, „ce va merge diferit data viitoare”.

Elemente de acțiune SLA: termene limită și proprietari; Reconcilierea stării săptămânale

Valori:% din incidente fără regresie, timpul mediu până la prima actualizare, integralitatea cronologică.

11) Automatizarea controlului calității

Auto-dame: roboții verifică umplerea listelor de verificare, prezența adnotărilor de eliberare, corectitudinea rutelor Alertmanager.
Politici/reguli: porți obligatorii în CI/CD, validarea configurației (JSON/YAML), scanere secrete.
Procesul de minerit: analiza jurnalelor pentru a găsi blocaje și abateri de la traseul „de referință”.
Auto-memento-uri: post-mortems expirat, elemente de acțiune neînchise, elemente SOP ratate.

12) Măsurători și tablouri de bord (set minim)

Prezentare generală a calității operațiunilor: FPY, RFT, DPMO, procesul SLO, modificarea ratei de eșec, elemente de acțiune deschise.
Shifts Board: liste de verificare, Handoff Quality Score, timp de răspuns de alertă, acoperire de monitorizare.
Incidente Calitate: MTTD/MTTR, prima actualizare client, RCA completitudine, regresii.
Release Quality: procentul de canari cu degradare, rollback-uri, durata medie a actualizărilor părților interesate.
Conformitate și securitate: implementarea procedurilor obligatorii (backup-uri, rotație cheie, acces), încălcări și termene limită pentru eliminare.

13) Alerte de calitate (idei)

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14) Procedura de îmbunătățire (bucla PDCA)

1. Plan: selectați valori/obiective, identificați blocajele pe baza datelor SPC/audit.
2. Faceți: schimbați pilotul (POS, instruire, automatizare) într-o zonă limitată.
3. Verificați: comparați valorile (incidente FPY/RFT/SLO/) înainte/după.
4. Act: scară de succes, rola înapoi fără succes; standarde de actualizare.

15) Roluri și responsabilități

Proprietar de proces: SLO, standarde, tablouri de bord, îmbunătățiri.
Operatori: executie, liste de verificare, comunicatii incidente.
SRE/Platformă: automatizare, monitorizare, rute Alertmanager.
Operațiuni de QA: audituri, eșantionare, liste de verificare, instruire.
Managerul calității: coordonarea PDCA, prioritizarea îmbunătățirilor.

16) Anti-modele

„Să verificăm mai târziu” - absența QA, bazându-se numai pe post-factum QC.
Liste de verificare de dragul unei căpușe (fără consecințe pentru omisiuni).
Nu există nici un standard unic pentru handovers → pierderea contextului și repetarea erorilor.
Măsurați „toate într-un rând” fără un obiectiv → măsurători fără acțiuni.
Postmortems fără elemente de acțiune și termene limită → regresii constante.
Verificări manuale a ceea ce poate fi automatizat.

17) Lista de verificare a implementării

• Procesați harta, proprietarii, intrările/ieșirile, SLO.
• POS-uri și liste de verificare (schimburi, versiuni, incidente, furnizori).
• Porți de calitate în CI/CD și instrumente operaționale.
• Tablouri de bord SPC și carduri de control.
• Planul de eșantionare și audituri regulate.
• Predarea șablon și Shadow schimbare de formare.
• Reglementări post-mortem și elemente de acțiune de urmărire.
• Automatizați verificările și mementourile.
• Obiective de îmbunătățire trimestrială (FPY/RFT/SLO/MTTR).

18) Șabloane (fragmente)

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19) Pornire rapidă (30 zile)

Săptămâna 1: descrie 3-5 procese critice, SLO-uri, proprietari; Începeți lista de verificare de bază shift/release.
Săptămâna 2: include tablouri de bord de calitate și 3 alerte (ShiftChecklist, Handoff, IncidentSLA).
Săptămâna 3: Rulați eșantioane/audituri și SPC-uri pentru 1-2 valori.
Săptămâna 4: Efectuați 2 metode postmortems și aprobați planul PDCA pentru trimestrul.

20) ÎNTREBĂRI FRECVENTE

Î: Cum să vedeți rapid efectul?
R: Începeți cu handovere și IncidentSLA: aceasta oferă o reducere instantanee a MTTR și o predictibilitate crescută.

Î: Sunt necesare SPC-uri dacă există deja alerte?
R: Da. Alerte prinde „incendii”, SPC - proces se schimbă înainte de un incendiu.

Î: Ce să automatizați mai întâi?
R: Porți de lansare, verificarea listelor de verificare a schimburilor, eliberarea adnotărilor și a mementourilor la elementele de acțiune.