Операції та Управління → Контроль якості операцій

Контроль якості операцій

1) Навіщо це потрібно

Якість операцій - це передбачуваність і відтворюваність дій, від яких залежать виручка, SLA і довіра користувачів. Сильна система контролю якості зменшує варіативність, прискорює хендовери між змінами, знижує число помилок при релізах і підвищує швидкість реакції на інциденти.

• Робити процеси вимірними і керованими.
• Знизити варіативність виконання (стабільність).
• Скоротити відходи (очікування, переробки, «ручні милиці»).
• Вбудувати безперервне поліпшення (Kaizen) в щоденну роботу.

2) Модель якості: QA vs QC

QA (Quality Assurance) - «вбудована» якість: стандарти, SOP, тренінги, гейти, автоматизовані перевірки до і під час виконання процесу.
QC (Quality Control) - перевірка результату/вибірка/аудит після виконання (рев'ю тікетів, перевірка логів, контроль карт SPC).

Принцип: максимум якості - на етапі проектування і виконання (QA), QC залишається «страховкою» і джерелом даних для поліпшень.

3) Ключові елементи системи

1. Стандарти та SOP: покрокові інструкції, рольова модель, чек-листи.
2. Карта процесів: входи/виходи, власники, SLO процесу, артефакти.
3. Гейти якості: допуски до кроків (pre-checks), «стоп-кран» для ризику.
4. SPC (статистичний контроль процесу): контрольні карти, тригери.
5. Аудити та вибірки: регулярна перевірка відповідності стандартам.
6. Зворотній зв'язок і RCA: постмортеми, 5 Why/« рибна кістка ».
7. Навчання та сертифікація: матриця навичок, Shadow-зміни.
8. Автоматизація: авто-перевірки, боти, політики, інтеграційні тести.

4) Процеси під контроль якості (приклади)

Рутини змін (моніторинг, ротація ключів, бекапи, чергові перевірки).
Хендовери та ескалації (матриця ескалацій, канали зв'язку, таймінги).
Інцидент-менеджмент (детекція → комунікації → відновлення).
Релізи/фічевключення/перекладки трафіку.
Операції з провайдерами (PSP/KYC), reconciliations, звіти.
Управління контентом/лімітами, джекпоти/бонуска.
Роботи з даними (ETL, архівація, конфіденційність).

5) SLO процесу і KPI якості

• FPY (First Pass Yield): частка процесів, що пройшли без переробки.
• RFT (Right First Time): частка завдань без помилок/повернень.
• DPMO: дефекти на мільйон можливостей (для масових операцій).
• SLO процесу: p95/p99 тривалості,% успішних завершень.
• Compliance Rate: дотримання обов'язкових пунктів SOP/чек-листа.
• Change Failure Rate: частка релізів з відкатами/інцидентами.
• MTTD/MTTR процесу: виявлення/відновлення при збоях.
• Handoff Quality Score: якість хендовера (повнота, своєчасність).

6) Стандарти та чек-листи (QA)

• Перевірка здоров'я ключових дашбордів (API p99, lag, DB connections).
• Статуси провайдерів (PSP/KYC/студії), квоти і ліміти.
• Черги інцидентів і незакриті постмортеми.
• План релізів/фічефлагів на інтервал зміни.
• Резервні канали зв'язку і доступність ескалацій.
• Бекапи/ключі/секрети - контроль за розкладом.

Хендовер від попередньої зміни (артефакти, ризики, спостереження).

• Всі тести/лінтери/безпека зелені.
• Проведено CDC/контракти із зовнішніми інструментами.
• План відкату і фічефлаги; канарка готова.
• Актуальний runbook, черговий підтверджений, вікна провайдерів враховані.
• Анотації релізу в дашборди включені.

7) SPC і контрольні карти

• Що моніторимо: тривалість операцій,% дефектів, час реакції на алерти, час хендовера.
• Правила: 1 точка поза межами, 7 послідовних точок зі зростанням/падінням, 8 точок по одну сторону від середньої - сигнал про зміну процесу.
• Дії: при сигналах SPC → коротка RCA і коригувальні заходи (корекція SOP, навчання, автоматизація).

8) Вибірка та аудити (QC)

План вибірок: критичні процеси - щоденні точкові перевірки; середні - щотижневі; низькі - за тригерами.
Критерії аудиту: повнота чек-листів, точність виконання, коректність комунікацій, дотримання SLO, відповідність безпеці.
Скоринг аудиту: 0-100 з вагами за критичністю; результати - в загальний дашборд якості.

9) Якість хендоверів і змін

Handoff-пакет: короткий статус, ризики, «спостережувані тенденції», незавершені дії, SLO за інтервал.
Комунікації: єдиний формат апдейтів (шаблон), SLA на відповідь в інцидент-каналі, тайм-бокси для прийняття рішень.
Shadow-зміни: нові оператори чергують «в тіні», потім переходять до самостійних змін по сертифікаційному чек-листу.

10) Якість інцидент-менеджменту

Definition of Done: інцидент закритий тільки після відновлення SLO, публікації апдейту для бізнесу/саппорту і створення завдань на виправлення.
Постмортем без звинувачень: факти, хронологія, «що піде інакше наступного разу».
Action Items SLA: дедлайни і власники; щотижнева вивірка статусу.
Метрики: % інцидентів без регресії, середній час до першого апдейту, повнота таймлайну.

11) Автоматизація контролю якості

Авто-чекери: боти перевіряють заповнення чек-листів, наявність анотацій релізу, коректність маршрутів Alertmanager.
Політики/правила: обов'язкові гейти в CI/CD, валідація конфігів (JSON/YAML), сканери секретів.
Процес-майнінг: аналіз журналів для пошуку вузьких місць і відхилень від «еталонного» маршруту.
Авто-нагадування: прострочені постмортеми, незакриті action items, пропущені пункти SOP.

12) Метрики і дашборди (мінімальний набір)

Operations Quality Overview: FPY, RFT, DPMO, SLO процесу, Change Failure Rate, відкриті action items.
Shifts Board: виконання чек-листів, Handoff Quality Score, час реакції на алерти, покриття моніторингу.
Incidents Quality: MTTD/MTTR, перший клієнтський апдейт, RCA повнота, регресії.
Release Quality: відсоток канарок з деградацією, відкати, середня тривалість стейкхолдер-апдейтів.
Compliance & Security: виконання обов'язкових процедур (бекапи, ротація ключів, доступи), порушення і терміни усунення.

13) Алерти якості (ідеї)

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14) Процедура поліпшень (петля PDCA)

1. Plan: вибрати метрики/цілі, визначити вузькі місця за даними SPC/аудитів.
2. Do: пілот змін (SOP, навчання, автоматизація) на обмеженій ділянці.
3. Check: порівняти метрики (FPY/RFT/SLO/інциденти) до/після.
4. Act: масштабувати успішне, відкотити неуспішне; оновити стандарти.

15) Ролі та відповідальність

Власник процесу: SLO, стандарти, дашборди, поліпшення.
Оператори: виконання, чек-листи, інцидент-комунікації.
SRE/Платформа: автоматизація, моніторинг, Alertmanager маршрути.
QA-операцій: аудити, вибірки, контрольні карти, навчання.
Менеджер з якості: координація PDCA, пріоритизація поліпшень.

16) Анти-патерни

«Перевіримо потім» - відсутність QA, опора тільки на пост-фактум QC.
Чек-листи заради галочки (без наслідків за пропуски).
Немає єдиного стандарту хендоверів → втрата контексту і повтор помилок.
Вимірюють «все підряд» без мети → метрики без дій.
Постмортеми без action items і термінів → постійні регресії.
Ручні перевірки того, що можна автоматизувати.

17) Чек-лист впровадження

• Карта процесів, власники, входи/виходи, SLO.
• SOP і чек-листи (зміни, релізи, інциденти, провайдери).
• Гейти якості в CI/CD і операційних інструментах.
• Дашборди і контрольні карти SPC.
• План вибірок і регулярні аудити.
• Шаблон хендовера і навчання Shadow-змін.
• Регламент постмортемів і трекінг action items.
• Автоматизація перевірок і нагадувань.
• Квартальні цілі по поліпшенню (FPY/RFT/SLO/MTTR).

18) Шаблони (фрагменти)

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19) Швидкий старт (30 днів)

Тиждень 1: описати 3-5 критичних процесів, SLO, власників; запустити базові чек-листи змін/релізів.
Тиждень 2: включити дашборди якості та 3 алерти (ShiftChecklist, Handoff, IncidentSLA).
Тиждень 3: запустити вибірки/аудити і SPC для 1-2 метрик.
Тиждень 4: провести 2 постмортеми за методикою і затвердити план PDCA на квартал.

20) FAQ

Q: Як швидко побачити ефект?
A: Почніть з хендоверів та IncidentSLA: це дає миттєве зниження MTTR і підвищення передбачуваності.

Q: Чи потрібні SPC, якщо вже є алерти?
A: Так. Алерти ловлять «пожежі», SPC - зміщення процесу до пожежі.

Q: Що автоматизувати в першу чергу?
A: Гейти релізів, перевірку чек-листів змін, анотації релізів і нагадування по action items.