Operasyonlar ve Yönetim Operasyonları Kalite Kontrol

Operasyonların kalite kontrolü

1) Neden ihtiyacınız var

İşlem kalitesi, gelirin, SLA'ların ve kullanıcı güveninin bağlı olduğu faaliyetlerin öngörülebilirliği ve tekrarlanabilirliğidir. Güçlü bir kalite kontrol sistemi değişkenliği azaltır, vardiyalar arasında aktarımı hızlandırır, sürümler sırasında hata sayısını azaltır ve olaylara yanıt verme hızını artırır.

• Süreçleri ölçülebilir ve yönetilebilir hale getirin.
• Performans değişkenliğini (stabilite) azaltın.
• Atıkları azaltın (bekleme, değişiklikler,'el değnekleri ").
• Günlük çalışma içine sürekli iyileştirme (Kaizen) oluşturun.

2) Kalite modeli: QA vs QC

QA (Kalite Güvencesi) - yerleşik kalite: standartlar, SOP'lar, eğitimler, kapılar, işlem öncesi ve sırasında otomatik kontroller.
QC (Kalite Kontrol) - yürütme sonrası sonuç kontrolü/örnekleme/denetim (bilet incelemesi, günlük kontrolü, SPC kart kontrolü).

İlke: maksimum kalite - tasarım ve uygulama (QA) aşamasında, QC iyileştirmeler için "sigorta've veri kaynağı olmaya devam etmektedir.

3) Sistemin temel unsurları

1. Standartlar ve SÇP'ler: adım adım talimatlar, rol modeli, kontrol listeleri.
2. Süreç haritası: girişler/çıkışlar, sahipler, süreç SLO, eserler.
3. Kalite kapıları: ön kontroller, risk için stop-tap.
4. SPC (istatistiksel süreç kontrolü): kontrol kartları, tetikleyiciler.
5. Denetimler ve örnekleme: Standartlara uygunluğun düzenli olarak doğrulanması.

6. Geribildirim ve RCA: postmortemler, 5 Neden/" balık kılçığı"

7. Eğitim ve Sertifikasyon: Beceri Matrisi, Gölge Vardiyaları.
8. Otomasyon: otomatik kontroller, botlar, politikalar, entegrasyon testleri.

4) Kalite kontrol süreçleri (örnekler)

Vardiya rutinleri (izleme, anahtar rotasyonu, yedeklemeler, görev kontrolleri).
Devir ve yükselmeler (eskalasyon matrisi, iletişim kanalları, zamanlamalar).
Olay yönetimi (tespit, iletişim, kurtarma).
Yayınlar/özellik bağlantıları/trafik transferleri.
Sağlayıcılarla yapılan işlemler (PSP/KYC), mutabakatlar, raporlar.
İçerik yönetimi/limitler, ikramiyeler/bonus.
Verilerle çalışma (ETL, arşivleme, gizlilik).

5) Süreç SLO ve Kalite KPI'ları

• FPY (First Pass Yield): Yeniden çalışmadan geçen süreçlerin oranı.
• RFT (Right First Time) - Hata/getiri olmadan görevlerin yüzdesi.
• DPMO: Milyon fırsat başına kusur (toplu işlemler için).
• Süreç SLO: p95/p99 süresi, başarılı tamamlamaların %'si.
• Uyumluluk Oranı: Zorunlu SOP'lara/kontrol listelerine uygunluk.
• Hata Oranını Değiştir: Geri alma/olay yayınlarının paylaşımı.
• Süreç MTTD/MTTR Arıza Tespiti/Kurtarma.
• Handoff Kalite Puanı: Handoff kalitesi (tamlık, zamanlama).

6) Standartlar ve kontrol listeleri (QA)

• Anahtar panolarının sağlık kontrolü (API p99, lag, DB bağlantıları).
• Sağlayıcı durumları (PSP/KYC/studio), kotalar ve limitler.
• Olay kuyrukları ve açık post-mortemler.
• Vardiya aralığı için serbest bırakma/phicheflag planı.
• Yedekli iletişim kanalları ve yükseltme kullanılabilirliği.
• Yedeklemeler/anahtarlar/sırlar - zamanlanmış kontrol.
• Önceki vardiyadan devir (eserler, riskler, gözlemler).

• Tüm testler/astarlar/güvenlik yeşili.
• CDC/dış enstrümanlar sözleşmeleri yayınlanmıştır.
• Geri alma planı ve phicheflags; kanarya hazır.
• Mevcut çalışma kitabı, görevli onaylandı, sağlayıcı pencereleri dikkate alındı.
• Dahil olan panolardaki ek açıklamaları yayınlayın.

7) SPC ve kontrol kartları

• Ne izliyoruz: işlem süresi, kusurların yüzdesi, uyarılara tepki süresi, teslim süresi.
• Kurallar: Sınırların dışında 1 puan, büyüme/düşme ile 7 ardışık puan, ortalamanın bir tarafında 8 puan - süreçte bir değişiklik sinyali.
• Eylemler: SPC sinyalleri için - kısa RCA ve düzeltici önlemler (SOP düzeltme, eğitim, otomasyon).

8) Örnekleme ve Denetimler (QC)

Örnekleme planı: kritik süreçler - günlük spot kontroller; ortalama - haftalık; düşük - tetikleyiciler tarafından.
Denetim kriterleri: Kontrol listelerinin bütünlüğü, yürütmenin doğruluğu, iletişimin doğruluğu, SLO'ya uygunluk, güvenlik uyumu.
Denetimin puanlanması: Kritikliğe göre ağırlıklarla 0-100; Sonuçlar - genel kalite panosuna.

9) Devir ve vardiya kalitesi

Handoff paketi: kısa durum, riskler, "gözlemlenen eğilimler", tamamlanmamış faaliyetler, aralık başına SLO.
İletişim: Güncellemeler için tek bir format (şablon), bir olay kanalına yanıt vermek için SLA, karar vermek için zaman kutuları.
Gölge vardiyaları: Yeni operatörler "gölgelerde" görev başındadır, daha sonra sertifikasyon kontrol listesine göre bağımsız vardiyalara geçerler.

10) Olay yönetiminin kalitesi

Bitti Tanımı: Olay yalnızca SLO'yu geri yükledikten, işletme/destek için güncellemeyi yayınladıktan ve düzeltmeler için görevler oluşturduktan sonra kapatılır.
Suçlamalar olmadan ölüm sonrası: gerçekler, kronoloji,'bir dahaki sefere farklı ne olacak ".

Eylem Öğeleri SLA: Son Tarihler ve Sahipler; Haftalık durum uzlaştırması

Metrikler: Regresyon olmadan olayların yüzdesi, ilk güncelleme için ortalama süre, zaman çizelgesi bütünlüğü.

11) Kalite kontrol otomasyonu

Otomatik denetleyiciler: Botlar kontrol listelerinin doldurulmasını, sürüm açıklamalarının varlığını, Alertmanager rotalarının doğruluğunu kontrol eder.
Politikalar/kurallar: CI/CD'de zorunlu kapılar, yapılandırma doğrulama (JSON/YAML), gizli tarayıcılar.
Süreç madenciliği: "Referans" rotasından darboğazları ve sapmaları bulmak için günlüklerin analizi.
Otomatik hatırlatıcılar: süresi dolmuş post-mortemler, kapatılmamış eylem öğeleri, cevapsız SOP öğeleri.

12) Metrikler ve gösterge panoları (minimum set)

Operasyon Kalitesine Genel Bakış: FPY, RFT, DPMO, SLO süreci, Hata Oranını Değiştir, açık eylem öğeleri.
Vardiya Panosu: kontrol listeleri, Handoff Kalite Puanı, uyarı yanıt süresi, izleme kapsamı.
Olaylar Kalite: MTTD/MTTR, ilk istemci güncellemesi, RCA bütünlüğü, regresyonlar.
Yayın Kalitesi: Bozulması olan kanaryaların yüzdesi, geri dönüşler, paydaş güncellemelerinin ortalama süresi.
Uyumluluk ve Güvenlik: Zorunlu prosedürlerin uygulanması (yedeklemeler, anahtar rotasyonu, erişim), ihlaller ve eliminasyon için son tarihler.

13) Kalite uyarıları (fikirler)

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14) İyileştirme prosedürü (PDCA döngüsü)

1. Plan: Metrikleri/hedefleri seçin, SPC/denetim verilerine dayanarak darboğazları belirleyin.
2. Yap: Sınırlı bir alanda pilot (SOP, eğitim, otomasyon) değiştirin.
3. Kontrol edin: önce/sonra metrikleri (FPY/RFT/SLO/olayları) karşılaştırın.
4. Hareket: başarılı ölçek, başarısız geri rulo; Standartları güncelle.

15) Roller ve sorumluluklar

Süreç sahibi: SLO, standartlar, gösterge panoları, iyileştirmeler.
Operatörler: yürütme, kontrol listeleri, olay iletişimi.
SRE/Platform: otomasyon, izleme, Alertmanager rotaları.
KG operasyonları: denetimler, örnekleme, kontrol listeleri, eğitim.
Kalite Yöneticisi: PDCA koordinasyonu, iyileştirmelerin önceliklendirilmesi.

16) Anti-desenler

"Daha sonra kontrol edelim" - QA yokluğu, sadece post-factum QC'ye güvenmek.
Bir kene uğruna kontrol listeleri (ihmaller için sonuç olmadan).
Devir için tek bir standart yoktur - bağlam kaybı ve hataların tekrarı.
Bir hedef olmadan "üst üste" ölçün - eylemler olmadan metrikler.
Eylem öğeleri ve son tarihler olmayan postmortemler - sürekli regresyonlar.
Neyin otomatikleştirilebileceğinin manuel kontrolleri.

17) Uygulama kontrol listesi

• Süreç haritası, sahipler, girişler/çıkışlar, SLO.
• SOP'lar ve kontrol listeleri (vardiyalar, sürümler, olaylar, sağlayıcılar).
• CI/CD ve operasyonel araçlarda kalite kapıları.
• SPC panoları ve kontrol kartları.
• Örnekleme planı ve düzenli denetimler.
• Devir şablonu ve Shadow shift eğitimi.
• Ölüm sonrası düzenlemeler ve izleme eylem öğeleri.
• Kontrolleri ve hatırlatıcıları otomatikleştirin.
• Üç aylık iyileştirme hedefleri (FPY/RFT/SLO/MTTR).

18) Şablonlar (parçalar)

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19) Hızlı başlangıç (30 gün)

1. Hafta: 3-5 kritik süreci, SLO'ları, sahipleri tanımlayın; Temel shift/release kontrol listelerini başlatın.
2. Hafta: Kalite panolarını ve 3 uyarıyı (ShiftChecklist, Handoff, IncidentSLA) ekleyin.
3. Hafta: 1-2 metrik için numuneleri/denetimleri ve SPC'leri çalıştırın.
4. Hafta: 2 yöntem postmortemleri yapın ve çeyrek için PDCA planını onaylayın.

20) SSS

S: Etkiyi hızlı bir şekilde nasıl görebilirsiniz?
C: Devir ve IncidentSLA ile başlayın: bu, MTTR'de anında bir azalma ve öngörülebilirliği artırır.

S: SPC'ler zaten uyarılar varsa gerekli midir?
A: Evet. Uyarılar "yangınları" yakalar, SPC - yangından önce süreç kayar.

S: Önce ne otomatikleştirilir?
C: Kapıları serbest bırakın, vardiya kontrol listelerini kontrol edin, eylem öğelerindeki ek açıklamaları ve hatırlatıcıları serbest bırakın.