Operasyonlarda ekiplerin etkileşimi

1) Neden

ITaming platformu düzinelerce alan adıdır (Ödemeler, Oyunlar/Çekirdek, Risk/KYC, Veri, Infra/SRE, Destek, Uyumluluk). Resmi birlikte çalışabilirlik olmadan, MTTR, CFR ve operasyonel riskler artar. Amaç, farklı işlevleri tek bir işletim sistemine dönüştürmektir: öngörülebilir kişiler, şeffaf kuyruklar, ortak sinyaller ve tutarlı öncelik.

2) İlkeler

1. SLO-first: ortak çözümler SLO/hata bütçelerine bağlıdır.
2. Tek bir gerçek kaynağı: ortak gösterge tabloları, tekdüze durumlar ve eserler.
3. Sınırları ve arayüzleri temizleyin: Her komut çiftinin tanımlanmış bir sözleşmesi vardır (OLA/Runbook/API).
4. Küçük partiler ve tersinirlik: phicheflags/kanarya, hızlı geri dönüş ile değişiklikler.
5. Suçlama yok - evet veri: gerçekler üzerinde ayrıştırma, iyileştirmeler - döngünün zorunlu bir parçası.
6. Minimum gerekli ayrıcalıklar ve SoD: hassas işlemler için rol ayrımı.
7. Rutini otomatikleştirin, gerisini standartlaştırın.

3) Roller ve RACI (uçtan uca)

Ops/SRE Lead Başkanı operasyonel çerçeve, KPI/KRI sahibidir. A

Hizmet Sahipleri (Ödemeler/Oyunlar/KYC/Veri) - etki alanı hedefleri, değişiklikler, risk. A/R

Platform/Infra - erişilebilirlik, performans, sürümler/kanaryalar. R

Risk/Uyum/Güvenlik - SoD, RG/KYC/PII, denetimler. C/A

Destek/CRM - şikayetlerin önü, oyuncularla iletişim. R/C

On-call IC/CL - olay yönetimi ve dış güncellemeler. R

Release Manager - takvim, CAB, değişikliklerin durumu. R

Veri/Analitik - ürün ve operasyonel metrikler, RCA desteği. R/C

4) Etkileşim Sözleşmeleri (OLA/SLx)

• Sorumluluk alanları: kimin alanı (örneğin, PSP yönlendirme - Ödemeler; Önbellek/DB - Infra).
• Hedefler/eşik metrikleri: Olay MTTA, tırmanma tepki süresi, izleme sonrası pencere.
• Kuyruklar ve öncelikler: P1-P4, iş kritikliği, pencereleri dondur.
• Arayüzler: kanallar, bot komutları, API/Runbook, sahip dizinleri.
• Dışlayıcılar: Olaya eşlik etmek için hangi belgelerin/günlüklerin/gösterge tablolarının gerekli olduğu.

5) İletişim kanalları ve protokolleri

Operasyonel sohbet (vardiya): günlük güncellemeler, mini ritüeller, devir teslim.
Olaylar için var odaları: bir bot tarafından oluşturulan; IC/CL rolleri komut tarafından atanır.
CAB/Change kanalı: değişikliklerin, risklerin, yayın takviminin tartışılması.

Salt okunur SLO/Olay/Planlı Etkinlik özetleri

Escalation: komut şablonları'/page ','/escalate', SLA raporlama.

Birleştirilmiş mesaj protokolü: "Gerçek - etki - ETA/ETR - bir sonraki güncelleme penceresi - sahip".

6) Vardiyalar ve bölgeler arasındaki devir işlemleri

1. SLO/SLI: Bütçe tükenmişliği riski nerede.

2. Açık olaylar/yükselmeler ve bunların ETA'ları.

3. Önümüzdeki 24-48 saat içinde planlanan çalışmalar/sürümler.

4. Sağlayıcılar (PSP/KYC/studios): aktif biletler, beklentiler.

5. Çağrı üzerine kompozisyon ve kişiler (IC/CL/etki alanları).

6. "İzleme listesi" - artan dikkat alanları (kuyruklar/çoğaltma/önbellek).

Devir bir vardiya günlüğüne kaydedilir, bağlantılar - var odalarına ve gösterge panolarına.

7) Olay işbirliği

Başlat: alert - bot bir kart oluşturur '# inc-YYYY-MM-DD-XXX', IC/CL ve etki alanı uçlarını atar.
Bir oy kuralı: IC nihai karardır; CL - iletişim.
Gerçekler ve hipotezler: ayırırız; "kırmızı" sinyaller - öncelik.
Korkuluklar: phicheflags/PSP yönlendirme sadece SoD/dual-control ile runbook aracılığıyla değişir.
İletişim: CL aracılığıyla kamuya açık güncellemelerin taslakları, ortaklar - hedeflendi.
Kapanış: Sahipler/son tarihler ile izleme sonrası, ölüm sonrası üretim ve iyileştirme görevleri.

8) Değişiklikler üzerinde işbirliği yapın

Sürüm takvimi: genel, donma dönemleri ve çağrı yuvaları.
Kalite kapıları: birim/sözleşme/e2e, güvenlik, SLO kapıları evreleme.
Kanarya haddeleme: adım adım %5 - %25 - GEO/kiracılar/bankalar için %100.
Otomatik geri alma: anahtar SLI/KRI, WORM dergisi tarafından politikalar.
Comm paketleri: CL/Legal ile önceden kararlaştırılan taslak güncellemeler.
RACI değişiklikleri: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).

9) Birleşik telemetri ve eserler

Ortak metrik dizini: SLI/SLO, iş metrikleri, KRI (kuyruklar, PSP, çoğaltma).
Dashboard "Operasyon Haritası": etki alanlarına, bölgelere, olayların/çalışmaların durumuna göre özet.
Zaman çizelgeleri: tek biçimli biçim (zaman, yazar, eylem, sonuç, bağlantılar).
Post-mortems: ücretsiz şablon, önleme önlemleri, revizyon tarihi.
Çalışma Kitapları/Kontrol Listeleri: sürüm; Uyarılar ve olay kartlarından bağlantı.

10) Önceliklendirme ve planlama

Haftalık Ops planı (30-45 dakika): Üst risklerin koordinasyonu, sürümler, sınırlar, post-mortemlerden iyileştirmeler.
Operasyonların Kanban: sütunlar 'Backlog> Ready> In Progress - Validate> Done', WIP sınırları.
Öncelik kriterleri: SLO/gelir/uyumluluk, büyüklük/tersine çevrilebilirlik, sağlayıcılara bağımlılık üzerindeki etkisi.

11) Eskalasyon matrisi (sıkma)

12) Politikalar ve SoD'lar

SoD/4-eyes: sonuçlar/bonuslar/PSP yönlendirme/PII dışa aktarma - sadece çift onay ile.
JIT hakları: runbook eylemleri için ayrıcalıkların geçici olarak yükseltilmesi.
Veri politikaları: Açık kanallarda/gösterge panolarında PII yasağı; Coğrafi sınırlar.
Denetim - değişmez faaliyet günlükleri (WORM'ler), politika revizyonları.

13) Etkileşim araçları

Olay botu:'/incident new ', roller, güncelleme zamanlayıcıları, iletişim taslakları,'/runbook','/flag ','/config'.
Metrics API: ortak SLO görünümü ve KRI, RCA için örnekler (trace_id).
Release-portal: manifestolar, kapılar, yuvarlanma/geri alma durumu.
Sahipler dizini/CMDB: etki alanları, kişiler, yedekleme kanalları.

14) İşbirliği Metrikleri (KPI/KRI)

MTTA/MTTR alanına ve yuvasına göre (gündüz/gece), şikayetlerden önce yakalanan olayların oranı.
Devir Teslim Kalitesi: iletim hataları (kontrol listesi öğeleri zamanında kapatılmamıştır).
İş Birliğini Değiştir: Hazır iletişim paketlerine sahip sürümlerin yüzdesi ve geri dönüş yok.
Korkuluk Disiplini: SoD/politika ihlallerinin sıklığı (hedef 0).
Comms Cadence: P1/P2 olduğunda genel güncelleme aralıklarına bağlılık.
Post-mortem SLA: post-mortemlerin oranı ≤ D + 5, eylemlerin tamamlanması.
Adil paylaşım yükü: Gecelerin/zirvelerin insanlar/ekipler tarafından dağıtılması.
Müşteri Sinyal Lideri: Objektif bozulma ve ilk şikayetler arasında gecikme.

15) Uygulama Yol Haritası (6-10 hafta)

Ned. 1-2: alan/sahip envanteri; OLA şablonları; Değiştirme kanalının ve devir teslim kontrol listesinin başlatılması; taban yükseltme matrisi.
Ned. 3-4: olay-bot (MVP), paylaşılan durum kanalı, tek SLO/SLI/KRI kartı; Runbooks dizini.
Ned. 5-6: CAB/serbest bırakma takvimi, iletişim paketleri ve donma pencereleri; Hassas operasyonlar için SoD/4-eyes.
Ned. 7-8: kanarya yuvarlanması ve standart olarak otomatik geri alma; Ölüm sonrası şablonu, Exec/Ops-dashboard işbirliği.
Ned. 9-10: P1 egzersizleri, bölgeler arası devir işlemleri, WORM denetimleri, KPI/KRI raporları, OLA ayarlamaları.

16) Şablonlar (parçalar)

16. 1 OLA (Ödemeler ↔ Infra/SRE)

yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"

16. 2 Devir teslim kontrol listesi (10 öğe)

1. SLO etki alanı durumları

2. Açık Olaylar (ETA/Sahipler)

3. Planlanan faaliyetler/yayınlar + gözlem pencereleri

4. Sağlayıcılar (PSP/KYC/Studios) - Riskler/Beklentiler

5. Kuyruklar/çoğaltma/önbellek - gecikme/anomaliler

6. Limit/Phicheflag Değişiklikleri

7. Şikayetler/biletler ve yükleme eşikleri

8. Virgül planları ve durum taslakları

9. Çağrı üzerine kompozisyon ve rezerv

10. Yuva başına "İzleme listesi"

17) Antipatterns

"Kimse anlaşma yapacak mı?" RACI ve sahibi olmadan.
IC/CL ve güncelleme zamanlayıcıları olmayan olaylar.
Gizli değişiklikler (manuel tıklamalar), Git/Denetim yok.
Yaygın olmayan telemetri: farklı takımlarda farklı sayılar.
İletişim paketleri ve kanaryalar olmadan serbest bırakır.
SoD ihlalleri "hız uğruna".
Kayıtlar ve kontrol listeleri olmadan sözlü olarak teslim edilir.
Eylemler ve son tarihler olmadan post-mortemler.

Toplam

Ekiplerin operasyonlardaki etkileşimi sözleşmeye bağlı bir işbirliğidir: OLA/SLx, açık kanallar ve roller, devir disiplini, genel telemetri, koordineli yayınlar ve olay süreçleri. Böyle bir çerçeve MTTR ve CFR'yi azaltır, öncelikleri hizalar, SLO'yu, geliri ve uyumu korur ve günlük işlemleri öngörülebilir ve sürdürülebilir kılar.