אינטראקציה של צוותים בפעולה
1) מדוע
פלטפורמת iGaming היא עשרות תחומים (תשלומים, משחקים/ליבה, סיכון/KYC, דאטה, Infra/SRE, תמיכה, ציות). ללא אינטראקציה פורמלית, MTTR, CFR וסיכונים מבצעיים עולים. המטרה היא להפוך פונקציות שונות למערכת הפעלה אחת: אנשי קשר צפויים, תורים שקופים, אותות משותפים ועדיפות עקבית.
2) עקרונות
1. פתרונות משותפים קשורים לתקציבי SLO/שגיאה.
2. מקור אמת יחיד: לוחות מחוונים נפוצים, סטטוסים אחידים וחפצים.
3. גבולות וממשקים נקיים: לכל זוג פקודות יש חוזה מתואר (OLA/Runbook/API).
4. חבורות קטנות והפיכות: שינויים דרך פישפלאגים/קנרית, rollback מהיר.
5. אין אשמה - כן נתונים: ניתוחים על עובדות, שיפורים - חלק חובה של המחזור.
6. מינימום הרשאות נדרשות ו-SoD: הפרדת תפקידים לפעולות רגישות.
7. אוטומטי את השגרה, תקן את השאר.
3) תפקידים ו ־ RACI (מקצה לקצה)
ראש Ops/SRE Lead הוא הבעלים של המסגרת התפעולית, KPI/KRI. A
בעלי שירות (תשלומים/משחקים/KYC/Data) - מטרות תחום, שינויים, סיכון. A/R
פלטפורמה/אינפרה - נגישות, ביצועים, שחרור/קנריות. R
סיכון/היענות/אבטחה - SoD, RG/KYC/PII, ביקורת. C/A
תמיכה/CRM - מול תלונות, תקשורת לשחקנים. R/C
כוננות IC/CL - ניהול אירוע ועדכונים חיצוניים. R
מנהל שחרור - לוח שנה, CAB, מצב השינויים. R
נתונים/אנליטיקה - מוצר ומדדים תפעוליים, תמיכה ב ־ RCA. R/C
4) חוזי אינטראקציה (OLA/SLx)
(OLA (Operational Level Agreement - הסכמים פנימיים בין צוותים (לא SLAs חיצוניים). כלול:- תחומי אחריות: של מי התחום (לדוגמה, ניתוב PSP - תשלומים; מטמון/DB - אינפרה).
- מטרות/מדדי סף: MTTA תקרית, זמן תגובה הסלמה, חלון לאחר ניטור.
- תורים וסדרי עדיפויות: P1-P4, ביקורתיות עסקית, הקפאת חלונות.
- ממשקים: ערוצים, פקודות בוט, API/Runbook, ספריות בעלים.
- חפצים: אילו מסמכים/רישומים/לוחות מחוונים נדרשים כדי ללוות את האירוע.
5) ערוצי תקשורת ופרוטוקולים
צ 'אט מבצעי (משמרת): עדכונים יומיים, טקסים קטנים, מסירה.
ואר חדרים לתקריות: נוצר על ידי בוט; תפקידי IC/CL מוקצים על ידי הפקודה.
ערוץ CAB/Change: דיון בשינויים, סיכונים, לוח שנה לשחרור.
תקציר SLO/תקרית/פעילות מתוכננת בלבד
הסלמה: תבניות הפקודה '/עמוד ', '/הסלמה', דיווח SLA.
פרוטוקול הודעה אחידה: ”Offect lag ETA/ETR”.
6) עבודות יד בין משמרות ואזורים
תבנית 10-15 דקות:1. איפה הסיכון של שחיקת התקציב?
2. תקריות פתוחות/הסלמה ו ETA שלהם.
3. עבודות/שחרור מתוכנן ב 24-48 השעות הקרובות.
4. ספקים (PSP/KYC/Studios): כרטיסים פעילים, ציפיות.
5. קומפוזיציה תורנית וקשרי קשר (IC/CL/domains).
6. ”רשימת צפייה” - אזורי תשומת לב מוגברים (תורים/שכפול/מטמון).
מסירה מוקלטת ביומן משמרת, קישורים לחדרים ולוחות מחוונים.
7) שיתוף פעולה תקלה
התחלה: התראה ext יוצרת כרטיס '#' # 'YYYY-MM-DD-XXX', מקצה IC/CL ומוביל תחום.
חוק אחד: IC היא ההחלטה הסופית; סי-אל-תקשורת.
עובדות והשערות: אנחנו נפרדים; אותות ”אדומים” - עדיפות.
מעקות בטיחות: Picheflags/PSP ניתוב שינוי רק באמצעות מנחה עם SoD/Double-control.
טיוטות של עדכונים ציבוריים באמצעות CL, שותפים - ממוקד.
סגירה: לאחר ניטור, דור שלאחר המוות ומשימות שיפור עם בעלים/מועדים.
8) שיתופי פעולה בשינויים
לוח שנה חופשי: ציבורי, עם תקופות הקפאה וחריצים בכוננות.
שערי איכות: יחידה/חוזה/e2e, אבטחה, היערכות שערי SLO.
קנרית מתגלגלת: צעד אחר צעד 5% * 25% * 100% עבור GEO/דיירים/בנקים.
מדיניות של מפתח SLI/KRI, מגזין תולעת.
חבילות תקשורת: עדכוני טיוטה שהוסכמו מראש עם CL/Legal.
שינויים ב-RACI: RM (A/R), SO (A/R), SRE (R), Sec/Complication (C/A), CAB (A), IC/CL (R/C).
9) טלמטריה וחפצים מאוחדים
ספריית מטריות נפוצה: SLI/SLO, מדדים עסקיים, KRI (תורים, PSP, שכפול).
Dashboard ”Operation Map”: סיכום על ידי תחומים, אזורים, מעמד של אירועים/עבודות.
ציר זמן: תבנית אחידה (זמן, מחבר, פעולה, תוצאה, קישורים).
לאחר המוות: תבנית ללא חיובים, אמצעי מניעה, תאריך תיקון.
רנטקס/צ 'קליסטים: ממולאים; קישור מהתראות וכרטיסי תקרית.
10) עדיפות ותכנון
תוכנית שבועית (30-45 דקות): תיאום סיכונים עליונים, שחרור, הגבלות, שיפורים שלאחר המוות.
Kanban of operations: Torns 'Backlog # Ready # In Progress # validate # God', WIP relations.
קריטריון עדיפות: השפעה על SLO/הכנסות/ציות, גודל/התנהגות, תלות בספקים.
11) מטריצת הסלמה (לסחוט)
12) מדיניות וסודות
SoD/4-eyes: מסקנות/בונוסים/ניתוב PSP/יצוא PII - רק באישור כפול.
זכויות JIT: הסלמה זמנית של הרשאות לפעולות ניירות ערך.
מדיניות נתונים: PII איסור בערוצים פתוחים/לוחות מחוונים; גיאו-גבולות.
ביקורת - רישומי פעילות ללא שינוי (תולעים), תיקוני מדיניות.
13) כלי אינטראקציה
רובוט תקרית: '/תקרית חדשה ', תפקידים, טיימרים עדכניים, טיוטות תקשורת, '/runbook', '/flag ', '/config'.
Metrics API: תצוגת SLO נפוצה ו ־ KRI, מופת (trace_id) עבור RCA.
שחרור פורטל: מניפסטים, שערים, רולינג/רולבק סטטוס.
ספריית בעלים/CMDB: תחומים, אנשי קשר, ערוצי גיבוי.
14) שיתוף פעולה מטרי (KPI/KRI)
MTTA/MTR על ידי תחום וחריץ (יום/לילה), פרופורציה של אירועים שנתפסו לפני תלונות.
איכות מסירה: ליקויי שידור (פריטי רשימה לא סגורים בזמן).
שינוי שיתוף פעולה:% מהשחרורים עם חבילות תקשורת מוכנות וללא גלגולים.
מעקה בטיחות משמעת: תדירות של הפרות מדיניות/SoD (מטרה 0).
תקשורת קיידנס: דבקות במרווחי עדכון הציבור כאשר P1/P2.
לאחר המוות SLA: פרופורציה של post-mortems lood D + 5, השלמת פעולות.
חלוקת לילות/פסגות על ידי אנשים/צוותים.
לאג בין השפלה אובייקטיבית ותלונות ראשונות.
15) מימוש מפת דרכים (שבועות 6-10)
נד. 1-2: מלאי דומיין/בעלים; תבניות OLA; השקת הערוץ החלופי ורשימת ההחלפה; מטריצת הסלמה בסיס.
נד. 3-4: תקרית-בוט (MVP), ערוץ סטטוס משותף, כרטיס SLO/SLI/KRI; מדריך ספרים.
נד. 5-6: CAB/שחרור לוח שנה, חבילות תקשורת והקפאת חלונות; SoD/4-eyes לפעולות רגישות.
נד. 7-8: גלגול כנרית וחזרה אוטומטית כסטנדרט; תבנית שלאחר המוות, שיתוף פעולה של Opec/Ops-Dashboard.
נד. 9-10: תרגילי P1, ידיות צולבות, ביקורת תולעת, דוחות KPI/KRI, התאמות OLA.
16) תבניות (שברים)
16. 1 OLA (תשלומים ↔ Infra/SRE)
yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"
16. 2 רשימת מסירות (10 פריטים)
1. statuses domain SLO
2. אירועים פתוחים (זמן הגעה משוער/בעלים)
3. פעילויות מתוכננות/משחררות + חלונות תצפית
4. ספקים (PSP/KYC/Studios) - סיכונים/ציפיות
5. תורים/שכפול/מטמון - לאג/אנומליות
6. שינוי הגבלה/פישפלג
7. תלונות/כרטיסים וסיפי טעינה
8. תוכניות פסיק וטיוטות מצב
9. קומפוזיציה תורנית ושמורה
10. ”רשימת צפייה” לכל חריץ
17) תרופות אנטי ־ פטריות
”מישהו מוכן להתמודד?” בלי ראצ "י והבעלים.
תקריות ללא IC/CL ועדכון טיימרים.
שינויים נסתרים (קליקים ידניים), לא Git/Audit.
טלמטריה לא נפוצה: מספרים שונים בצוותים שונים.
משחרר ללא חבילות תקשורת וקנריות.
הפרות ”למען המהירות”.
ידיות בעל פה, ללא רשומות ורשימות בדיקה.
לאחר המוות ללא פעולות ומועדים.
סך הכל
האינטראקציה בין הצוותים בפעולה היא שיתוף פעולה חוזי: OLA/SLx, ערוצים ותפקידים ברורים, העברת משמעת, טלמטריה כללית, שחרור מתואם ותהליכי תקרית. מסגרת זו מפחיתה את MTTR ו-CFR, מיישרת את סדרי העדיפויות, מגנה על SLO, הכנסות וציות - והופכת את הפעולות היומיומיות לנצפות וקיימות.