סימולציות תקרית

1) מדוע לבצע סימולציות

• MTTD/MTTTA/MTTR נמוך יותר, להגביר את האמון בשוחד ובאוהבים;
• לזהות פערי תהליכים (הסלמה, תקשורת) וחולשות אדריכליות;
• לשמש קלט ל-RCA # CAPA ולשפר את התיעוד (runbook/SOP);
• אשר מוכנות לדרישות SLA/רגולטורית/ביקורת.

2) נוסחאות הדמיה

שולחן (שולחן) - תסריט שיחה על הלוח/צ 'אט: זול, מהיר, נהדר לתרגול תפקידים ותקשורת.
יום משחק (תרגילים בשלב/מכירה עם הגבלות) - צעדים מעשיים לספרי משחק; במכירות - רק פעולות בטוחות, הפיכות עם שערים ברורים.
כאוס הנדסה - כשלים מבוקרים (ניתוק תלויות/רשתות/צמתים) כדי לבדוק יציבות ושערי SLO.
תרגילי DR (התאוששות אסון) - כשל AZ/אזור, התאוששות מגיבויים, החלפת ספקים.
תקשורת-מקדחה - תקשורת גרידא: דף מצב, תבניות הודעה, יחסי ציבור/משפטי.

3) תפקידים ואחריות

מפקד אירוע (IC) - מקבל החלטות, מוביל תכנית, דה-הסלמה.
טכנולוגיה מובילה (TL) - אבחון, ”זריקות” טכניות והשערות.
תקשורת עופרת (CL) - עדכונים פנימיים/חיצוניים, דף מצב.
סקריבה - פרוטוקול (ציר זמן, פעולות, החלטות, חפצים).
משקיפים/הערכות - מדדי שיא וציות לנהלים.
צוות אדום (אופציונלי) - מציג ”זריקות” בלתי צפויות.

4) מדדי הצלחה בסימולציה

MTTD/MTTA/MTR על ידי תקרית סינתטית.
תקשורת SLA: זמן ואיכות עדכונים.
מעקות בטיחות: תגובה נכונה לשריפת קצב, מניין של דגימות חיצוניות.
נאמנות ריצה:% מהצעדים הושלמו בכל מסמך, ללא אלתור.
איחור הסלמה - מהירות חיבור התפקיד/ספק הרצוי.
רשימות מעבר: ציות ל ”מוכן/מקובל/סגור”.
רעש ועייפות: התראות נוספות, עומס יתר בכוננות.
השלמת CAPA: אחוז הפעולות שהושלמו לאחר הסימולציה.

5) הכנה: מה שאתה צריך לפני ההתחלה

תכלית והשערות: מה שאנחנו בודקים (תהליכים, ארכיטקטורה, אנשים).
תרחיש ו ”זריקות”: רצף של סימפטומים/אירועים עם תזמון.
הגבלות ביטחוניות: איסור על שינויים בלתי הפיכים; לבטל נקודות.
נתונים ודוכנים: תנועה סינתטית, דגלי תכונה השפלה, מפתחות מאובטחים.
מסמכים: קישורים ל-runbook/SOP, הסלמה, רשימת אנשי קשר של ספקים.
תצפית: לוחות מחוונים מסומנים מראש/התראות, קנריות בדיקה.
לוגיסטיקה: זמן/משך, משתתפים, ערוץ חדר מלחמה, הקלטה.

6) ביצוע סימולציה: שלבים

1. תקציר (5-10 דקות): IC דומה ליעדים, תפקידים, כללי בטיחות, קריטריונים להשלמה.
2. T0 - הזרקת תסמינים: התראה (s), ירידה בעסק SLI, מצב חיצוני של הספק.
3. מיון והסלמה: הקצאת SEV, הקפאת שחרור, חיבור התפקידים הדרושים.
4. אבחון: היפותזות, DNS/TLS/CDN/DB/cache/bus check, שחרור אנוטציות.
5. פעולות מקלות: אוטקט/קנאריקה, דגלי השפלה, כשל ספק, גבולות/רטראס.
6. תקשורת: עדכונים קבועים (בפורמט: Impakt # Diagnostika # Deystviya # Sled. עדכון).
7. התאוששות ואימות: סינתטיים חיצוניים + SLI במרווחי שטח N ירוק.
8. תחקיר (AAR): 15-30 דקות - עובדות, מסקנות, CAPA.

7) תרחישים לדוגמה (קטלוג)

הצלחת תשלום נפילה: ספק א 'משפיל במדינה אחת; פעולות צפויות - חלוקה מחדש של התנועה, שאיפשרה פישוט UX, תקשורת.
כשל DNS: שגיאת כתיבה/TTL, חלק מהמשתמשים לא פותרים את התחום; צעדים צפויים - תיקון/פולבק, ניקוי CDN, עדכוני מצב.
תעודת TLS שפג תוקפה: הפסקת לחיצת יד ללקוחות ותיקים; הארכת חירום ובדיקת שרשרת תלויה ועומדת.
קפקא לג: השהייה הולכת וגוברת באירועי KYC/AML; ציפיות - צרכנים בקנה מידה, יצרנים מוגבלים.
מסד נתונים p99 וגדילה 5xx: מדדים צרים, מגבלת חיבור; ציפיות - דגלים, גבולות, חם/רולבק.
כשל אזורי: כיבוי AZ/PoP; המתנה - החלפת GSLB/Anycast, אימות נתונים ו-SLO.
תרגיל תקשורת: הכל ”ירוק”, אבל אנחנו בודקים דפוסים, מרווחים ותיאום עם יחסי ציבור/משפטיים.

8) תבנית ”הזרקה” (כרטיס)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) בטיחות וציות

סימולציות ייצור - הפיכות בלבד: דגלים, תנועה בשברים קטנים, הערות לקריאה, ”תנועת צל”.
בקרת גישה/ביקורת: כל הפעולות באמצעות ChatOps/Pipeline; יומנים באחסון שאינו ניתן לשינוי.
PII/סודות - לא בשימוש בחפצי אימון; נתונים מנותקים.
רגולציה: אם הסימולציה משפיעה על תקשורת הלקוחות - סימון ”הוראה” בערוצים פרטיים; פרסומים ציבוריים אינם מחקים.

10) הערכה ו ־ AAR # RCA # CAPA

AAR (After Action Review) - מיד לאחר התרגיל: מה היה צפוי/נראה, מה עבד/לא.
RCA - עבור כשלים משמעותיים (למשל, הסלמה לא עבדה) לפי התבנית של RCA.
CAPA - רשימת פעולות עם בעלים/מועדים/אפקט מטרידים (שינויים בספרי השמעה, התראות, ארכיטקטורה).
נקודות ביקורת - D + 14/D + 30: אימות ביצוע, מיני-תרגילים חוזרים בנקודות פגיעות.

11) תיעוד וחפצים

תוכנית סימולציה: מטרות, תרחיש, זריקות, משתתפים, חלונות, קריטריוני הצלחה.
קו זמן (UTC): T0...Tn, פתרונות IC, צעדים טכניים, עדכונים.
תמונות של לוחות מחוונים/יומנים, תמציות של התראות ומדינות.

דו "ח סיכום - מטריצות, סתירות בספר משחקים, CAPAs

עדכוני תיעוד: runbook/SOP/עריכת מגע, קישורים ללוחות מחוונים חדשים.

12) תדירות וכיסוי

שולחן: 2-4 פעמים בחודש (על ידי זרמי מפתח ותפקידים).
ימי משחק על הבמה: 1-2 פעמים בחודש.
תיקים של כאוס (אור פרוד): רבעון, אך ורק על ידי שערים.
תרגילי ד "ר: 1-2 פעמים בשנה עם מיתוג אמיתי.
תרגיל תקשורת: חודשי להכשרת תבניות ועדכוני SLA.

13) רשימות בדיקה

לפני הסימולציה

[ תרחיש ], ”זריקות”, קריטריוני הצלחה, חלונות בטיחות.

[ תפקידים ], ערוצים, מצב התבניות עקבי.

[ זמינות ] של יציעים/דגלים/לוחות מחוונים בדקו.

[ ] תכנית הנסיגה וההפיכות מתועדת.

[ סיכונים ] והשפעה על SLO/לקוחות העריכו.

במהלך

[ ] שהוקצה, להקפיא משחררים (אם צריך).

[ תקשורת ] בלוח זמנים, הפורמט עקבי.

[ ] כל הפעולות באמצעות כלי ביקורת.

[ ] סקריבה שומר על פרוטוקול, אוסף חפצים.

[ בטיחות ]: איסורים/הגבלות מכובדים.

אחרי

[ ] AAR פורסם, דו "ח שמור.

[ ] RCA (במקרה של כשלים) מופעל.

[ ] "פים מונפקים עם בעלים/מועדים.

[ ] Runbook/SOP/Tests.

[ ] מתוכנן מבחן חוזר של נקודות התורפה.

14) אנטי דפוסים

”אלתור במקום תוכנית” - אין תסריט וקריטריונים להצלחה.
סיכונים ללא שערים ותוכניות ביטול - תרגילים הופכים לתקרית.
עובד רק ציוד ללא תקשורת והסלמה.
חוסר ב-AAR/RCA - הצוות לא לומד.
תוהו ובוהו ללא יכולת תצפית ו-SLO-גרדלים.
זכויות אטומות: עריכה ידנית סודית בדרבן.

15) תבניות מיני

יום המשחק אג 'נדה (60-90 דקות)

1. קצר (5 דקות) # מטרות, תפקידים, ביטחון.
2. תרחיש T0 (5 דקות) # הצגת תסמינים.
3. מיון/הסלמה (10 דקות).
4. אבחון + פעולות (30-45 דקות) - 1-2 ”זריקות”.
5. התאוששות ואימות (10 דקות).
6. AAR (15 דקות) - מסקנות, CAPA.

תבנית AAR (קצר)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) השורה התחתונה

סימולציות תקריות הן סימולטור לאנשים, לתהליכים ולארכיטקטורה. תרגילים רגילים, בטוחים וניתנים למדידה הופכים משברים לשגרה: הצוות מגיב מהר יותר, ספרי משחקים באמת עובדים, הארכיטקטורה יציבה יותר, והווסת והלקוחות רואים את הבגרות של התפקוד התפעולי. הדבר העיקרי הוא מטרות ברורות, שערים בטוחים, מדדים טובים ו AAR = RCA = CAPA.