PSP-X Latency & Lost

(סעיף: טכנולוגיה ותשתיות)

תקציר

הנדסת כאוס היא שיטה מדעית לייצור: מנסחים השערת יציבות, משבשים את הסביבה באופן מבוקר, ומוכיחים שערך המשתמש (SLO/business metrics) נשמר. עבור iGaming, אלו הם בדיקות תשלום (PSPs), אתחול משחקים, תורים מובילים, ריבוי אזורים ועומס שיא - בתנאים של עיכובים, כשלים ו ”סערה” של מגשים - לפני שזה קורה למשתמשים חיים.

1) עקרונות הנדסת כאוס

1. מצב יציב להשערה. קבע את התעריף: זמינות, p95/p99, TTW, המרת תשלום.
2. רדיוס פיצוץ קטן. ניסוי ראשון בהיערכות/קנרית, 1-5% תנועה/1-2 פודה/אזור אחד.
3. יכולת תצפית ראשונה. מטריצות/רישומים/שבילים + הערות ניסוי.
4. מעקות בטיחות מבוטלות. סף KPI קשיח של SLO/עסק להשבתה אוטומטית.
5. יכולת חזרה ואוטומציה. ניסויים כקוד (ICC/GitOps), תוכנית יום-משחק.
6. תרבות ללא רבב. הניסוי אינו חיפוש אחר אשמה, אלא חיפוש אחר חולשות.

2) מצב יציב ומדדי הצלחה

TexSLI: p95/p99 API, שגיאה-קצב, רוויה (CPU/IO), תור lag (משיכות/הפקדות), ספקי latency.
Business SLI: המרה של 'ניסיון הצלחה', TTW p95, הצלחה של 'משחק init', שיתוף של כישלונות PSP על ידי קוד.

3) כיתות של ניסויים (מה ”לשבור”)

רשת: Latency/jitter/packet loss/blackhole, DNS, MTU אנומליות.
מצערת מעבד, לחץ זיכרון/OOM, דיסק IOPS/Space, תשישות תיאור קבצים.
תהליכים ואתרים: תאי הריגה/פינוי, כשל צומת, כשל אזור/אזור.
תלויות: פסקי זמן/שגיאות PSP, ספק משחק לא זמין, פירוק CDN/מטמון.
תורים/הזרמה: צמיחת קפקא לג, הפסקה צרכנית, פער צד/מנהיג.
נתונים/DB: עיכובי שכפול, הידרדרות אינדקס, מצב קריאה בלבד.
משחרר/פישפלאגים: הנדידה מחטיאה, תצורה שגויה, מתג להרוג.
צניחת LCP/INP, לקוח מתרסק בשיא.
Data/ML: תכונות הזדקנות, הגדלת מודל האיחור, נפילת אסימונים/S, הידרדרות האיכות.

4) תהליך: מהיפותזה לשיפור

1. גיבוש השערה (SLO/business KPI + התנהגות מוגנת).
2. תכנון הניסוי: סוג של כשל, משך זמן, רדיוס פיצוץ, מעקות בטיחות/ביטול.
3. הכן יכולת תצפית: שחרור/ניסוי להשוות לוחות מחוונים, הערות.
4. הפעל תחת בקרת IM/TL, הודע על כוננות/עסק (אם הוא מושפע).
5. תוצאות מדידה: SLO, p95/p99, TTW, המרה, lags, מגשים מחדש.
6. פריטי פעולה: מגבלות, פסקי זמן, מגשים עם ג 'יטר, פליטת חוץ, PDB/HPA/KEDA, זרימה חוזרת.
7. אוטומט (כולל בבדיקות התשתית של יום המשחק).

5) מעקות בטיחות ועצירת קריטריונים

• צריבה מהירה מופעלת (למשל: 14 × תקציב לשעה),
• המרת התשלום שלך יותר מ-0. 3 p.p.
• TW p95> 3 דקות ברצף 10-15 דקות,
• שגיאה-קצב> 1. 5% וגידול בשני חלונות.
• תקשורת: תבנית ערוץ/סטטוס מאושרת מראש, ”כפתור אדום” ב-ChatOps ('/ניסוי בטל ').

6) דוגמאות ניסיוניות (קוברנטס/ענן)

6. עיכובי רשת 1 PSP (דיכאון קנרי)

מטרה: לבדוק מגשים/פסקי זמן/ניתוב.
הזרקה: + 200ms RTT והפסד של 3% packet עבור ”תשלומים-api” * ”pspX” בלבד.

yaml apiVersion: chaos/v1 kind: NetworkChaos metadata: { name: psp-latency-canary }
spec:
selector: { labelSelectors: { app: payments-api, track: canary } }
direction: to target:
selector: { namespace: prod, ipBlocks: ["10. 23. 0. 0/16"]} # addresses pspX egress action: delay delay:
latency: "200ms"
jitter: "50ms"
correlation: "0. 5"
loss:
loss: "3"
correlation: "0. 3"
duration: "10m"
mode: one # minimum blast radius

צפוי: p95 '/הפקדה '<250 ms, שגיאה-קצב <1%, המרת קו בסיס 0. 3 pp; אם מושפל, PSP מסלול אוטומטי מתג.

6. 2 אי ־ ספיקת צומת ו ־ PDB

מטרה: בדוק PDB/אנטי-זיקה/HPA.
הזרקה: לנקז/לסיים צומת אחד עם תרמילי ”games-api”.

מחכה: אין אובדן זמינות, שיא p99 לא הולך מעבר ל-SLO, אוטוסקלר מקבל את הרמזים, PDB מונע ”וום כפול”.

6. 3 קפקא לג BULKEDA

מטרה: משיכה יציבה של כספים בעת צבירת מסרים.
הזרקה: להקפיא את הצרכנים במשך 5-10 דקות, ואז להפעיל.

מחכה: KEDA מאזנת את העובדים, TTW p95 נשאר 3 דקות אחרי ספיגה מחדש, ללא כפילויות (אידמפוטנטיות, מפתחות).

6. 4 תקלת DNS ספק משחק

מטרה: נסיגה/כינוס/מגשים מחדש.
הזרקה: NXDOMAIN/timeout for domain 'provida. דוגמא ".

ממתין: Follback על ' B', במצב UI - השפלה וכרזה מצב; 'Game' it הצלחה '99. 5%.

6. 5 קריאה בלבד של DB

מטרה: לכתוב התנהגות של אובדן.
הזרקה: לעבור cue לקריאה בלבד עבור 10-15 דקות.

מחכה: תהליכי הקוד נכון, מסלולים קריטיים מוגבלים, תורים מחזיקים בקשות, אין הפסדים/מחיקה כפולה.

7) אוטומציה ו ־ GitOps

ניסויים כקוד: לאחסן תסריטים/פרמטרים/מעקות בטיחות בגיט, סקירה באמצעות יחסי ציבור.
תכנית יום המשחק: לוח זמנים, בעלים, מדדים, תנאי ביטול, רשימת תקשורת.
אנוטציות בגרפנה: תחילת/סוף הניסוי, הגדרה, SLOS סופי.

8) יכולת תצפית במהלך כאוס

מופת: מ ־ p95/p99 ל ־ "trace _ id' ספציפי.
Bettry _ treasure: "extression _ id'," fault _ type "," retry _ treasure "," degrade _ mode = true ".
עקבות: קריאות חיצוניות מסומנות "אשמה. מוזרק = נכון ', retras/timeous גלויים.
לוחות מחוונים: ”SLO-card”, שחרור/ניסוי להשוואה, תשלומים/משחק init/תורים.

9) הפרטים של iGaming: מה לבדוק קודם

1. פסקי זמן, מסלול פולבק, אידמפוטנטיות.
2. אתחול של משחקים: חוסר נגישות/איטיות של אולפנים, כשלי CDN.
3. תורים לעופרת/בונוס: צמיחת פיגור, עיבוד מחדש.
4. רב-אזור: כשל אזור/פופ, שינוי מנהיג, שכפול מסד נתונים.
5. פסגות: קנה מידה אוטומטי, מגבלת קצב, מפסק מעגל, מפרי חימום.
6. רישום נכון במקרה של כשלים, אין חזיר בטלמטריה.

10) ממשל

לוח שנה וחלונות: ניסויים מחוץ לתחרויות שיא, תיאום עם עסקים.
Experiment Lead, Observer (SRE), Business Report; אני על הקו החם.
מדיניות נתונים: אין מח "ש בחפצים; חנויות תולעת לביקורת.
גבולות חוקיים: לא כולל תרחישים המפרים את אס-איי-איי ללא הסכם.

11) יום משחק: תבנית תסריט

12) ממצאים ופעולות אופייניים

מגשים אגרסיביים מדי * בקשות סערה * הוספת פסקי זמן/עצבנות/גבולות.
אין פליטה חריגה יותר * מקרה רעל מקלקל p99 * מאפשר ליקוט.
נדידה שברירית * קריאת בלבד שוברת את הזרימה של ac.textreate action + phichflags.
האות הלא נכון של HPA יהיה late scale _ מתג RPS/lag metrics.
מטמון נפוץ לגרסאות * rolbacks לקלקל מפתחות גרסה.

13) כאוס בתרגול רשימת הבגרות

1. מצב יציב ו-SLO מתוארים, לוחות מחוונים מוכנים.
2. ניסויים כקוד, סקירה/ביקורת בגיט.
3. מעקות בטיחות/הפלה אוטומטית (Alertmanager/ChattOps).
4. תצפיות: מופת, איתור/מתאם יומן, אנוטציות.
5. רבעון יום המשחק, תרחישים לכסות תשלומים/משחקים/תורים/רב-אזור.
6. פריטי פעולה פוסט-ניסיוניים הם חלק מתוכנית ספרינט; ניטור ביצועים.
7. מגש/פסק זמן/מדיניות סף מפסק מעגל בקונפיג ריפו.
8. מדיניות אבטחה/מח "ש נאכפת, חפצים ללא נתונים רגישים.
9. תיקון אוטומטי על ידי SLO (rollback/scale/reloute) בחן כאוס.
10. מדדי תהליך:% הושלם ללא ביטול, MTTR על פעילות גופנית, הפחתת תקרית כיתתית.

14) אנטי דפוסים

”לשבור כל דבר בדרבן” ללא SLO/מעקות בטיחות/תצפית.
ניסויים ללא השערות ומטרות מדידות.
רדיוס פיצוץ גדול בשיגור הראשון.
מגשים מחדש ללא פסקי זמן/ג 'יטר = סיבולת אשמה מפוספסת.
תוהו ובוהו במקום מניעה: לטפל בתסמינים, להתעלם מסיבות שורש.
היעדר פריטי RCA/פעולה לאחר פעילות גופנית.
ניסויים בשעות השיא ללא אישור עסקי.

תקציר

הנדסת כאוס היא הוכחה שיטתית לעמידות: אתה משחזר כישלונות אמיתיים מראש, מודד את ההשפעה על מדדי ה-SLO והעסקים, ומחזק את הארכיטקטורה - ממגשים ומפסקים לתזמור רב-אזורי ולריפוי אוטומטי. עם משמעת קבועה של יום המשחק ומעקות הבטיחות, פלטפורמת ה-iGaming שומרת על p95/p99, המרה ו-TTW אפילו במהלך המחזור החם ביותר.