טכנולוגיה ותשתיות * אל-מבצעים ומערכות אוטונומיות

AI-Ops ומערכות Standalone

1) מהו אל-מבצעים

• לזהות בעיות קודם לכן (עמדה נגדית של תקריות),
• תיקון אוטומטי
• לייעל עלות וביצועים (חיזוי סולם, ניתוב אינטליגנטי),
• להאיץ את ניתוח של תקריות (מתאם אותות, דור של פוסט-מתים).

1. להרגיש (לאסוף טלמטריה),

2. להבין (מודלים, היוריסטיקה, חוקים),

3. מעשה (ביצוע שינויים בטוחים במוצר על ידי פנקסים),

4. ללמוד (לסגור את לולאת המשוב באמצעות ניתוח פוסט-אירוע).

2) שכבות של ארכיטקטורת בינה מלאכותית

1. אוסף טלמטריה (Observability 3-in-1): מטריצות (Prometheus/Otel), לוגים (Loki/ELK), שבילים (Otel/Yager).
2. העשרה והנדסת תכונה: אגרגציות, חלונות הזזה, עונתיות, תגיות עסקיות ("partner", "game _ id'," region "," VIP "," psp ").

• גילוי אנומליה (STL, נביא, יער בידוד, מקודדים אוטומטיים),
• גרפי סיבה ואפקט (מתאם תלות),
• סיווג תקריות ותעדוף (ML + SRE domain rules).
• 4. פתרונות ופעולות: הפעלת ספרים, רטראס אוטומטי, שינוי תנועה, שינוי גבולות, ניתוב מעקב.
• 5. מעגל אדם-מכונה: LLM-copylot עבור NOC/SRE, פקודות צ 'אט, סימולציות ”מה-אם”.
• 6. מושל ובטיחות: אישורים, החלפת חלונות, תנאי עצירה קטסטרופליים, ביקורת חשבונות.

3) מקורות נתונים ותכונות

תשתית: CPU/Memory/IO/Latency, שגיאות רשת, K8s תרמילים/צמתים, גבולות/בקשות, לחץ צומת.
שירותים: RPS/P50/P95/P99, 4xx/5xx, רוויה, שגיאות מגש מחדש, אירועים מפסק מעגל.
אותות עסקיים: Permatsiya # dpozit (CR), GGR/Net Deposits, כשל PSP על ידי קוד, תנועת VIP, טורנירים, קמפיינים.
גורמים נוספים: דגלים משוחררים/מאפיינים, דוחות רגולטוריים, חלונות תשלום בבנק, התאמות/אירועים (פסגות הימורים).

מאפיינים שימושיים: עונתיות שבועית/שעה, לאגס, סטטיסטיקות מגלגלות, קצב שינוי, שגיאות-מיקס על ידי קודים, versiya _ versiya deltas, רוויה-ציון.

4) תיקי יישום

4. 1 גילוי מוקדם של תקריות

גידול לא תקין של כשלי psp _ down _ rate באזור = כשל אוטומטי לגיבוי PSP, המוגבל על ידי מקטעים (לא נוגעים VIP).
תבנית לא סטנדרטית של עיכובי עקבות ב ”web * gateway ac arket” chain * תנועה אוטומטית מוצפנת לתרמילים בריאים, לחמם את המטמון, להתחיל מחדש מקרים משפילים.

4. 2 ניהול כושר חיזוי

תחזית RPS, לקיחת בחשבון של לוחות הזמנים של התאמות וקדימות של K8s, חימום חיבורים לבסיס הנתונים/מטמון, מכסות חיוב ענן.
חיסכון: הקטנת גודל יתר של שיא תוך שמירה על SLO.

4. 3 ריפוי עצמי

תקוע תור תשלום שגיאה * runbook: הפוגה צרכנית, שכפול, תהליך DLQ, בקרת אידמפוטנטיות.
DB Digrouded Drass = = פינוי קריאות, החלפת סופר, עבודות רקע חונקות.

4. 4 קורלציה ו ־ RCA

מקבץ התראות (סופות התראה) + גרפים סיבתיים = ”כרטיס תקרית” אחד במקום עשרות הודעות.
דור אוטומטי של ציר זמן אירוע וטיוטה שלאחר המוות.

4. 5 טייס משנה עבור NOC/SRE (LLM)

פקודה: ”הצג כל מה שהשתנה 15 דקות לפני ה-5xx ספייק ב/v2/תשלום באזור האיחוד האירופי”.
תשובה: הגדרות דיף, הערות שחרור, דלתות מטריות, תרמילים מושפעים, היפותזות + כפתורי ”התחל רנבוק”.

5) דפוסי החלטה

Safe-Automation: פעולה רק במסדרון הירוק (Gardrail: מקסימום% מהתנועה, מקסימום סולם הצליל, רשימת הפקודות המותרות).
צעדים קריטיים (החלפת מסד הנתונים הראשי, פישפלאגים המוניים) עם אישור בכוננות.
Multisignality: הדק אינו התראה אחת, אלא עקביות: מדטים + שבילים + תבנית רישום + סימן שחרור.
תיקון הכנרת: תחילה חל על 1-5% מהתנועה, לאחר מכן להסלים.
כל פעולה היא צעד אחורה ופסק זמן.

6) ספרי ריצה וספרי משחקים

מבנה ריצה: תנאי = אימות של action # action # אימות = rollback ac.log.

• PSP ויתור> X% בארץ Y: לעבור לכביש B, נמוך יותר ”retry _ budder”, להפעיל מטמון הגבלה, כרטיס פתוח PSP.
• צמיחה של איחור בשירות הארנק: הגדלת העתקים, חימום מפתחות רדיס ”גבולות”, איפשור מצב ”קריאה בלבד” לדיווחים כבדים, הגבלת צבירה של צד שלישי.

7) מודלים: פשוט לבוגרים

1. חוקים בסיסיים ועונות עונה: התחלה מהירה, מעט חיוביים עממיים.
2. מודלים מפוקחים של היסטוריית תקריות: סיווג ביקורתי/תת-מערכת, רמז RCA.
3. לא מפוקח/עמוק: צופן אוטומטי/יער בידוד לדפוסים מורכבים.
4. מדיניות למידה: הכשרה של מדיניות תיקון (סימולציות לא מקוונות + מוגבלות בניסויים מקוונים).

חשוב: דוגמניות קסם. האם בדיעבד, סחיפה שליטה, אלוף המתמודד, ולשמור תכונות/תוויות.

8) A/B וניסויים בפעולות

ניסויים על פתרונות מבצעיים: אסטרטגיות מגש/זמן שונות, ניתוב PSP, מגבלות חיבור.
מדדי הצלחה: MTTR, שריפת תקציב שגיאה, עלות לכל RPS,% מהאוטוקסיות העממיות.
תנאי עצירה ועצירה מהירה בזמן ההשפלה.

9) מושל, סיכון וציות

מדיניות פעולה: רשימה של אוטומציות מותרות, אזורי סיכון, שינוי חלונות, רמות אישור.
ביקורת והתחקות: מי/מתי/למה השיק את החווה; חפצים שלאחר המוות.
PII/PCI: מיסוך בתכונות/יומנים, מזעור נתונים, סריקות סודיות.
תקנה iGaming/fintech: שקיפות של החלטות (הסברה), ההיגיון של עצירת תשלום/הגבלות צריך להיות בר רבייה וניתן להסבר.

10) כלים (ערימת התייחסות)

תצפיות: OpenTelemetry, Prometheus, Grafana/Tempo/Yager, Loki/ELK.
קטלוגים וידע: קטלוג שירות, תלות בגרף, מלאי של תצורות/פישפלאגים.
ML-צינורות: Feature Store, offline-DWH + תכונות מקוונות, Model-Register, דגמי CI/CD, סחיפה-ניטור.
אוטומציה: תזמורת של ספרי ראנבוקס (Argo/StackStorm/ambusnyye), מפעילי K8s, GitOps (Argo CD/Flux).
תקריות: צ 'טים (רפוי/טלגרם/צוותים), רובוטים שעון, תבניות שלאחר המוות.
אבטחה: כספת/KMS, מדיניות מפתח, MTLS, חתימת חפץ.

11) אל-מבצעים מטריצות בגרות

זיהוי: פרופורציה של אירועים שנראו לפני תלונות המשתמש; עופרת זיהוי ממוצעת.
תגובה: MTTA/MTTR,% תיקון אוטומטי ללא הסלמה, איכות RCA (דיוק/החזרה).
אמינות: קצב צריבה, דבקות ב-SLO, התראות לפי שעה.
כלכלה: חיסכון של $ על חישובים (מימין), הפחתת סטיות מהתקציב, עלות לעסקה.
תרבות: שיתוף תקריות עם לאחר המוות, סיקור שירותים עם ספרי הפעלה, מהירות יישום של כללים.

12) תוכנית יישום שלב אחר שלב

1. טלמטריה ומילון אותות מאוחד. תוויות נדרשות: ”שירות”, ”גרסה”, ”אזור”, ”שותף”, ”api _ version”.
2. אנטי-רעש וקורלציה. שכפול התראה, מקובץ על ידי אירוע.
3. ספריית ריצות. תרחישים של 10 סיכונים (תשלומים, ארנק, קטלוגי משחקים, טורנירים, דוחות).
4. מודלים עיקריים. חוקי STL/Prophet +; טייס על 2-3 שירותים.
5. טייס משנה וצ 'טים. בקשות טבעיות, פעולות מהירות, תבניות שלאחר המוות.
6. גרדלים ושליטה. קנריות, גבולות פעולה, שביל ביקורת.
7. ניסויים ואימונים. אלוף המתמודד, א/ב, הערכת תועלת רטרוספקטיבית.
8. מגמת עלייה. חיבור כל הנחלים הקריטיים, צוותי אימון, סקירת SLO.

13) דוגמאות למדיניות ותצורות

13. 1 מדיניות קנה מידה אוטומטי (רעיון)

הגדלה פרויקטיבית בתחזית RPS> + X% P95 בשבוע שעבר.
התחלה קרה: חימום חיבורים לרדיס/PSP, חימום מטמונים.
עצור תנאי: שגיאת 5xx גדלה לאחר גלגול סקייל.

13. 2 ”דלדול PSP” רישומים

1. בדוק את "psp _ שגיאה _ rate> T 'ו-" region in [BR, TR] ".
2. אפשר ניתוב חכם על PSP-B ללא VIP בלבד; גבול 'max _ relaries = 2'.
3. צור כרטיס PSP-A; לאסוף 100 בקשות/תגובות עבור RCA.
4. הפקדת CR צג ו T2W (זמן לארנק). Rollback על השפלה> Y%.

13. 3 תבנית שלאחר המוות (אוטומטי)

גלאי = Timeline # Hypotheses # Impact (משתמשים/הכנסות) # Actions # Lessons # Changes to the Runbooks/Models.

14) אנטי דפוסים

”קופסה שחורה” ללא מעקה: רובוטים שולטים במכירה ללא מגבלות וביקורת.
מודלים ללא נתונים על אירועים עסקיים: ראה מעבד, אך לא מבין פרומו/התאמות.
סופות התראה: חוסר קורלציה = בכוננות ”ראיית מנהרה”.
תיקון אוטומטי ללא החזרה/אימות של התוצאה.
”טייסים נצחיים”: אין דרך לצאת לפעולות אמיתיות, רק לוחות-כלים.
מחסור בבדיקות שלאחר המוות. אין מערכת אימונים.

15) הקשר iGaming/fintech

פסגות טעינה (טורנירים, הימורים חיים, גמר): מגמת חיזוי, חימום מטמונים, הכנת גבולות PSP.
Games/Limits: מודלים אינם חייבים להרים מגבלות שחקן באופן אוטומטי ללא התאמה לחוקים.
חלונות דיווח רגולטורי: הורדת לוחות זמנים, הורדת SLA, עדיפות תור.
ריבוי PSP: ניתוב דינמי על ידי מדינה, זמן של יום, קודי שגיאה, עלות עסקה.
קטע VIP: גרדילים בודדים - אין פעולות אגרסיביות ללא אישור (אדם-בלולאה).

16) רשימת מוכנות

1. שכבה אחת של אוטל, תוויות מאוחדות ועקבות דרך השער.
2. טופולוגיית שירות.
3. קטלוג של ספרי הפעלה עם סימולציות ובדיקות יחידה.
4. לפחות מודל אחד של חריגות בדו "ח המוצר + איכות.
5. טייס משנה צ 'אט מסוגל לקרוא יומנים/מדדים ולהפעיל פעולות בטוחות.
6. גרדלים, קנריות, שוחד, ביקורת משנה.
7. לאחר המוות הרגיל ועדכון של ידע/מודלים בהתבסס על התוצאות.

תוצאות

אל-מבצעים אינם ”אל קסם על גבי היומנים”, אלא משמעת: טלמטריה באיכות גבוהה, ספרי שיכר מובנים, אוטומציה זהירה ומודלים מבוקרים. ע "י הצגת לולאה של התבוננות בהבנה = = פעולה = למידה עם גרדלים ברורים, אתה מקבל פלטפורמה לריפוי עצמי שמבחין בסיכונים מוקדם יותר, מתאושש מהר יותר ועולה לעסק פחות.