אסטרטגיות גלגול ושחרור אטומי

אסטרטגיות rollback ושחרור אטומי

1) מדוע אתה זקוק לחזרה מהירה

• להפחית MTTR לדקות.
• הגבל את רדיוס ההשפעה (מינימום המשתמשים המושפעים/עסקאות).
• שמור על שלמות נתונים ותאימות חוזה.

המפתח: לבנות משחרר כך גלגול חוזר הוא פעולה טריוויאלית, לא מיני-פרויקט.

2) הרעיון של ”שחרור אטומי”

שחרור אטומי - כאשר ההכללה של גרסה/התנהגות חדשה יכולה להתבצע (ובוטלה) על ידי פעולה אטומית אחת ללא תופעות לוואי ממושכות.

• חפץ בלתי ניתן לשינוי (תמונה/חבילה חתומה).
• תצורה מורחבת (גרסאות קידום, לא עריכה ידנית).
• הפרדת ”משלוח” מ ”הכללה” (ניתוב/דגלים).
• סכימת נתונים תואמת (שתי הגרסאות יכולות לחיות בו זמנית).
• Rollback runbook: צעד אחד ברור (שינוי סלקטור/משקל/דגל) + בדוק.

3) מלאי מכונות רולבק

3. שכבת תנועה 1 (המהירה ביותר)

כחול-ירוק: העבר את בחירת קבוצת המטרה לגרסה היציבה.
תוריד את המשקל ל-0% ותקפיא את ההתקדמות.
Gateway/NGINX/Service Mesh: חזרה למשקולות/מסלולים קודמים.

3. 2 רמת מסוע

Helm/Argo Rollouts: ”ביטול/rollback” לתיקון הקודם.
GitOps: החזר את MR/להתחייב למניפולציות (בקר יעשה את השאר).

3. 3 תוספתן/מאפיינים

כבה את הנתיב המסוכן באופן מיידי.
הגדרות Toggle: חזור לקונפיגורציה הקודמת.

3. 4 נתונים

הגירה קדימה (מועדפת) + תאימות.
התאוששות נקודתית בזמן (PITR) וגיבוי לתאונות.
פיצוי (סאגה) ואידמפוטנטיות לפעולות הפיכות.

4) ”הרחיבו את החוזה של הגירה”

כדי שהחזרה תהיה מאובטחת, סכימת המידע חייבת לאפשר לגרסאות הישנות והחדשות לחיות יחד.

1. להרחיב - להוסיף שדות חדשים/אינדקסים (nullable) מבלי לשבור את ההיגיון הישן.
2. נדידה - כתיבה כפולה/קריאה, מילוי גב, עבודות רקע עם אידמפוטנטיות.
3. חוזה - מחק שדות/קוד ישנים לאחר 100% יציאה וחלון מתמשך.

5) גייטינג SLO וחזרה אוטומטית

הכניסה לכל שלב שחרור חייבת להיות ”שמורה” על ידי מדדים.

SLOS טכני: p95/p99 latency, 5xx-rate, רוויה (CPU/Memory), שרפה בתקציב שגיאה.
מדדים עסקיים: CR לפיקדון/קאשאוט, הכחשת תשלומים, אחוז הונאה, שגיאות KYC.

• 5xx> 0. 5% 10 דקות.
• p95> 20% של bastline _ hold + analysis.
• שגיאת PSP> 0. 3 p.p. = rollback + החלפת מסלול תשלום.

6) דוגמאות: Kubernetes/Helm/Argo/NGINX

6. 1 כחול-ירוק (בוחר שירות K8s)

yaml
Service points to "blue"; switch to green - change selector apiVersion: v1 kind: Service metadata: {name: app-svc}
spec:
selector: { app: app, version: blue }
ports: [{ port: 80, targetPort: 8080 }]

Rollback = להחזיר את הסלקטור ל 'כחול' (אטומי, אין הרכבה מחדש).

6. 2 Canary (Istio Virtualies Service)

yaml http:
- route:
- destination: { host: app, subset: stable } # 100 weight: 100
- destination: { host: app, subset: canary } # 0 weight: 0

Rollback = משקל הקנרית * 0, יציב = 100.

6. 3 Argo Rollouts - בטל

yaml kubectl argo rollouts abort app # stop and return to stableService

6. 4 הגה - רול בחזרה לתיקון

bash helm history app -n prod helm rollback app 17 -n prod # revert to revision 17

6. 5 NGINX - משקל מעלה הזרם

nginx upstream app {
server blue:8080 weight=100;
server green: 8080 weight = 0; # rollback - return 100/0
}

7) מאפיין-דגלים ומתג הריגה כ ”מצנח”

מתג חיסול לזרימות בסיכון גבוה (הפקדות/תשלומים/בונוסים) - חובה.
דביקות: הקצאת ”וריאנט” למשתמשים באמצעות השוואות של מפתח חשיש.
אל-כשל: אם שרת הדגל אינו זמין, ברירת המחדל בטוחה.

ts const enabled = flags. bool("new_cashout_flow", false);
if (! enabled) return classicFlow () ;//instant rollback - disable the return newFlow () flag;

8) API וחוזי אירוע: איך לא ”לשבור את הגלגיליות”

חוזי Versioning (OpenAPI/gRPC/Avro): הגרסה החדשה מוסיפה שדות, אינה משנה את הסמנטיקה של הישנים.
”סוג = v2”, הצרכנים נדרשים להתעלם משדות לא ידועים.
Outbox + Idempotency: כל חזרה על האירוע בטוחה, הצרכן הוא אידמפוטנטי.

9) ביטול עסקאות (סאגה)

• פורסם כבוי - פיצוי: החזר, היפוך, רישום תיקון.
• הקלטה בכתב העת של פעולות פיצוי ומחדלים לפני ההצלחה.
• מפתחות ראויים לכל פעולה.

json
{
"sagaId": "b7d2...",
"action": "withdraw. execute",
"idempotencyKey": "user123:withdraw:7845",
"compensation": "withdraw. refund"
}

10) תצורות וסודות: Rollback as Version

תצורות אחסון כגרסה של חפצי אומנות (semver/process-sha).
Rollback = הגדרה מחדש לגרסה הקודמת (GitOps revert), ולא ”לתקן עם הידיים”.
סודות - באמצעות אחסון (KMS/Vault); סיבוב ואורסיונים כלולים בשחרור.

11) Rollback runbook (מינימום)

1. הפוגה בהתקדמות (canary/rollouts).
2. החזרת תנועה (משקולות/סלקטור).
3. בדיקות המדדים העסקיים של SLO חזרו לנקודת ההתחלה.
4. ייצוב של עבודות רקע (עצירת הגירות/מילוי גב במידת הצורך).
5. תקרית ופוסט-פקטום: חפצים (רישומים/שבילים/מדטים), היפותזות, תיקון.
6. ניקוי: לסגור דגלים, להסיר את הקוד השמאלי, לחזור לוחות זמנים עבודה.

12) מדיניות הגנה אוטומטית

לאסור 'האחרון' ותגים מוטציה לתמונות.
בקרת כניסה: חפצים חתומים בלבד.
שער CI: SAST/SCA/Policy-checks חייב להיות ירוק לקידום.
הקפאת חלונות: אין שחרור/משקולות> X% במהלך תקופות סיכון.

13) אנטי דפוסים תכופים

אנחנו ”מגלגלים” את בסיס DDL למטה במקום תאימות - מנעולים ארוכים/זמן השבתה.
נדידה מיידית ראש בראש ללא אידמפוטנציה ומילוי גב.
ערבוב ”משלוח” ו ”הכללה” - אין דרך להחזיר במהירות את התנועה.
עריכה ידנית בתצורת הייצור ללא ביקורת.
אין מתג חיסול בתשלומים/יציאות.
לבנות מחדש את החפץ עבור פרוד (הפרה של ”לבנות פעם אחת - להפעיל רבים”).
אין כפתור רולבק יחיד/ספר ריצות לא עבד.

14) רשימת מימושים (0-45 ימים)

0-10 ימים

כולל כחול ירוק/קנרי על שירותי מפתח.
הכחיש ”האחרון”, לאפשר חתימת תמונה והיסטוריה Helm/Argo.
חיבור לוחות SLO (latency, 5xx, extreme business).

11-25 ימים

ליישם מתג להרוג לזרימת סיכון.
להמיר נדידת מסד נתונים כדי להרחיב-להגר-חוזה + אידמפוטנטיות.
הוסף אוטומטית עצירה/rollback על ידי SLO (ארגו תבנית/התראות).

26-45 ימים

תצורות Versioning (GitOps), rollback באמצעות MR-revert.
הפעל את ספר ההפעלה ל ”משחק-יום” (סימולציה של תקרית ו-rollback).
הזן פיצוי סאגה שבו כלפי מטה הוא לא אפשרי.

15) מדדי בגרות

Rollback MTR: המטרה <5 דקות.
% מהשחרורים שבו rollback = מתג מסלול/דגל (לא לבנות מחדש)> 90%.
נתח של נדידת חוזים רחבת ההגירה> 90%.
מכסה שירותי מתג להרוג עם דגלים> 95%.
מספר התקריות עקב מזימות/חוזים בלתי מתאימים = 0.

16) יישומים: תבניות קטנות

ארגו תבנית 5xx עצור

yaml apiVersion: argoproj. io/v1alpha1 kind: AnalysisTemplate metadata: { name: guard-5xx }
spec:
metrics:
- name: http_5xx_rate interval: 1m successCondition: result < 0. 005 provider:
prometheus:
address: http://prometheus. monitoring:9090 query:
sum(rate(http_requests_total{app="app",status=~"5.."}[5m])) /
sum(rate(http_requests_total{app="app"}[5m]))

פריסה מהירה של גלגול חוזר

bash kubectl rollout undo deploy/app -n prod

הגה: שחרור אטומי

bash helm upgrade --install app chart/ \
--atomic \
--timeout 5m \
--set image. tag=v1. 9. 3

NGINX: Canary Crane

nginx map $cookie_canary $weight {
default 0;
"~ on" 10; # enable 10% by cookie
}

17) מסקנה

rollback אמין הוא לא ”כפתור אש”, אלא תכונה של ארכיטקטורה: חפצים בלתי ניתנים לשינוי, הפרדת משלוח והכללה, ערכת נתונים תואמת, דגלי תכונה וגטינג SLO. לבנות משחרר אטומי, לתרגל ריצות ושערי אבטחה אוטומטיים - וכל שחרור יהיה הפיך תוך דקות, ללא כאב לעסקים ולמשתמשים.