التراجع واستعادة الاستقرار

(القسم: التكنولوجيا والهياكل الأساسية)

موجز موجز

يعد Rollback عودة مُدارة إلى أحدث إصدار مستقر مع الحد الأدنى من مخاطر فقدان البيانات وانتهاكات SLO. تتضمن العملية الموثوقة: إشارات SLO، وبوابات واضحة ومعايير التراجع، وآلية تبديل (GitOps/Ingress/mesh)، ونظام بيانات متوافق، وتكوينات/أسرار/مخابئ معزولة، ودورة تحسين ما بعد الحادث.

1) متى تتراجع (معايير البدء)

SLO/بوابات الأعمال: p95/99 أعلى من العتبة، ↑ معدل الخطأ، انخفاض في الدفع/تحويل السعر، زيادة في مهلة PSP.
الإشارات التقنية: تحطم الموقد، تسرب الذاكرة، نمو قائمة الانتظار، تدهور رمزي/ثانية (LLM)، 5xx on Edge.
مخاطر البيانات: الهجرات غير الصحيحة، وعدم اتساق النسخ المتماثلة، والمعاملات/المدفوعات اليتيمة.
السلامة/PII: التسريب المشتبه به - التراجع الفوري/العزلة.

القاعدة: إذا كانت المقاييس الرئيسية 2 + خارج العتبات> N دقيقة، يتم تشغيل التراجع.

2) أنواع التراجع

1. التطبيق: إعادة الحاويات/الطرد إلى العلامة السابقة.
2. الميزة: الإغلاق الفوري عبر مفتاح العلم/مفتاح القتل.
3. التوجيه - يعيد الوزن إلى الإصدار الثابت (canary→stable) أو Blue→Green.
4. قاعدة البيانات: التراجع المنطقي (التعويض)، والعودة التدريجية للمخطط ؛ PITR هو الملاذ الأخير.
5. البنية التحتية: التراجع عن قوائم البيانات/خطة Terraform ؛ إعادة تكوينات الشبكة/WAF.
6. البيانات/المخبأ/قوائم الانتظار: رسائل إعادة الضبط/الإعاقة/إعادة التشغيل ؛ مخابئ النسخة.

3) المبادئ المعمارية للتراجع الآمن

توافق المخطط: استراتيجية expand→migrate→contract (التراجع ممكن بين التوسع والعقد).
التبعيات المعزولة: أسرار/تكوينات/مخابئ/قوائم انتظار منفصلة للتنقيحات.
العمليات الحمقاء: تكرار بدء الهجرة والعمل - آمن.
ثبات القطع الأثرية: الصور والمخططات ونصوص SQL - تم تحريرها وتوقيعها.
GitOps صحيح: الإصدار الحالي والتوجيه ملتزمان بمستودع البيان.

4) ميكانيكا التراجع (Kubernetes/GitOps)

Argo Rollouts (عودة الوزن)

yaml apiVersion: argoproj. io/v1alpha1 kind: Rollout metadata: { name: api }
spec:
strategy:
canary:
steps:
- setWeight: 5
- pause: { duration: 10m }
in case of analysis failure → automatic rollback to stable

تراجع GitOps (فكرة)

git revert <commit_with_bad_version>
git push # Argo CD/Flux revert cluster to previous revision

NGINX: مفتاح سريع للاستقرار

nginx map $cookie_canary $to_canary { default 0; 1 1; }
upstream stable { server api-stable:80; }
upstream canary { server api-canary:80; }
server {
location / {
if ($to_canary) { proxy_pass http://canary; }
proxy_pass http ://stable; # removed canary cookie - instant rollback
}
}

5) قاعدة بيانات Rolback وحماية البيانات

• التوسع - أضف حقول/فهارس جديدة، الكود يدعم المخطط القديم والجديد.
• هاجر: يبدأ الرمز في الكتابة إلى مخطط جديد، ولا نكسر المخطط القديم.
• العقد: لا يحذف القديم إلا بعد التثبيت.
• PITR/لقطات: لا تستخدم إلا إذا كان التعويض المنطقي غير ممكن.
• التعويضات: نصوص/وظائف منفصلة لإصلاح الإدخالات/الأرصدة/المدفوعات.
• نوافذ القراءة فقط: عند انتقادنا، نحجب التسجيل مؤقتًا من أجل «تجميد» الدولة.

sql
-- expand
ALTER TABLE wallet ADD COLUMN bonus_balance NUMERIC DEFAULT 0 NULL;
CREATE INDEX CONCURRENTLY idx_wallet_bonus ON wallet(bonus_balance);

-- migrate in code, two-sided write
-- contract (after stabilization)
ALTER TABLE wallet DROP COLUMN legacy_bonus_balance;

6) قوائم الانتظار والمخابئ عند التراجع

ذاكرة التخزين المؤقت: مفاتيح مسبقة مع نسخة ('v2:') → التعايش الآمن.
الإعاقة: أثناء التراجع - التنظيف الجماعي «v2:»، العودة إلى «v1:».
قوائم الانتظار: الأطراف/المواضيع حسب النسخة ؛ إعادة الرسائل «من نقطة التفتيش».
إزالة الازدواجية/الخصوصية: مفاتيح الخصوصية لإعادة المعالجة الخالية من الازدواجية.

7) بوابات SLO والتراجع التلقائي

المقاييس: p95/99، معدل الخطأ، التشبع (CPU/IO/GPU)، عمق قائمة الانتظار، الرموز/الثانية، تحويل الدفع.

if p95_latency_ms > 250 for 5m OR error_rate > 1. 5% for 3m OR payment_conv < baseline-0. 3%
then rollback release && open incident && freeze deploys

8) رونابوك (كتب اللعب)

A) نمو ما بعد الإصدار p99 و 5xx

1. توقف عن الترويج (تجميد الكناري/الأزرق الأخضر).
2. تحويل حركة المرور إلى مراجعة مستقرة.
3. تحقق من تأخير ضرب ذاكرة التخزين المؤقت/قائمة الانتظار/PSP.
4. إزالة التشخيص: السجلات والملفات الشخصية وإصدارات العملاء/المخطط.
5. الاتصال: ChatOps، قناة الحالة، بطاقة الحادث.
6. ابدأ العمل التصحيحي: التصحيح/الإصلاح الساخن/إلغاء الميزة.

باء) خطأ في نقل قاعدة البيانات

1. يكتب Freeze (اقرأ فقط، لفترة وجيزة).
2. تراجع التطبيق → نسخة ثابتة (متوافقة مع المخطط القديم).
3. تنفيذ التعويض/النصوص التراجعية.
4. سجل الذوبان ؛ رصد الانجراف/الأخطاء.

ج) تدهور الدفع (PSP)

1. قم بتبديل توجيه PSP إلى المسار السابق.
2. التراجع عن إصدار المعالجة.
3. توفيق جميع المدفوعات المعلقة، وتكرار ذلك مع المفاتيح الحمقاء.

D) LLM/recommendations delable

1. تعطيل النموذج/البارامترات الجديدة (علم الميزة).
2. إعادة نقطة النهاية/الوزن السابقة ؛ مسح مراجعة جديدة مخبأ KV.
3. تحقق من الرموز/s، رمز الكمون الأول، السمية.

9) الاتصالات وإطلاقات التجميد

نافذة التجميد: بعد التراجع - إصدارات الإيقاف المؤقت لـ RCA/الإصلاح.
قناة واحدة: تحديثات الحالة، تسلسل زمني للإجراءات، من فعل ماذا.
أصحاب المصلحة: Product/CS/Payments/Lawyers (at PII).

10) ما بعد الحادث: التحليل والوقاية

RCA (بدون رسوم): السبب الجذري، العوامل المساهمة، سبب عدم عمل البوابات (إذا لم تعمل).
الإجراءات: اختبارات الهجرة، والحدود، وبوابات الميزات، وإمكانية المراقبة.
عتبة SLO: التعديل إذا كان أيضًا «ناعمًا «/» صعبًا «.
الوثائق: تحديث الجداول، إضافة التنبيهات، التدريب (يوم المباراة).

11) الأدوات والنماذج

GitOps: Argo CD/Flux - «العودة »/« التراجع» تلتزم بالإصدار.
التسليم التدريجي: Argo Rollouts/Flagger - توقف/تراجع عن المقاييس.
الحافة/الدخول: توجيه الوزن، توجيه ملفات تعريف الارتباط، التبديل السريع.
أعلام الميزة: طرح جزئي، مفتاح قتل.
الهجرة DB: أطر الخلط مع أعلى/أسفل، الجافة، الخنق.
إمكانية الملاحظة: لوحات القيادة الجاهزة «release compare» (مستقرة مقابل كناري).

12) قائمة مرجعية بالاستعداد للتراجع

1. القطع الأثرية المجهزة والموقعة (صور/مخططات/SQL).
2. تكوينات السكك الحديدية/الأسرار/المخابئ/قوائم الانتظار (بادئات الإصدار).
3. مخطط DB حسب expand→migrate→contract.
4. إصدارات الكناري والأخضر الأزرق مع بوابات SLO ورشاوى السيارات.
5. رونابوكات للسيناريوهات الرئيسية (المدفوعات/DB/cache/LLM).
6. أزرار ChatOps: «/التراجع »و «/التجميد» و «/الترويج ».
7. مراجعة الحسابات وقطع الأشجار: من، متى، ما الذي تراجع ؛ القطع الأثرية التشخيصية.
8. تدريبات يوم اللعبة: محاكاة الانخفاضات والتعافي.
9. خطة اتصالات الأعمال والدعم.
10. مستقر مقابل جديد على شاشة واحدة.

13) الأنماط المضادة

الهجرات التخريبية قبل طرح الكود (لا يوجد توافق خلفي).
المخابئ/قوائم الانتظار المشتركة بدون إصدارات → التراجع القذر.
لا GitOps/Change History → Manual Edits to Prod.
إطلاق كناري بدون بوابات/قياس عن بعد → الكشف المتأخر.
التراجع دون تجميد و RCA → تكرار الحادث.
رصد المقاييس التقنية فقط بدون مقاييس تجارية (المدفوعات/المعدلات).
«الأسرار المشتركة» لجميع المراجعات → من الصعب عزل الحادث.

موجز

التراجع الموثوق به ليس «رافعة توقف»، ولكنه عملية مدمجة في الإصدارات: الإصدار والتوافق، والتبعيات المعزولة، وبوابات SLO، وواقع GitOps، والتراجع التلقائي، والروبوتات الواضحة. يسمح هذا النهج لمنصات iGaming باستعادة الاستقرار بسرعة، وتقليل خسائر البيانات والإيرادات، وتحويل كل حادث إلى مصدر للتحسين.