الشفاء الذاتي والشفاء الذاتي

(القسم: التكنولوجيا والهياكل الأساسية)

موجز موجز

الشفاء التلقائي ليس «سحر Kubernetes»، ولكنه مجموعة من التخصصات: العينات والحدود الصحيحة، وإعادة التدوير الخاضعة للرقابة، وعزل الحالات الخاطئة، وأتمتة SLO وإجراءات الرونابوك بالزر/الروبوت. الهدف هو تقليل MTTR دون ازدحام متزايد والحفاظ على p95/p99 والمدفوعات و TTW حتى في ذروتها.

1) مبادئ الشفاء الذاتي

1. فشل سريع وعزل: تحديد وعزل القرون/الحالات السيئة بسرعة.
2. Backoff + jitter: أي إعادة/توسيع - مع تأخير أسي ونفخ.
3. SLO-aware: يتم تمكين/تعزيز الأتمتة بميزانية خطأ سريعة الحرق.
4. الخصوصية: المعاملات المتكررة آمنة (خاصة المدفوعات/قوائم الانتظار).
5. الدفاع في العمق: عينات، حصص، حدود، قاطع دائرة، طرد خارجي، حد السعر، وضع التحلل.

2) الأساس في Kubernetes

2. 1 عينات: الحيوية/الاستعداد/بدء التشغيل

يحمي StartupProbe من إعادة تشغيل الخدمات الثقيلة قبل الأوان.
يحدد مسبار الاستعداد لحركة المرور (المخابئ/الاتصالات الدافئة).
LianesityProbe يعيد تشغيل العمليات المعلقة.

yaml readinessProbe:
httpGet: { path: /health/ready, port: 8080 }
periodSeconds: 5 timeoutSeconds: 1 failureThreshold: 3

livenessProbe:
httpGet: { path: /health/live, port: 8080 }
initialDelaySeconds: 20 periodSeconds: 10 failureThreshold: 3

startupProbe:
httpGet: { path: /health/startup, port: 8080 }
periodSeconds: 5 failureThreshold: 30

2. 2 الحدود ومصرف التنمية الشعبي والأولويات

الطلبات/الحدود لا تشمل «الجار الصاخب».
تمنع PodDistructionBudget (PDB) جميع القرون من السقوط في نفس الوقت.

yaml apiVersion: policy/v1 kind: PodDisruptionBudget spec:
minAvailable: 2 selector: { matchLabels: { app: payments-api } }

فئة الأولوية للمسارات الحرجة (المدفوعات، البوابة).

2. 3 استراتيجية إعادة التشغيل والنشر

'maxUnavailable: 0' للخدمات الحيوية ؛ RollingUpdate بزيادات صغيرة.
تخصص PodAntiAffinity القرون للعقد/المناطق.

3) القياس التلقائي وتوسيع نطاق الأحداث

HPA (وحدة المعالجة المركزية/مقاييس المستخدم)

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler spec:
minReplicas: 3 maxReplicas: 30 metrics:
- type: Resource resource: { name: cpu, target: { type: Utilization, averageUtilization: 70 } }
- type: Pods pods:
metric:
name: http_requests_per_second target:
type: AverageValue averageValue: "50"

VPA

استخدام العاملين في مجال المعلومات الأساسية/مهام الدفعات ؛ في واجهة برمجة التطبيقات - بعناية (إعادة التشغيل).

KEDA (قوائم الانتظار/الأحداث الخارجية)

مشغلات طلبات تأخر كافكا، RabbitMQ، Redis، Prometheus - نزيد المستهلكين عند تراكم العمل.

4) دفاعات الشبكة: قاطع الدائرة والإعدام «سيء»

الكشف الخارجي عن المبعوث/إستيو (идея)

yaml outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

يقيد قاطع الدائرة الطلبات/الاتصالات المتزامنة حتى لا يتم إسقاط التبعية.

الحد من المعدل

حد من مكالمات الإدخال/مسارات PSP/لمزودي الألعاب حتى لا تزيد موجة الارتدادات من الحادث.

5) Retrai، المهلة والتراجع مع jitter

القاعدة: المهلة الأولى، ثم التراجع، دائمًا بمحاولات رعشة ومحدودة.

python def backoff(attempt, base=0. 1, cap=2. 0):
import random, math sleep = min(cap, base (2 attempt))
jitter = random. uniform(0, sleep 0. 4)
return sleep + jitter

للمدفوعات - المفاتيح الخفية + التفريغ.
لقوائم الانتظار - الحروف الميتة والإعادة المؤجلة.

6) الشفاء الذاتي في قوائم الانتظار/البث

تنبيهات النمو DLQ + ؛ إعادة المعالجة المعزولة.
تأخر التحكم: المستهلكون على نطاق تلقائي (KEDA)، الضغط الخلفي للمنتجين.
بالضبط مرة واحدة/مرة واحدة على الأقل - تم اختياره بوعي ؛ هي عمليات خفية.

7) النقد والإحماء

مفاتيح الإصدار ('v2:') للإعاقة الآمنة/التراجع.
تجمعات دافئة للاتصالات ببنك التنمية/PSP ؛ الإحماء قبل التبديل (الأزرق والأخضر/الكناري).
إعادة التحقق من صحة قاعدة البيانات «الباردة».

8) الإصلاح التلقائي بواسطة SLO (إجراءات الإشارة)

• توقف عن الكناري/التراجع при الحرق السريع.
• توسيع نطاق العمال مع نمو "قائمة الانتظار _ lag _ seconds'.
• تمكين وضع التحلل (مبسط UX، يعطل الميزات الثقيلة).
• تبديل مسار PSP عندما ترتفع المهلة.
• نشط مفتاح قتل علم الميزة.

yaml alert: WithdrawalsQueueLag labels: { action: "scale_workers", target: "withdrawals-consumers", by: "+5" }

9) وضع التحلل (التحلل الرشيق)

تبسيط واجهة المستخدم (عدد أقل من الطلبات)، وإيقاف تشغيل الأدوات «باهظة الثمن».
المزيد من التخزين المؤقت، عدد أقل من المعجبين/التجمعات.
بالنسبة إلى LLM/التوصيات - خفض حجم السياق/النموذج، وتمكين «المسار السريع».

10) نهج GitOps للإصلاحات التلقائية

جميع سياسات ومعايير الإصلاح التلقائي (المهلات والعتبات) موجودة في Git.
أي إجراء تلقائي يخلق شرحًا في Grafana وإدخال في سجل التغيير.
سياسات الكناري وبوابات SLO هي أيضًا رمز.

11) هندسة الفوضى: التحقق من أن الشفاء يعمل

حقن الإخفاقات: تأخير الشبكة، هبوط الموقد، فشل محاكي PSP، تأخر الطابور.
سيناريوهات يوم اللعبة: نقيس MTTR، وجودة الإجراءات التلقائية، ووجود القطع الأثرية.
النتائج → تحديث الجداول، العتبات، phicheflags.

12) إمكانية ملاحظة الشفاء التلقائي

النماذج: قفزة سريعة من مقياس p95 إلى المسار.
Logs with 'trace _ id' and fields' retry ',' terry ',' diffade _ mode = true '.
قارن لوحات القيادة (مستقرة مقابل كناري)، بطاقة SLO.
مراجعة الإجراءات الذاتية: من/ماذا/متى، مقاييس المصدر، النتيجة.

13) السلامة والامتثال

لا توجد أسرار في سجلات/مقاييس العلاج التلقائي.
لأنشطة الدفع - تأكيد/دور مزدوج.
Geo/PII - لا تأخذ حركة المرور إلى المنطقة «الخاطئة» مع الخداع.

14) نماذج عملية

Istio DestinationRule - تجمع الاتصال والخارج

yaml trafficPolicy:
connectionPool:
http: { http1MaxPendingRequests: 1000, maxRequestsPerConnection: 100 }
outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Flagger - الكناري مع التدفق التلقائي/التراجع

yaml analysis:
interval: 1m threshold: 5 metrics:
- name: request-success-rate thresholdRange: { min: 99 }
- name: request-duration thresholdRange: { max: 300 }
webhooks:
- name: smoke url: http://tester/smoke

KEDA ScaledObject - تأخر كافكا

yaml triggers:
- type: kafka metadata:
topic: withdrawals bootstrapServers: broker:9092 consumerGroup: w-consumers lagThreshold: "5000"

15) قائمة التنفيذ المرجعية

1. تم تكوين نقاط النهاية للبدء/الاستعداد/الحيوية والصحة.
2. الحدود/طلبات الموارد + PDB/مكافحة التقارب.
3. HPA/KEDA لـ APIs والعمال ؛ مقاييس التأخر/الإنتاجية.
4. قاطع دائرة، طرد خارجي، حد السعر في البوابة/الشبكة.
5. Retrai مع التراجع + النبض، وفراغ معاملات الدفع.
6. مخابئ الإصدار والوضع المنحط.
7. بوابات SLO → الإجراءات التلقائية (التراجع/المقياس/إعادة التوجيه/مفتاح القتل).
8. GitOps-policy code + إجراءات التدقيق، شروح الإصدار.
9. اختبارات الفوضى ويوم اللعبة على السيناريوهات الرئيسية.
10. لوحات تحكم MTTR/Alert Quality وتقارير الإصلاح التلقائي.

16) الأنماط المضادة

حيوية «مسامير» العملية بسبب الاعتماد على الوقت → الخفقان.
Retrai بدون مهلات/نفض → عاصفة من الطلبات.
HPA بواسطة وحدة المعالجة المركزية مع الخدمات المعتمدة على IO → «لا مكان».
ذاكرة التخزين المؤقت المشتركة بدون إصدارات أثناء التراجع → فساد البيانات.
إجراءات تلقائية بدون مراجعة الحسابات/Runbook URL.
لا توجد مقاييس DLQ/lag → تراكم هادئ للديون.
الخلط بين الشفاء التلقائي و «مشاكل الاختباء»: الأتمتة تعالج الأعراض، ولا يتم القضاء على الجذر → تكرار الحوادث.

موجز

الشفاء الذاتي هو تخصص هندسي: عينات وحدود عالية الجودة، واسترجاع وعزل كفء، وإجراءات تلقائية على إشارات SLO، بالإضافة إلى فحوصات الفوضى وعمليات التدقيق. يجعل هذا المحيط النظام الأساسي مقاومًا للتحطم، ويقطع MTTR ويوفر مقاييس iGaming الرئيسية - p99، وتحويل الدفع و TTW - حتى خلال الساعات الأكثر سخونة.