محاكاة الحوادث

1) لماذا المحاكاة

• وتخفيض حركة تحرير تاميل إيلام/حركة تحرير تاميل إيلام/حركة تحرير تاميل إيلام، وزيادة الثقة في الرشاوى والإعفاءات ؛
• وتحديد الثغرات في العمليات (التصعيد والاتصالات) والضعف المعماري ؛
• وتكون بمثابة مدخلات في RCA→CAPA وتحسين الوثائق ؛
• تأكيد الاستعداد لمتطلبات جيش تحرير السودان/التنظيم/مراجعة الحسابات.

2) صيغ المحاكاة

سطح الطاولة (سطح الطاولة) - نص محادثة على اللوحة/الدردشة: رخيص، سريع، رائع لممارسة الأدوار والاتصالات.
يوم اللعبة (تمارين في المرحلة/البيع مع قيود) - خطوات عملية لكتب اللعب ؛ في المبيعات - فقط الإجراءات الآمنة والقابلة للعكس مع بوابات واضحة.
Chaos Engineering - فشل مضبوط (فصل التبعيات/الشبكات/العقد) للتحقق من الاستقرار وبوابات SLO.
تمارين DR (التعافي من الكوارث) - فشل المنطقة/المنطقة، التعافي من النسخ الاحتياطية، تبديل مقدمي الخدمات.
Comms-drill - الاتصالات البحتة: صفحة الحالة، قوالب الرسائل، العلاقات العامة/القانونية.

3) الأدوار والمسؤوليات

قائد الحادث (IC) - يتخذ القرارات ويقود الخطة ويخفض التصعيد.
Tech Lead (TL) - التشخيص و «الحقن» التقني والفرضيات.
Comms Lead (CL) - تحديثات داخلية/خارجية، صفحة الحالة.
Scribe - protocol (timeline, actions, decisions, articles).
المراقبون/المستشارون - قياسات التسجيل والامتثال للإجراءات.
الفريق الأحمر (اختياري) - يقدم «حقن» غير متوقعة.

4) مقاييس نجاح المحاكاة

MTTD/MTTA/MTTR بواسطة حادث اصطناعي.
Comm SLA: توقيت وجودة التحديثات.
SLO-guardrails: رد فعل صحيح على معدل الحرق، نصاب العينات الخارجية.
دقة Runbook:% من الخطوات المكتملة لكل مستند، بدون ارتجال.
زمن انتقال التصعيد - سرعة ربط الدور/المزود المطلوب.
قوائم مرجعية لمعدل النجاح: الامتثال لـ «جاهز/مقبول/مغلق».
الضوضاء والتعب: تنبيهات إضافية، تحميل زائد عند الطلب.
استكمال CAPA: النسبة المئوية للإجراءات المكتملة بعد المحاكاة.

5) التحضير: ما تحتاجه قبل البداية

الغرض والفرضيات: ما نتحقق منه (العمليات، الهندسة المعمارية، الأشخاص).
السيناريو و «الحقن»: تسلسل الأعراض/الأحداث مع التوقيت.
القيود الأمنية: حظر التغييرات التي لا رجعة فيها ؛ التراجع عن النقاط.
البيانات والحوامل: حركة المرور الاصطناعية، علامات التحلل، مفاتيح آمنة.
الوثائق: روابط لكتيب التشغيل/SOP، التصعيد، قائمة الاتصال بمقدمي الخدمة.
إمكانية الملاحظة: لوحات القيادة/التنبيهات المحددة مسبقًا، اختبار الكناري.
اللوجستيات: الوقت/المدة، المشاركون، قناة غرفة الحرب، التسجيل.

6) تنفيذ المحاكاة: مراحل

1. موجز (5-10 دقائق): تشبه IC الأهداف والأدوار وقواعد السلامة ومعايير الإنجاز.
2. T0 - حقن الأعراض: تنبيه (تنبيهات)، انخفاض في SLI العمل، الوضع الخارجي للمزود.
3. الفرز والتصعيد: تعيين SEV، وتجميد الإصدارات، وربط الأدوار اللازمة.
4. التشخيص: فرضيات، DNS/TLS/CDN/DB/cache/bus check، شروح الإصدار.
5. الإجراءات المخففة: otkat/kanareyka↓، أعلام التدهور، فشل المزود، الحدود/التراجعات.
6. الاتصالات: تحديثات منتظمة (الشكل: Impakt→Diagnostika→Deystviya→Sled. تحديث).
7. الاسترداد والتحقق: المواد الاصطناعية الخارجية + معاملات الاسترداد المستدامة في فترات المنطقة الخضراء N.
8. استخلاص المعلومات (AAR): 15-30 دقيقة - حقائق واستنتاجات، CAPA.

7) سيناريوهات المثال (فهرس)

انخفاض نجاح الدفع: يتدهور مقدم الخدمة A في بلد واحد ؛ الإجراءات المتوقعة - إعادة توزيع حركة المرور، وتمكين الاتصالات المبسطة UX.
فشل DNS: خطأ الكتابة/TTL، بعض المستخدمين لا يحلون المجال ؛ الخطوات المتوقعة - الإصلاحات/الفولباك، إزالة CDN، تحديثات الحالة.
شهادة TLS منتهية الصلاحية: فترات راحة للمصافحة للعملاء القدامى ؛ تمديد الطوارئ وفحص السلسلة معلقة.
تأخر كافكا: زيادة التأخير في أحداث KYC/AML ؛ التوقعات - حجم المستهلكين، الحد من المنتجين.
قاعدة البيانات p99 ↑ والنمو 5xx: مؤشرات ضيقة، حد الاتصال ؛ التوقعات - أعلام، حدود، hotfix/التراجع.
الفشل الإقليمي: إغلاق AZ/PO ؛ الانتظار - تبديل GSLB/Anycast والتحقق من البيانات و SLO.
تدريب الاتصال: كل شيء «أخضر»، لكننا نتحقق من الأنماط والفترات والتنسيق مع Legal/PR.

8) قالب «حقن» (بطاقة)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) السلامة والامتثال

محاكاة الإنتاج - قابلة للعكس فقط: تتميز بالأعلام، وتبديل حركة المرور في أجزاء صغيرة، وملاحظات للقراءة، «حركة الظل».
مراقبة الدخول/مراجعة الحسابات: جميع الإجراءات عن طريق نظام تشات أوبس/خط الأنابيب ؛ سجلات التخزين غير القابلة للتعديل.
PII/secrets - غير المستخدمة في القطع الأثرية التدريبية ؛ بيانات غير شخصية.
التنظيم: إذا كانت المحاكاة تؤثر على اتصالات العملاء - وضع علامات على «التدريس» في القنوات الخاصة ؛ ولا تقلد الوظائف العامة.

10) التقييم و AAR → RCA → CAPA

AAR (مراجعة ما بعد العمل) - مباشرة بعد التمرين: ما كان متوقعًا/مرئيًا، ما الذي نجح/لا.
RCA - للإخفاقات الكبيرة (على سبيل المثال، التصعيد لم ينجح) وفقًا لنموذج RCA.
CAPA - قائمة الإجراءات مع المالكين/المواعيد النهائية/مقاييس التأثير (التغييرات في كتب اللعب والتنبيهات والهندسة المعمارية).
نقاط التفتيش - D + 14/D + 30: التحقق من التنفيذ، التدريبات المصغرة المتكررة في النقاط المعرضة للخطر.

11) الوثائق والتحف

خطة المحاكاة: الأهداف والسيناريو والحقن والمشاركين والنوافذ ومعايير النجاح.
الخط الزمني (UTC): T0...Tn، حلول IC، الخطوات التقنية، التحديثات.
صور لوحات القيادة/جذوع الأشجار ومقتطفات التنبيهات والحالات.

تقرير موجز - المقاييس، التناقضات في قواعد اللعبة، CAPAs

تحديثات الوثائق: كتاب التشغيل/SOP/تحرير الاتصال، وصلات إلى لوحات القيادة الجديدة.

12) التواتر والتغطية

سطح الطاولة: 2-4 مرات في الشهر (حسب التدفقات والأدوار الرئيسية).
أيام اللعبة في المسرح: 1-2 مرة في الشهر.
حالات الفوضى (prod-light): ربع سنوية، بدقة عن طريق البوابات.
تمارين DR: 1-2 مرة في السنة مع تبديل حقيقي.
Comms-drill: نماذج التدريب الشهرية وتحديثات SLA.

13) القوائم المرجعية

قبل المحاكاة

• سيناريو، «حقن»، معايير النجاح، نوافذ الأمان.
• الأدوار والقنوات وحالة النماذج متسقة.
• فحص توافر المدرجات/الأعلام/لوحات القيادة.
• تم توثيق خطة الانسحاب وإمكانية الرجوع.
• تقييم المخاطر والتأثير على SLO/العملاء.

أثناء

• SEV مخصصة، إطلاقات التجميد (إذا لزم الأمر).
• الاتصال في جدول زمني، يكون الشكل متسقًا.
• جميع الإجراءات عن طريق أدوات مراجعة الحسابات.
• يحافظ الكاتب على بروتوكول، ويجمع القطع الأثرية.
• السلامة: تُحترم المحظورات/القيود.

بعد

• نشر AAR، تم حفظ التقرير.
• بدأ RCA (في حالة الإخفاقات).
• يتم إصدار CAPAs مع المالكين/المواعيد النهائية.
• مستكمل كتيب التشغيل/SOP/جهات الاتصال.
• تم التخطيط لإعادة اختبار نقاط الضعف.

14) الأنماط المضادة

«الارتجال بدلاً من الخطة» - لا يوجد نص ومعايير للنجاح.
المخاطر بدون بوابات وخطة الإلغاء - تتحول التدريبات إلى حادث.
العمل على المعدات فقط بدون اتصالات وتصعيد.
نقص AAR/RCA - الفريق لا يتعلم.
الفوضى العاجلة دون ملاحظة و SLO-gardrails.
حقوق غير شفافة: تعديلات يدوية سرية في الحث.

15) قوالب مصغرة

أجندة يوم اللعبة (60-90 دقيقة)

1. موجز (5 دقائق) → الأهداف، الأدوار، الأمن.
2. السيناريو T0 (5 دقائق) → عرض الأعراض.
3. الفرز/التصعيد (10 دقائق).
4. Diagnostics + actions (30-45 min) - 1-2 «حقن».
5. الاسترداد والتحقق (10 دقائق).
6. AAR (15 دقيقة) - استنتاجات، CAPA.

قالب AAR (قصير)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) خلاصة القول

محاكاة الحوادث هي «محاكاة» للأشخاص والعمليات والهندسة المعمارية. تحول التمارين المنتظمة والآمنة والقابلة للقياس الأزمات إلى روتين: يتفاعل الفريق بشكل أسرع، وتعمل كتب اللعب حقًا، والهندسة المعمارية أكثر استقرارًا، ويرى المنظم والعملاء نضج الوظيفة التشغيلية. الشيء الرئيسي هو الأهداف الواضحة والبوابات الآمنة والمقاييس الجيدة AAR→RCA→CAPA الإلزامية.