الاستجابة للحوادث والحوادث

(القسم: العمليات والإدارة)

1) التعاريف والأهداف

الحادث - حدث ينتهك SLO/الأمان/الامتثال أو يخلق خطرًا على العملاء والمال والبيانات والسمعة.
أهداف رد الفعل: استعادة الخدمة بسرعة، وتقليل الضرر، وإصلاح الأدلة، والتواصل بشفافية ومنع التكرار.

المبادئ الرئيسية

السلامة أولاً: حماية الأشخاص/البيانات/المال على الميزات.
حلق واحد للاختناق: قائد حادث واحد (IC) يتخذ القرارات.
قابل للتنفيذ الآن: كل فرضية يتبعها اختبار/إجراء.
الأدلة مهمة: يتم تسجيل كل شيء، ويتم توقيع القطع الأثرية، ويتم تفصيل الجدول الزمني.

2) التصنيف (الشدة والأولوية)

الزناد: انتهاك SLO، قاعدة التنبيه، التقرير اليدوي، الحادث القانوني (DPO/CCO).

3) الأدوار والمسؤوليات (RACI)

قائد الحادث (أ) - قائد الحادث، تحديد المهام، صنع القرار، تغييرات IC للحوادث الطويلة.
Tech Lead (R) - التشخيص/الإصلاحات التقنية، SRE/التنسيق الهندسي.
Comms Lead (R) - يكتب تحديثات الحالة (داخل/خارج)، مالك صفحة الحالة.
Scribe (R) - البروتوكول، الجدول الزمني، مجموعة القطع الأثرية.
الأمن/القانون (جيم/ألف للحالات الأمنية) - تقييم المخاطر، الإخطارات الإلزامية.
دعم العملاء (C) - قوالب الاستجابة وتوجيه التذاكر.
الاتصال بالشركاء (جيم) - التواصل مع مقدمي الخدمات/المستأجرين.
الإدارة (أولاً) - المعلومات، القرارات التجارية (القروض/التعويضات).

4) أول 15 دقيقة (قالب)

1. قم بتعيين IC وافتح بطاقة الحادث (قناة الدردشة، جسر الفيديو، Jira/Tracker).
2. قم بتعيين SEV وإصلاح أعراض SLO (ما يتم انتهاكه بالضبط).

• تشمل كتب التشغيل/الرونية: قواطع الدوائر، والاختناق، وتبديل الطريق، والترويج للإيقاف المؤقت ؛
• في حالة الحلول الوسط - الوظائف الحساسة لتبديل القتل.
• 4. الأوامر: الرصاص التكنولوجي - التشخيص ؛ الاتصالات - «عقد تقني» (في 10-15 دقيقة - التحديث الأول).
• 5. تحديد الفرضيات (ثلاثة كحد أقصى)، تعيين المالكين، تعيين أجهزة توقيت للتحقق (5-10 دقائق).
• 6. جمع القطع الأثرية: لقطات من المقاييس، والتكوينات، وإطلاق التجزئة، والسجلات مع «تتبع _ معرف»، والإيصالات.

5) الساعة الأولى (قالب)

الاتصال v1 (15-20 دقيقة): حقيقة، مدى، أعراض، ما نفعله، التحديث التالي. لا تكهنات.
حدود الحوادث: المناطق/المستأجرين/القنوات/الإصدارات المتأثرة.
التحكم في الضرر: الحدود القصوى/القيود المؤقتة، وفصل عمليات التكامل «الصاخبة»، وتفعيل وضع التحلل.
الطب الشرعي: تجميد دوران السجلات، حماية القطع الأثرية (WORM/signations).
خارطة طريق الاسترداد: T + 30/T + 60 مع نقاط التحقق.

6) صفحة الاتصالات والحالة

الفترات الداخلية: P1 - كل 15 دقيقة، P2 - 30-60 دقيقة.
خارجي: صفحة الحالة/المستأجرين/شركاء جيش تحرير السودان.

• ما يمكنك رؤيته: «مع X: YY UTC، الزيادة في إخفاقات الخروج في منطقة الاتحاد الأوروبي (p95> 250 ms)»
• متأثر: «مشغلو A/B/C ~ 40٪ من حركة المرور»
• ما نفعله: "شمل طريقًا بديلاً، وخنق الترويج ؛ نعمل مع مقدم الخدمة" PSP-1
• البيانات/المواعيد النهائية: «التحديث التالي في 15 دقيقة»
• التعويضات: «تطبيق سندات الائتمان وفقًا لاتفاق SLA بعد إغلاق الحادث»

7) كتب اللعب (مراجع iGaming/fintech)

PriceMismatch (showcase ≠ checkout): cache force disability, 'fx _ version/tax _ rule _ version' callenge, dynamic promo refeeze, policy darcarpancy compary.
WebhookLag (الشركاء/الشركات التابعة): توسيع نطاق العمال، وزيادة الدفعة، وإعادة التدوير ذات الأولوية، والحد الأقصى المؤقت للاشتراكات الجديدة.
انقطاع المدفوعات/تدهور PSP: التحول إلى PSP احتياطي، وتقليل المهلة الزمنية للعملاء، والمقاصة اليدوية في قائمة الانتظار، والمعاملات الرمادية في الحجر الصحي.
RTP Drift: توقف مؤقت للمكافأة، فحص الدفع/الإصدار، تمديد نافذة المراقبة، تراجع ملف تعريف RTP.
ارتفاع الاحتيال: تشديد السرعة/الحدود، بما في ذلك فحص KYC الإضافي، وعزل المجموعات المشبوهة، ومراجعة المكاسب العالية يدويًا.
التعرض للبيانات/مؤشر الاستثمار الدولي: عزل النظام، إخطار DPO/Legal، جرد السجلات المتأثرة، الإخطارات التنظيمية حسب الجدول الزمني.

8) الأدوات والرونية (الإجراءات الذاتية)

Кнопки: Pause Promo، Re-Route، رفع الحد، Rollback، Flush Cache، Disable Webhooks، Enable Safe Mode.
قضبان الحراسة: الحماية من «السرج» - التراجع محدود، والسجلات موقعة، وكل إجراء ↔ IC/Scribe.
قابلية الإثبات: توقيعات DSSE، تجزئة لقطة، شرائح سجل ميركل.

9) نهاية الحادث

المعايير: استعادة SLO، واسترداد قائمة الانتظار، وتسوية البيانات/الأموال، وإغلاق المخاطر، وإرسال الاتصالات.
طقوس الإغلاق: تحديث الحالة النهائية، جدول زمني ثابت، قائمة التأثيرات، الفرضيات الأولية للأسباب، تاريخ ما بعد الوفاة المحدد.

10) تشريح الجثة (بدون رسوم)

المدة: ف-1 - في غضون 3 أيام عمل ؛ ف 2 - 5 أيام عمل.
المحتوى: حقائق/جدول زمني، الأسباب الجذرية (5 Whys/FRAM)، التأثير (SLO، التمويل، العملاء)، ما نجح/لم ينجح، عناصر العمل (المالك، المصطلح، التأثير القابل للقياس).
التحقق من الفعالية: بعد 30-60 يومًا - مراجعة الأداء والمقاييس (التكرار، MTTR، ضوضاء التنبيه).

11) مقاييس إدارة الحوادث و SLOs

MTTD/MTTA/MTTR، معدل فشل التغيير، الوقت إلى Comms v1،٪ مسموح به تلقائيًا (runes).
ضوضاء التنبيه: النسبة المئوية للإشارات غير ذات الصلة، الصفحات لكل نوبة عند الطلب.
تكرار الحوادث: نسبة التكرار في 90 يومًا.
جيش تحرير السودان بعد الوفاة: نسبة ما تم إنجازه/إغلاقه في الوقت المحدد.
ردود فعل SLO: P1 - البلاغ الأول ≤ 15 دقيقة ؛ MTTR ≤ 60 دقيقة ؛ اكتمال القطع الأثرية = 100٪.

12) القانون/الامتثال/الخصوصية

الإشعارات القانونية: توقيت المنظمين المحليين للتسريبات/الحوادث.
والتقليل إلى أدنى حد: الوصول إلى المرحلة الأولية فقط من خلال اللكمات المعتمدة ؛ ترميز/إخفاء.
تخزين القطع الأثرية: سجلات WORM، فترة الاحتفاظ حسب الولاية القضائية ؛ مراقبة الدخول (RBAC/ABAC، JIT).
الأطراف المقابلة: الاتفاقات التعاقدية، وعملية التصعيد، وإيصالات الإجراءات.

13) تنظيم الواجب والتصعيد

24 × 7 تحت الطلب: التناوب حسب الدور (SRE، App، Data، Security، Payments).
مصفوفة التصعيد: من بالنسبة للمناطق/المنتجات/مقدمي الخدمات ؛ الاتصالات المزدوجة (الدردشة/الصوت/الرسائل القصيرة).
التمارين (GameDays): المحاكاة - انخفاض PSP، إعادة الانهيار الجليدي، اختلال محاذاة الأسعار، حل وسط رئيسي، فشل المنطقة.

14) لوحات معلومات الحوادث

الحرارة (الآن): حالة SLO، p95/p99، خريطة المناطق/المستأجرين، قائمة انتظار المهام، القطع الأثرية التي تم جمعها/لا.
التاريخ: الاتجاهات حسب نوع الحادث، كفاءة الرونية، تسبب التكرار.
مراقبة الجودة: اكتمال الجدول الزمني، «تغطية» ما بعد الوفاة، اتصالات جيش تحرير السودان.

15) قائمة التنفيذ المرجعية

• الموافقة على مقياس SEV ومشغلات SLO.
• تعيين الأدوار (IC/Tech/Comms/Scribe/Sec/Legal) والتناوب 24 × 7.
• إطلاق نموذج بطاقة حادث واحد وصفحة الحالة.
• وصف كتب اللعب (PriceMismatch/WebhookLag/Payments/RTP/Fraud/PII).
• تنفيذ الرونية مع التدقيق والزر الأحمر.
• تمكين مجموعة WORM/التوقيعات/القطع الأثرية.
• إجراءات الاتصالات (الداخلية/الخارجية)، تحديثات جيش تحرير السودان.
• عملية التشريح والنماذج ؛ تنفيذ بنود العمل.
• GameDays شهريًا ؛ الاستعراض الفصلي لاتجاهات الحوادث.
• مقاييس لوحة القيادة IR (MTTA/MTTR/Noise/Repeat/Comms SLA).

16) الأسئلة الشائعة

لماذا «IC وحده» ؟

نقطة قرار واحدة تزيل الفوضى وتسرع ردود الفعل.

متى تعلن علنا ؟

بمجرد وجود حقيقة مؤكدة وخطة لتحقيق الاستقرار. تقييم المواعيد النهائية التنظيمية.

ما هو الأهم - إصلاح أم تقرير ؟

أولاً، التعافي والأمن. بالتوازي - مجموعة القطع الأثرية. تقرير - بعد الاستقرار.

هل من الممكن أتمتة كل شيء ؟

لا، لكن الرونية تغلق خطوات «متكررة وبسيطة». الباقي من خلال كتب اللعب والتدريبات الواضحة.

ملخص: الاستجابة القوية للحوادث لا تتعلق فقط بـ PagerDuty وقناة الدردشة. هذا هو نظام الأدوار، سريع أول 15 دقيقة، رونية خاضعة للرقابة، اتصالات شفافة، الطب الشرعي مع إمكانية الإثبات والتشريح الإلزامي بعد الوفاة. باستخدام هذه الدائرة، يمكنك تقليل MTTR وحماية الأموال والبيانات وزيادة ثقة العملاء والتنظيمات.