تصاعد الحوادث

1) الغرض والمبادئ

تصعيد الحوادث هو العملية المدارة لاجتذاب الأدوار والموارد المناسبة بسرعة لتقليل التأثير على المستخدمين ومقاييس الأعمال.

• السرعة أهم من المثالية. من الأفضل إعلان الحادث في وقت مبكر ووقف التصعيد بدلاً من التأخر.
• قيادة موحدة. أحد الأشخاص المسؤولين عن الحل هو قائد الحادث (IC).
• الشفافية. وضع واضح وقنوات اتصال لأصحاب المصلحة الداخليين والخارجيين.
• إمكانية التوثيق. وترد جميع الخطوات والقرارات والجداول الزمنية لمراجعة الحسابات والتحسين.

2) تدرج الشدة (مستويات SEV/P)

• SEV-0/P0 (حرجة) - عدم توافر كامل للوظيفة الرئيسية (تسجيل الدخول/الدفع)، وتسرب البيانات، والمخاطر القانونية. استدعاء فوري للنواة بأكملها عند الطلب، وتجميد الإصدارات.
• SEV-1/P1 (مرتفع) - p95/p99 التدهور، وزيادة حصة الأخطاء/الإخفاقات في العملية الرئيسية، وعدم إمكانية وصول المنطقة/مقدم الخدمة.
• SEV-2/P2 (متوسط) - تدهور جزئي لمجموعة محدودة (منطقة، مزود)، هناك حل بديل.
• SEV-3/P3 (منخفضة) - ليست بالغة الأهمية للمستخدم، ولكنها تتطلب الاهتمام (تأخير خلفية ETL، تقرير متأخر).

• نصف قطر الآفة (عدد المستخدمين/الدوران) × المدة × الحساسية (التنظيمية/العلاقات العامة) → مستوى SEV.

3) عملية KPI

MTTD (وقت الكشف) - من بداية الحادث إلى الإشارة الأولى.
MTTA (استلام الوقت) - إشارة إلى إقرار IC.
MTTR (وقت الاسترداد) - حتى استعادة SLO/الوظيفة.
التصعيد الكمون - من التأكيد إلى ربط الدور/القيادة المطلوبة.
معدل إعادة الفتح - أعيد فتح نسبة الحوادث بعد «حلها».
Comm SLA - الامتثال للفواصل الزمنية للتحديثات الخارجية/الداخلية.

4) الأدوار والمسؤوليات (RACI)

قائد الحادث (IC): مالك الحل، يحدد المستوى والتخطيط والتجميد والتصعيد ووقف التصعيد. لا يكتب الإصلاحات.
Tech Lead (TL): التشخيص التقني، الفرضيات، تنسيق المهندسين.
Comms Lead (CL): صفحات الحالة، العملاء والاتصالات الداخلية، التنسيق مع Legal/PR.
الكاتب: تسجيل دقيق للحقائق والجداول الزمنية والقرارات المتخذة.
الاتصال: ممثلون لمقدمي الخدمات/الأفرقة الخارجية (المدفوعات، وشركة KYC، والاستضافة).
المهندسون تحت الطلب: تنفيذ الخطة، وإطلاق كتب اللعب/التراجع.

تعيين جداول العمل والنسخ الاحتياطية لكل دور.

5) القنوات والتحف

قناة غرفة الحرب (ChatOps): نقطة تنسيق واحدة (Slack/Teams) مع نموذج للتعليقات التلقائية (الإصدارات والأعلام وجزر الكناري).
جسر الفيديو لـ SEV-1 +.
تذكرة الحادث (جهاز استدعاء واحد): الهوية، SEV، IC، المشاركون، الفرضية/التشخيص، الخطوات، ETA، الحالة، التأثير، الروابط إلى الرسوم البيانية.
صفحة الحالة: العامة/الداخلية ؛ جدول التحديثات المنتظمة (على سبيل المثال، كل 15-30 دقيقة SEV-1 +).

6) الصناديق الزمنية والفواصل الزمنية القياسية

T0 (min. 0-5): IC مخصص، SEV مخصص، إطلاقات التجميد (إذا لزم الأمر)، غرفة الحرب مفتوحة.
T + 15 دقيقة: أول رسالة عامة/داخلية (ما هو متأثر، حل بديل، نافذة التحديث التالية).
T + 30/60 دقيقة: تصعيد المستوى التالي (المنصة/DB/الأمن/مقدمو الخدمات)، إذا لم تكن هناك ديناميات مستقرة.
التحديثات المنتظمة: SEV-0: كل 15 دقيقة ؛ SEV-1: كل 30 دقيقة ؛ SEV-2 +: كل ساعة.

7) قواعد التصعيد التلقائي (سياسات التحريك)

• ميزانية خطأ معدل الحرق أعلى من العتبة في النوافذ القصيرة والطويلة.
• النصاب القانوني للعينات الخارجية: تسجل المناطق ≥2 تحلل HTTP/TLS/DNS.
• ينخفض SLI التجاري (نجاح المدفوعات/التسجيلات) إلى ما دون SLO.
• التوقيعات الأمنية: التسرب/الحل الوسط المشتبه به.
• إشارة المزود: حالة شبكة الإنترنت «انقطاع كبير».

8) العملية من الاكتشاف إلى الحل

1. إعلان الحوادث (IC): SEV، التغطية، التجميد، إطلاق كتاب اللعب.
2. التشخيص (TL): الفرضيات، عزل نصف القطر (المنطقة، المزود، الميزة)، الفحوصات (DNS/TLS/CDN/DB/caches/bus).
3. الإجراءات المخففة (الانتصارات السريعة): التراجع/ ↓ الكناري، وميزة علم التحلل، وفشل المزود، وحد المعدل، وتراكب المخبأ.
4. الاتصال (CL): صفحة الحالة، العملاء/الشركاء، Legal/PR، التحديثات في الموعد المحدد.
5. تأكيد الاسترداد: المواد الاصطناعية الخارجية + المقاييس الحقيقية، إزالة التجميد.
6. خفض التصعيد: انخفاض في SEV، الانتقال إلى المراقبة N دقائق/ساعات.
7. الإغلاق و RCA: التحضير بعد الوفاة، عناصر العمل، المالكين والتوقيت.

9) العمل مع مقدمي الخدمات الخارجيين

امتلاك عينات لمقدمي الخدمات من عدة مناطق + تسجيل مرآة أمثلة للطلبات/الأخطاء.
اتفاقات التصعيد (الاتصالات، واتفاقات الاستجابة، والأولوية، ووسائل الاتصال الشبكية).
الفشل التلقائي/نقل حركة المرور عبر مزود SLO.
قاعدة الأدلة: الجدول الزمني، عينة الطلبات/الردود، زمن الانتظار/الرسوم البيانية الخطأ، معرف تذكرة المزود.

10) التنظيم والسلامة والعلاقات العامة

Security/P0: العزل، وجمع القطع الأثرية، والتقليل إلى أدنى حد من الكشف، والإخطارات الإلزامية (الداخلية/الخارجية/التنظيمية).
القانون: الموافقة على صياغة التحديثات الخارجية، والمحاسبة على الاتفاقات/الغرامات التعاقدية.
العلاقات العامة/خدمة العملاء: نماذج الاستجابة الجاهزة، الأسئلة والأجوبة، التعويضات/الاعتمادات (عند الاقتضاء).

11) نماذج الرسائل

• "نحن نحقق في حادث SEV-1 يؤثر على [الوظيفة/المنطقة]. الأعراض: [لفترة وجيزة]. قمنا بتنشيط [الوصف] البديل. التحديث التالي في [الوقت]"

• "التشخيص: [فرضية/تأكيد]. الإجراءات: [مزود التبديل/الإطلاقات/التدهور الممكّن]. تم تقليل التأثير إلى [بالمائة/المجموعة]. التحديث التالي هو [الوقت]"

• واضاف "تم حل الحادث SEV-1. السبب: [الجذر]. وقت الاسترداد: [MTTR]. الخطوات التالية: [إصلاح/فحص/مشاهدة ساعات N]. تشريح الجثة - [متى/أين]"

12) كتب اللعب (مثالية)

انخفاض نجاح المدفوعات: خفض الحصة على المزود A، وتحويل X٪ إلى B ؛ تمكين المدفوعات المتدهورة-UX تشمل عمليات إعادة الدفع في حدود ؛ أخطر أمر الزعنفة.
p99 نمو واجهة برمجة التطبيقات: تقليل كناري الإصدار الجديد ؛ وإيقاف تشغيل المعالم الثقيلة ؛ زيادة المخبأ TTL ؛ تحقق من فهارس/وصلات DB.
مشكلة DNS/TLS/CDN: التحقق من الشهادات/السلسلة ؛ قم بتحديث السجل Switch إلى CDN الاحتياطي لإعادة بناء المخبأ.
الشك الأمني: عزل العقدة، دوران المفتاح، تمكين أقلام mTLS، جمع القطع الأثرية، الإخطار القانوني.

13) وقف التصعيد ومعايير «الحل»

• استقرار SLI/SLO في فترات المنطقة الخضراء ≥ N ؛
• وأجريت إجراءات التخفيف والمراقبة - دون تراجع ؛
• بالنسبة لفئة الأمن - يتم تأكيد إغلاق المتجهات، ويتم تدوير المفاتيح/الأسرار.

الإغلاق - فقط بعد تحديد الجدول الزمني ومالكي عناصر العمل والمواعيد النهائية.

14) تشريح الجثة (غير عقابي)

1. الحقائق (الجدول الزمني، ما شاهده المستخدمون/المقاييس).

2. السبب الجذري (تقني/عملية).

3. ما نجح/لم ينجح في التصعيد.

4. التدابير الوقائية (الاختبارات، التنبيهات، الحدود، الهندسة المعمارية).

5. خطة العمل مع المواعيد النهائية والمالكين.

6. الربط بميزانية الخطأ وتنقيح مكاتب/عمليات الإحالة.

15) مقاييس نضج العملية

النسبة المئوية للحوادث المبلغ عنها قبل تقديم شكاوى المستخدمين.
MTTA حسب مستويات SEV ؛ حان الوقت لربط الدور المنشود.
الامتثال لفترات التحديث (Comm SLA).
النسبة المئوية للحوادث التي تم حلها بواسطة كتب اللعب بدون «إبداع» يدوي.
تنفيذ بنود العمل من تشريح الجثة في الوقت المحدد.

16) الأنماط المضادة

«شخص ما يفعل شيئًا» - لا يوجد IC/أدوار.
تعدد الأصوات في غرفة الحرب هو نزاع حول الإصدارات بدلاً من الإجراءات.
الإعلان المتأخر → ضياع الوقت لجمع الناس.
لا توجد تعليقات تجميد وإصدار - التغييرات المتزامنة تخفي السبب.
عدم وجود اتصال خارجي - تصاعد الشكاوى/مخاطر العلاقات العامة.
الإغلاق دون تشريح الجثة والأفعال - نكرر نفس الأخطاء.

17) قائمة فحص IC (بطاقة الجيب)

• تعيين SEV وفتح غرفة الحرب.
• قم بتعيين TL، CL، Scribe، تحقق من هدية المكالمة.
• يمكن تجميد الإطلاق (إذا SEV-1 +).
• تأكيد مصادر الحقيقة: لوحات معلومات SLI، المواد التركيبية، جذوع الأشجار، التتبع.
• قبول إجراءات التخفيف السريعة (التراجع/الأعلام/الفشل).
• تقديم تحديثات منتظمة مجدولة.
• تحديد معايير العزم والرصد اللاحق للاسترداد.
• بدء تشريح الجثة وتعيين مالكي بنود العمل.

18) تضمين العمليات اليومية

أيام اللعبة: محاكاة السيناريوهات الرئيسية.
كتالوج Playbook: تم تجريبه واختباره باستخدام المعلمات.
الأدوات: أوامر ChatOps'/declare "، "/page، "/status، "/rollback".
عمليات الدمج: إصدار التذاكر، صفحة الحالة، تشريح الجثة، كتالوج CMDB/الخدمة.
التفاوض مع SLO/ميزانية الخطأ: يؤدي التصعيد التلقائي إلى تحفيز قواعد التجميد.

19) خلاصة القول

التصعيد هو نظام تشغيلي، وليس مجرد دعوة للمصاحب. تؤدي مستويات SEV الواضحة المخصصة من قبل IC، وكتب اللعب الجاهزة، وجداول التوقيت المحدثة، والتكامل مع مقاييس SLO وسياسات الميزانية إلى تحويل حريق فوضوي إلى عملية يمكن التحكم فيها مع نتيجة يمكن التنبؤ بها - استعادة الخدمة السريعة، والحد الأدنى من مخاطر العلاقات العامة/التنظيم، والتحسينات النظامية بعد كل حادث.