مبادئ الثقافة والهندسة SRE

1) ما هي ثقافة SRE

ثقافة SRE هي مجموعة من القيم والممارسات التي تجعل الموثوقية قابلة للإدارة: أهداف SLO → ميزانية الخطأ → مخاطر التغيير الواعية → الاستقرار السريع → التدريب على الحوادث.
النموذج الرئيسي: السرعة ≠ عدو الموثوقية. تكون سرعة الإطلاق ممكنة عند قياس المخاطر وآليتها.

• يركز على المستخدم: يشير إلى الموثوقية كما يراها المستخدم (SLI/SLO).
• التشغيل الآلي أولاً - أي إجراء قابل للتكرار → نص/سياسة/وحدة تحكم.
• بلا لوم: الأخطاء منهجية، نحن نحقق في الأسباب وليس الناس.
• تعتمد على البيانات: الحلول القائمة على المقاييس وميزانيات الأخطاء.
• البساطة: آليات بسيطة وقابلة للاختبار> حلول «سحرية».

2) فلسفة هندسة SRE

1. ويشكل مكتب الشؤون الخارجية/مكتب الشؤون القانونية وميزانية الأخطاء أساس الأولويات والتنبيه.
2. حادثة → استقرار → RCA - الأعراض أولاً، ثم الأسباب.
3. الحد من العمل اليدوي (الكدح) هو الهدف ≤ 50٪ من وقت SRE، أقل بمرور الوقت.
4. الاستعداد للإنتاج - «الاستعداد للإنتاج» مطلوب قبل حركة المرور الخارجية.
5. البساطة والعزلة - علاقات أقل، المزيد من قيود نصف قطر الانفجار.
6. القابلية للرصد الافتراضي - المقاييس/السجلات/الآثار، وأدوات SLO، والمواد الاصطناعية.
7. تتم إدارة التغييرات - التسليم التدريجي، حسابات الكناري، التراجع التلقائي.
8. الأمن حسب التصميم - الأسرار، الوصول، التدقيق، الحد الأدنى من الامتيازات.
9. دورات الدراسة - التدريبات، ألعاب الفوضى، ما بعد الوفاة، الآفاق الرجعية.
10. الوعي FinOps - «سعر تسعة»، تكلفة الخدمة، SLOs فعالة.

3) الطقوس والعمليات

3. 1 مراجعة جاهزية الإنتاج (PRR)

• SLI/SLO ولوحة القيادة والتنبيهات (حرق سريع/بطيء).
• Health-endpoints'/healthz "، "/readyz"، "/startupz ".
• كتاب التشغيل/كتاب قواعد اللعبة للحوادث، سلسلة المالك/تحت الطلب، سلسلة التصعيد.
• نسخ احتياطية/خطة DR، حدود الموارد، حسابات الميزانية.
• اختبارات تحمل الأخطاء (أعلام مميزة، نصوص التراجع).

3. 2 إحاطة أسبوعية SLO

حالة ميزانية خطأ الخدمة.
حوادث أسبوعية، تقدم CAPA.
مخاطر الإفراج: حيثما كان مسموحاً/محدوداً بالإيداع (الميزانية).

3. 3 تشريح الجثة بدون رسوم

الحقائق والجدول الزمني، تأثير المستخدم، مما ساعد/أعاق.
الأسباب النظامية (العمليات/الأدوات)، وليس «الجاني».
CAPAs محددة مع المالكين والمواعيد النهائية، والدعاية داخل الشركة.

3. 4 ألعاب الفوضى والدريال

الحقن المخطط للفشل (الشبكة، قاعدة البيانات، المخبأ، العقد) + الهدف SLO.
«يوم اللعبة»: وقت الاستقرار، قياس MTTR، تعديل قواعد اللعبة.

4) التنبيه والضوضاء

• تنبيه فقط على الأعراض: كسر SLO أو مسار المستخدم.
• متعدد النوافذ، متعدد الحروق: قنوات سريعة وبطيئة.
• النصاب/مكافحة الخفقان: «للتأخير»، القمع أثناء الصيانة.
• أسفل مع «وحدة المعالجة المركزية> 80٪» - مثل هذه الإشارات إلى لوحات القيادة، وليس إلى جهاز النداء.

• نسبة القابلة للتنفيذ ≥ 80٪.
• متوسط وقت ≤ 5 دقائق (P1).
• تقليل إجهاد النداء: ≤ 1 صفحة ليلية في الأسبوع لكل مهندس.

5) إدارة التغيير

التسليم التدريجي: الكناري → 10٪ → 25٪ → 50٪ → 100٪.
التراجع التلقائي عن إشارات SLO (أخطاء/زمن انتقال).
أعلام الميزات ومفتاح القتل بدلاً من التراجع العالمي.
سياسة التغيير حسب المخاطر: المسار السريع для المخاطر المنخفضة ؛ CAB - عالية الخطورة فقط.

yaml steps:
- setWeight: 10
- analysis: { template: "slo-check" } # fail ⇒ rollback
- setWeight: 25
- analysis: { template: "slo-check" }

6) تقليل الكد (العمل اليدوي الروتيني)

أمثلة على مصادر الكدح: النزول اليدوي، إعادة التشغيل، تذاكر «منح الوصول»، تنظيف قائمة الانتظار.

• جرد المهام القابلة للتكرار → التشغيل الآلي/الخدمة الذاتية.
• KPI:% وقت الكد، «الخطوات/الحوادث الآلية»، «دقائق للخدمة الذاتية».
• كتالوج خدمة المنصة (مساحات الأسماء، DB، قوائم الانتظار، لوحات القيادة، التنبيهات).

7) إمكانية الرصد والتصميم SLO-first

الإشارات الذهبية (زمن الوصول، حركة المرور، الأخطاء، التشبع).
بطاقات SLO في كل فريق: الهدف، النافذة، الميزانية، تنبيهات الحرق.
الحفر: من المقاييس إلى السجلات/الآثار ؛ 'تتبع _ id' في السجلات الافتراضية.
Synthetics: blackbox + scripts بدون رأس (تسجيل الدخول/الإيداع/الخروج).

8) إدارة القدرات والاستدامة

تخطيط القدرات: استهداف مصادر القدرة التنافسية/القدرة التنافسية، المخزون حسب المنطقة/المنطقة.
Bulkhead/sheding: عزل البرك، وفشل الوظائف الثانوية أولاً.
الضغط الخلفي وقوائم الانتظار: التحكم في التأخر، DLQ، القدرة التنافسية التكيفية.
Failover and DR: RPO/RTO، تدريبات DR منتظمة.

9) السلامة كجزء من الموثوقية

الأسرار: المدير السري، عمليات الوصول إلى JIT، التدقيق.
حراسة WAF/DDoS على المحيط، حدود العميل/المستأجر.
تقليل PII، DSAR/Legal Hold في الحوادث.
أمن سلسلة التوريد: توقيع القطع الأثرية، سياسة الصورة الأساسية.

10) الصحة عند الطلب

تناوب بدون «فردي»، نوافذ راحة خالية.
عتبة الاستيقاظ في الليل هي SLO P1/P2 فقط.
Psychohygiene: يتم تسجيل نقص النوم كمخاطر تشغيلية.
المقاييس: صفحات/أسبوع، صفحات ليلية/مهندس، وقت الاسترداد.

11) مقاييس نضج SRE

تغطية SLO: نسبة المسارات الحرجة مع SLO/التنبيهات ≥ 90٪.
إدارة الميزانية الخاطئة: هناك قواعد تجميد وتطبيق.
الكدح: ≤ 30-40٪ من الوقت، الاتجاه الهبوطي.
MTTD/MTTR: متوسطون في الديناميكيات الفصلية.
معدل التخفيف التلقائي:٪ من الحوادث مع العمل التلقائي.
معدل نجاح PRR: النسبة المئوية للإطلاقات التي تجاوزت الاستعداد للإنتاج.
تشريح الجثة: جيش تحرير السودان: SEV-1 - تشريح الجثة ≤ 48 ساعة.

12) التوثيق والمعرفة

• كتب التشغيل/كتب التشغيل (أفضل النصوص: 5xx spike، DB lag، Kafka lag، NodeNotReady، TLS).
• بطاقات SLO ولوحات القيادة.
• قوائم مراجعة PRR وقوالب الإصدار.
• كتالوج لخدمات المنصات ومسؤولي الشؤون القانونية/اتفاقات الخدمة المستدامة.
• مواد التدريب: SRE 101، Chaos 101، On-call 101.

13) الأنماط المضادة

ثقافة البطل: «رجال الإنقاذ» بدلاً من إصلاحات النظام.
تنبيه صاخب: وحدة المعالجة المركزية/تقود في جهاز النداء، مئات الإشارات غير الضرورية.
«DevOps رجل»: مسؤولية ملطخة، لا مالكون.
عدم وجود SLO: «حافظ على كل شيء أخضر» → الفوضى ذات الأولوية.
تأخر تشريح الجثة و «مطاردة الساحرات».
التراجع العالمي بدون جزر الكناري.
الأسرار في التهيئة/إعادة الشراء ؛ لا مراجعة للأنشطة.
إمكانية الملاحظة كـ «رسوم بيانية جميلة» بدون إشارات قابلة للتنفيذ.

14) أنماط القطع الأثرية

14. 1 SRE-Charter (جزء)

yaml mission: "Make reliability manageable and economical"
tenets:
- "User - SLI/SLO Center"
- "Automation-first, minimizing toil"
- "Blameless & learning"
governance:
error_budget:
freeze_threshold: 0. 8 # 80% of the budget burned ⇒ release frieze review_cadence: "weekly"
oncall:
paging_policy: "SLO-only, P1/P2 at night"
health_metrics: ["pages_per_week", "night_pages_per_engineer"]

14. 2 قائمة مرجعية مصغرة

• تم تكوين تنبيهات SLI/SLO والحرق
• نقاط النهاية الصحية والمواد التركيبية
• كتاب التشغيل/كتاب اللعب + المالك/تحت الطلب
• التراجع/أعلام الميزات/الكناري
• لوحات القيادة لوقت الانتظار/الأخطاء/حركة المرور/التشبع
• أمن الحدود/الحصص/حواجز الحماية
• تم اختبار خطة DR والنسخ الاحتياطية

15) التنفيذ حسب المرحلة (4 سباقات سريعة)

Sprint 1 - Foundation

تحديد مسارات المستخدمين الحرجة ومعايير الاستدامة المستدامة.
قم بصياغة SLO وتشغيل تنبيهات الحرق.
أدخل PRR والحد الأدنى من كتب اللعب.

Sprint 2 - إدارة التغيير

حسابات الكناري، التراجع التلقائي بواسطة SLO.
عمليات الخدمة الذاتية، كتالوج الخدمة.
جرد الكدح وخطة الأتمتة.

Sprint 3 - دورات التدريب

طقوس ما بعد الوفاة، تقويم ألعاب الفوضى.
لوحات القيادة حوادث SLO +، الإبلاغ عن ميزانية الخطأ.

Sprint 4 - التحسين والمقياس

محفظة SLO، FinOps' تكلفة لكل 9 ".
تنفيذ نظام DR، تدقيق السلامة.
KPI تحت الطلب، منع الإرهاق.

16) الأسئلة الشائعة المصغرة

SRE = «إصلاح كل شيء» ؟

لا ، ليس كذلك تدير SRE نظام الموثوقية: SLO، التنبيه، العمليات، الأتمتة والتدريب.

كيف تقنع شركة بالاستثمار في الموثوقية ؟

عرض عائد الاستثمار: انخفاض MTTR، تحويل أعلى، ائتمانات SLA أقل من التكلفة للخدمة، إصدارات مستقرة.

هل أحتاج إلى أوامر SRE منفصلة ؟

النموذج الهجين: SRE الاستراتيجي في النظام الأساسي + SRE المضمنة في المنتجات الحيوية.

المجموع

ثقافة SRE ليست منصبًا، ولكنها طريقة للعمل مع المخاطر: ميزانية خطأ SLO → → التغيير المُدار → الأتمتة → التدريب. إصلاح المبادئ، وبدء الطقوس (PRR، وتشريح الجثة، وألعاب الفوضى)، وإطلاق النار على الكدح، وبناء إمكانية الملاحظة «افتراضيًا» والاعتناء بها. بهذه الطريقة تحصل على سرعة التنمية المستدامة والإصدارات التي يمكن التنبؤ بها ومنصة اقتصادية موثوقة.