هشدارهای زمان واقعی

1) اهداف و اصول

هدف: اطلاع رسانی به افراد/سیستم های مناسب به شیوه ای به موقع، دقیق و هدفمند از رویدادهایی که SLO، درآمد و انطباق را تهدید می کنند و اقدامات صحیح (دستی/اتوماتیک) را انجام می دهند.
اصول: SLO اول، به حداقل رساندن سر و صدا، توضیح، زمینه، اولویت بندی توسط تاثیر کسب و کار، «یک سیگنال - یک اقدام قابل درک است».

2) طبقه بندی سیگنال

سیگنالهای SLO: نرخ سوزاندن بودجه خطا برای مسیرهای بحرانی (ورود، واریز، نرخ، خروجی).
KRI: شاخص ریسک اولیه (افت موفقیت خودکار PSP توسط بانک/GEO، رشد مصرف کننده تاخیر، p99↑).
رویداد: پرچم های وابستگی، شکست، سوئیچ های دستی، فعال سازی حفاظت (محدودیت نرخ، WAF).
امنیت/انطباق: سنبله در عملیات حساس، صادرات PII، نقض SoD.

3) سطح هشدار و SLA

4) همبستگی منابع و زمینه

تله متری: متریک/مسیرهای پیاده روی/سیاهههای مربوط، مصنوعی و RUM.
دایرکتوری ها: نقشه CMDB/سرویس، صاحبان، وابستگی ها.
تغییرات: انتشار، پرچم های ویژگی، مهاجرت، کار برنامه ریزی شده.
ارائه دهندگان خارجی: PSP/KYC/استودیوهای بازی/وضعیت CDN/WAF.
هر هشدار غنی شده است: چه چیزی تغییر کرده است ؟ (انتشار/ویژگی)، کدام وابستگی ها قرمز هستند ؟، کدام بخش تحت تاثیر قرار خواهد گرفت ؟ (GEO/PSP/بانک/مستاجر).

5) قوانین هشدار SLO (هسته)

Burn-rate: دو پنجره (سریع 1 ساعت و آهسته 6-24 ساعت). پیجر - فقط اگر به طور همزمان بیش از حد باشد.
Guardrails: آستانه توسط p99/خطا نرخ تنها به عنوان تجزیه و تحلیل زمینه باعث می شود، SLO جایگزین نیست.
Impakt: ارزیابی «سهم مخاطبان × پول/معادن × regulyatorika» → سطح P1-P4.

6) کاهش نویز

تقسیم بندی - گروه بندی بر اساس سرویس/مستاجر/علت ؛ ما یک حادثه را به جای ده ها سیگنال به اشتراک می گذاریم.
هیسترزیس: تأییدهای N-of-M، حداقل مدت زمان ناهنجاری.
سکوت/گوشت: کارهای برنامه ریزی شده، حوادث شناخته شده، پنجره های «دنبال خورشید».

محدودیت نرخ و سهمیه: در هر منبع/برچسب/مستاجر ؛ محافظت در برابر «طوفان»

کاهش کاردینالیتی: userId/sessionId در برچسب های هشدار ممنوع است.

7) مسیریابی و تشدید

مسیریابی بر اساس زمینه: دامنه (پرداخت/بازی/هسته)، محیط زیست (تولید/مرحله)، منطقه، شدت.
تشدید: t0 - در تماس L1 ؛ t0 + x - مالک L2/domain ؛ t0 + Y - IC/کتابچه راهنمای کاربر. زمان X/Y بستگی به P1-P3 دارد.
تکثیر توسط کانال: پیجر + چت در P1 ؛ چت/بلیط در P3.
تغییر شیفت: انتقال خودکار زمینه (جدول زمانی، اقدامات انجام شده، فرضیه ها).

8) اصلاح خودکار

پرداخت: تعویض PSP توسط سلامت × هزینه × تبدیل, محدودیت بانک ها/روش, retray با Jitter.
بازی/شرط: فعال کردن گوه کش/محدود کردن عملیات نوشتن, صف صفحه/اتاق انتظار در جلو.
Infra: تخلیه ترافیک، راه اندازی مجدد کارگران تخریب کننده، مقیاس پذیری با تاخیر.
ایمنی/انطباق: به طور موقت صادرات PII را ببندید، کنترل دوگانه را برای عملیات P1 وارد کنید.
هر اقدام خودکار - با یک سیاست بازگشت و معیارهای بازگشت.

9) اولین تجربه Runbook

هر هشدار با یک runbook همراه است: هدف، تشخیص سریع (3-5 چک)، مراحل تعمیر/رول بک، افراد تماس، لینک به داشبورد و صفحه وضعیت. در چت/پیجر ما یک کارت اقدام کوتاه نشان می دهد.

10) او سیاست را فرا می خواند

چرخش 24 × 7، پوشش دامنه (پرداخت/هسته بازی/SRE).
«دوم در تماس» برای P1، یک قانون دو نفره در یک اتاق var.
ساعت های آرام و پنجره های خورشید را دنبال کنید.
آموزش: تمرینات سه ماهه (tabletop/game-day)، شیفت سایه.
اعتبارات پس از حادثه (comp-time) برای جلوگیری از فرسودگی شغلی.

11) ادغام

مدیریت حادثه: خودکار ایجاد کارت، نوار به روز رسانی، نقش IC/CL، تایمر.
صفحه وضعیت: انتشار P1/P2 (از طریق Comms Lead) با قالب ها و محلی سازی.
انتشار: انتشار دروازه های SLI، توقف خودکار/عقب با هشدار.
دایرکتوری ها: صاحبان، CMDB، مخاطبین ارائه دهنده.

12) نمونه هشدار (iGaming)

1. موفقیت خودکار در PSP-1 TR↓ 25٪ در 10 دقیقه

P2 → P1 هنگامی که> 30٪ از معاملات پوشش داده می شود.
خودکار عمل: توزیع مجدد PSP-2/3 ترافیک ؛ هشدار ساده 3DS Partner Manager را فعال کنید.

2. p99 «stavka → sett»> 3 هنجارهای × در اتحادیه اروپا

دلایل: تکرار تاخیر، صف کارگران.
خودکار عمل: کارگران مقیاس، گرم کردن کش، به طور موقت خاموش ویژگی های غیر بحرانی.

3. صادرات پیک PII

P1 در صورت عدم وجود بلیط/تایید.
خودکار عمل: بلوک دانلود، اطلاع رسانی انطباق، بررسی SoD.

13) معیارهای کیفیت هشدار دهنده (KPI/KRI)

MTTA-Comms/MTTA-Ops: زمان واکنش/اولین اقدام.
دقت/فراخوان (هشدار ↔ حادثه)، میزان هشدار نادرست.
زمان سرب قبل از نقض SLO، TTD (زمان تشخیص).
خستگی پیجر: هشدار/فرد/هفته، تماس های شبانه، درصد «dummies».
نرخ رفع خودکار: نسبت مشکلات بسته شده توسط واکنش خودکار بدون یک فرد.
پیری: نسبت P3/P4> X روز حلق آویز.

14) مدیریت هزینه

سهمیه برای هشدار/منابع، قطع برچسب های اضافی.
Downsampling و تجمع متریک، نمونه برداری مسیر ؛ با کلاس.
بررسی هزینه به طور منظم: $/هشدار، $/SLI-داشبورد، «سنگین» سری.

15) حفظ حریم خصوصی و انطباق

بدون PII در متن هشدارها و برچسب ها ؛ نشانه گذاری شناسه ها.
سیاست های دسترسی (RBAC/ABAC)، SoD در پیکربندی هشدار.
تغییرات قانون حسابرسی، نسخه، آزمون و تفاوت.

16) نقشه راه پیاده سازی (6-10 هفته)

«ند». 1-2: دایرکتوری SLI/KRI، نقشه مالک، سطوح P1-P4، اولین قوانین SLO (نرخ سوزاندن).
«ند». 3-4: dedup/hysteresis/silences، ادغام با سیستم حادثه و چت، بسته نرم افزاری runbook.
«ند». 5-6: اقدامات خودکار برای پرداخت/صف، دروازه های انتشار، خوراک صفحه وضعیت.
«ند». 7-8: زمینه (انتشار/پرچم ویژگی/ارائه دهندگان)، کارت های حرارتی PSP × بانک × GEO، تمرینات P1/P2.
«ند». 9-10: هشدار FinOps، داشبورد KPI، تجدید نظر در آستانه ها و سهمیه ها، آموزش در هنگام تماس.

17) مصنوعات و الگوهای

مشخصات هشدار: متریک/شرایط، پنجره ها، سرکوب، مالک، runbook، اقدامات خودکار.
نقشه مسیریابی: domen → kanal → eskalatsii، مخاطبین پشتیبان.
سیاست سکوت: قوانین خاموش (حوادث برنامه ریزی شده/شناخته شده)، که می توانند شامل شوند.
کتابچه راهنمای تماس: چرخش، تغییر شیفت، چک لیست های P1/P2، کانال ها.
بسته پس از حادثه: آپلود هشدار/جدول زمانی، تجزیه و تحلیل کیفیت سیگنال.

18) ضد گلوله

پیجر برای «خام» p95/p99 بدون SLO → سر و صدا و خستگی.
ده ها سیگنال در مورد همان چیز (بدون deduplication/همبستگی).
هشدار یک runbook یا صاحب ندارد.
آستانه «در سنگ» بدون فصلی/تقسیم بندی (GEO/PSP/بانک/ساعت).
بدون بازگشت پس از اقدامات خودکار (بدون معیارهای بازگشت).
برچسب ها با PII و userId → خطرات و انفجار کاردینالیتی.

نتیجه گیری

یک هشدار واقعا مفید یک خط لوله محور SLO است: قوانین زمینه با نرخ سوختگی، کاهش سر و صدای هوشمند، مسیریابی روشن و تشدید، اولین تجربه runbook و اقدامات خودکار ایمن. چنین مدار حوادث بحرانی را زودتر از کاربران به دست می آورد، MTTR را کاهش می دهد، از درآمد محافظت می کند و در عین حال آن را از روال «pager-hellish» محافظت می کند.