اولویت بندی موضوع

1) چرا اولویت بندی لازم است

با افزایش بار، «همه چیز مهم است» به «ما برای هر چیزی وقت نداریم» تبدیل می شود. اولویت بندی موضوعی یک روش سیستمی برای تخصیص منابع محدود (CPU، I/O، شبکه، بودجه) بین موضوعات/مشاغل/مستاجران است به طوری که SLO های مهم انجام می شوند و هزینه ها کنترل می شوند. نتیجه قابل پیش بینی بودن پنجره، هشدارهای بدون دردسر و پنجره های پایدار است.

2) طبقه بندی جریان و معیارهای اهمیت

• زمان: واقعی/نزدیک به زمان واقعی (ثانیه-دقیقه)، تعاملی (دقیقه)، آفلاین/دسته ای (ساعت).
• بحرانی: مالی/نظارتی، حادثه، محصول، تحقیق.
• وابستگی ها: منابع برای سایر فروشگاه ها (بالادست) در مقابل پایین دست.
• هزینه خرابی: خسارت در هر دقیقه/ساعت تاخیر (هزینه نقض SLO).
• اجاره: تیم داخلی، شریک، مشتری خارجی.

تمرین: هر کلاس - اولویت کسب و کار (BP) و اولویت فنی (TP) ؛ total - اولویت ترکیبی 'P = w1BP + w2TP + w3CostRisk'.

3) مدل SLA/SLO/SI برای جریان

SLA: تضمین قراردادی (به عنوان مثال "نمایشگاه مالی T + 15 دقیقه، 99. 9%»).

SLO: اهداف مهندسی (طراوت p95 ≤ 10 دقیقه ؛ تاخیر p99 ≤ 60 ثانیه)

SI (شاخص اشباع): نسبت بار فعلی به محدودیت ؛ توسط برنامه زمان بندی استفاده می شود.

Guardrails: معیارهای guardrail (به عنوان مثال خطاهای اعتبارسنجی، حذفیات) ممکن است به طور موقت اولویت جریان تعمیر را افزایش دهد.

4) کلاس های خدمات (QoS) و سیاست ها

طلا (کسب و کار بحرانی): پرداخت، ضد تقلب، گزارش های نظارتی، هشدار حادثه.
نقره ای (محصول بحرانی): ویترین داشبورد مدیریت، کمپین ها، نمره ریسک.
برنز (بهترین تلاش): دسته های تحقیقاتی، پنجره های طولانی دوباره ساخت و پر کردن.

• اولویت سخت (SP): طلا همیشه پیش رو ؛ خطر گرسنگی از پایین تر
• صف بندی عادلانه وزن (WFQ): وزن در ترافیک/شغل، کنترل انصاف.
• کسری گرد رابین (DRR): سهمیه پردازش بخش، خوب برای میزبان شبکه/جریان.
• آگاهی از مهلت: وظایف با مهلت نزدیک افزایش می یابد.
• هزینه آگاه: محاسبه مجدد به تاخیر افتاد اگر «ساعت گران» و SLO اجازه می دهد.

5) برنامه ریزان و صف (در سطوح)

• موضوعات/صف ها به کلاس های QoS تقسیم می شوند ؛ محدودیت های تولید کننده فشار پشتی از طریق سهمیه.
• محدودیت نرخ سیاست + نشانه پشت سر هم برای پشت سر هم (سطل رمز).

• منبع استخر/خوشه های کلاس: مجریان جداگانه برای طلا.
• پیشگیری: انتخاب منابع از کمترین کسری (با محدودیت فرکانس).
• کنترل پذیرش: فیلتر ورودی توسط بودجه و SLO ؛ رد «گران» شغل بدون پنجره.

• I/O رقابتی و صف های درخواست اولویت.
• نماهای تحقق یافته: پنجره های طلایی - افزایشی، نقره ای - دوره ای، برنز - برنامه ریزی شده/شب.

6) فشار پشتی، محدودیت ها و حفاظت از سیستم

سیگنال های فشار برگشتی: از مصرف کننده به تولید کننده (تاخیر/تاخیر/عمق صف).
محدودیت درخواست/کار: بایت اسکن، ردیف بازگشت، کلاه دیوار زمان.
قطع کننده مدار: تحت اضافه بار - تخریب به واحدهای ساده یا عکس های فوری «گرم».
Shed-load: تنظیم مجدد/پیرایش جریانهای بهترین تلاش برای نجات موارد بحرانی.

7) چند اجاره و «عدالت»

سهمیه برای مستاجران: CPU/IO/هزینه در هر واحد از زمان.
وزن برای کلاس های پرس و جو: تجزیه و تحلیل، گزارش، ویژگی های ML - محدودیت های مختلف.
پاکت بودجه: سقف هفتگی/ماهانه ؛ هنگامی که خسته - کاهش اولویت، انتقال به خارج از اوج.

8) هزینه و «اقتصاد اولویت بندی»

هزینه به طراوت: چقدر هزینه 1 دقیقه برای بهبود طراوت.
برنامه ریزی هزینه آگاه: برنز تغییر به خارج از اوج ؛ backfill - در «ساعت ارزان».
نقطه/پیشگیرانه: برای اولویت پایین - استفاده از منابع پیشگیرانه.
پروفایل پرس و جو: لیست سیاه از قالب های «گران» ؛ بازنویسی خودکار.

9) اولویت بندی دسته ای

تقویم پنجره: پنجره ها را برای طلا قبل از نقره/برنز ثابت کنید.
DAG وابسته به وابستگی: مدل های طلای بالادست یک شکاف اولیه برای باز کردن آبشار دریافت می کنند.
اول افزایشی: ابتدا احزاب افزایشی، سپس «سرد» دوباره ساختن.
Checkpointing - برای جلوگیری از پیشگیری از از دست دادن پیشرفت.

10) اولویت بندی برای جریان

احزاب اولویت: نمونه های مصرف کننده بیشتر در مورد موضوعات طلا.
علامت های سفید بر اساس کلاس: برای طلا - پنجره های باریک باریک ؛ برای برنز - گسترده تر (تحمل بیشتر برای وقایع اواخر).
Dedup و غرق idempotent: برای طلا - سخت ؛ برای برنز - اکتشافی.
هشدارها: هشدارهای طلایی از یک کانال جداگانه با افزایش QoS عبور می کنند.

11) سیگنال ها و تغییر اولویت خودکار

محرک های رویداد: ترافیک سنبله، حادثه، کمپین تبلیغاتی → تقویت موقت طلا/نقره.
تهدید SLA: پیش بینی خرابی طراوت → تقویت خودکار یک ویترین خاص.
کیفیت داده ها: دو برابر جرم/تلفات → افزایش اولویت جریان تعمیر.
ریسک مالی: رشد بازپرداخت → اولویت امتیاز/هشدار.

12) قابلیت مشاهده: چه چیزی برای نظارت

صف/تاخیر: طول، زمان انتظار، تاخیر p95/p99 توسط کلاس.
هیئت مدیره SLO: طراوت/تاخیر/خطا در هر لایه (مصرف → سرپرستی → marts).

هزینه: هزینه هر کلاس/مستاجر ؛ انحراف از بودجه

پیشگیری: فرکانس، از دست دادن پیشرفت، داده MTTR.
آریتمی اولویت: «P» فعلی، دلایل افزایش، تاریخچه تصمیمات زمانبندی.

13) مدیریت سیاست

Policies in config code (policy-as-code), versioning and review.
خشک اجرا قبل از استفاده: چگونه برنامه/هزینه تغییر خواهد کرد.
گنجاندن قناری: بخشی از خوشه ها به وزن/قوانین جدید حرکت می کند.
Runbooks: چه کاری باید انجام دهید زمانی که بیش از حد، چگونه به طور موقت کلاس را کاهش دهید، چگونه به بازگشت.

14) ضد گلوله

"همه چیز طلا است. اولویت بندی معنای خود را از دست می دهد ؛ جنگ بر سر منابع آغاز شد.
SP دقیق بدون حفاظت از روزه. نقره/برنز هرگز کامل نیست.
بدون کنترل پذیرش درخواست های «گران» وارد سیستم می شوند و همه را رها می کنند.
عدم آگاهی از هزینه ها ما انجام backfill سنگین در «ساعت های گران قیمت».
ترکیب OLTP/OLAP. معاملات انتقادی از تجزیه و تحلیل رنج می برند.
داده های ترکیبی بدون RLS/CLS. تعمیر/اولویت به طور تصادفی زمینه های حساس را در معرض قرار می دهد.

15) نقشه راه پیاده سازی

1. کشف: موجودی موضوعات، وابستگی ها و صاحبان ؛ ارزیابی SLO و هزینه های خرابی.
2. کلاس های QoS: تعریف طلا/نقره/برنز، وزن و محدودیت های پایه ؛ یک Policy-as-Code ایجاد کنید.
3. برنامه ریز و استخر: تقسیم خوشه/استخر منابع، فعال کردن کنترل پذیرش.
4. نظارت: تخته SLO/تاخیر/هزینه ؛ هشدار به تهدید SLO و نقض بودجه.
5. تقویت خودکار: ادغام سیگنال ها (حوادث، کمپین ها، DQ) به تغییر اولویت.
6. هزینه آگاه: برنامه های خارج از اوج، منابع نقطه ای، پروفایل درخواست های «گران».
7. سخت شدن: ایستگاه های بازرسی پیشگیرانه، runbooks، سیاست های canary، آزمون های هرج و مرج.

16) چک لیست قبل از انتشار

• کلاس QoS، مالک، SLO و هزینه خرابی برای همه جریان ها تعریف شده است.
• پیکربندی استخر/خوشه و کنترل پذیرش، CPU/IO/اسکن محدودیت.
• فشار پشتی و محدودیت های نرخ مصرف/مصرف کنندگان فعال می شود.
• سیاست های اولویت بندی به عنوان کد طراحی شده اند ؛ خشک اجرا و بررسی وجود دارد.
• تاخیرها، طراوت، هزینه، پیشگیری/خطاها نظارت می شود ؛ هشدارها در هنگام تماس
• پیکربندی خودکار تقویت در سیگنال (تهدید SLA، DQ، حادثه، مبارزات انتخاباتی).
• کتابهای مستند تخریب مستند ؛ سناریوهای هرج و مرج را بررسی کرد.
• برای برنز، جریان ها بدون خطر تاخیر آبشار به نقطه/نقطه خارج می شوند.

17) سیاست های نمونه (شبه YAML)

17. 1 کلاس طلا با مهلت و بودجه

yaml policy: gold_finance_stream priority_base: 90 deadline_slo: freshness<=10m boost_on:
- dq_violation: duplicates_in_txn_id>0
- incident: "chargeback_spike"
limits:
max_scan_mb: 20480 max_concurrency: 32 budget:
max_hourly_cost: 200 preemption:
can_preempt_classes: [silver, bronze]

17. 2 پر کردن هزینه آگاه для برنز

yaml policy: bronze_backfill priority_base: 20 schedule: offpeak(22:00-06:00)
limits:
max_concurrency: 4 iops_cap: low fallback:
pause_if_cluster_si>0. 8

18) خط پایین

اولویت بندی موضوعی ترکیبی قابل مدیریت از اولویت های تجاری، SLO های فنی و محدودیت های اقتصادی است که از طریق صف ها، برنامه ریزان، محدودیت ها و بازخورد سیستم اجرا می شود. هنگامی که کلاس های QoS، سیگنال های تقویت خودکار و سیاست های آگاه از هزینه با هم کار می کنند، داده ها تازه و قابل اعتماد باقی می مانند، بینش های انتقادی به موقع می رسند و صورتحساب زیرساخت قابل پیش بینی است.