ნაკადების პრიორიტეტიზაცია

1) რატომ არის პრიორიტეტი საჭირო

დატვირთვის ზრდით, „ყველაფერი მნიშვნელოვანია“ გადაიქცევა „ჩვენ არაფერს ვაკეთებთ“. ნაკადების პრიორიტეტი არის შეზღუდული რესურსების განაწილების სისტემური გზა (CPU, I/O, ქსელი, ბიუჯეტი) ნაკადებს/ჯობებს/ტენანტებს შორის ისე, რომ კრიტიკული SLO განხორციელდეს, ხოლო ღირებულება დარჩა კონტროლირებადი. შედეგი არის ფანჯრების პროგნოზირებადი სიახლე, უპასუხისმგებლო ალერტები და სტაბილური გამოთვლითი ფანჯრები.

2) ნაკადის ტაქსონომია და მნიშვნელობის კრიტერიუმები

• დრო: რეალური/ნამდვილი დრო (წამი-წუთი), ინტერაქტიული (წუთი), ოფლაინ/ბატი (საათი).
• კრიტიკა: ფინანსური/მარეგულირებელი, ინციდენტი, პროდუქტი, კვლევა.
• დამოკიდებულება: წყაროები სხვა ფანჯრებისთვის (upstream) vs სასრული (downstream).
• დგომის ღირებულება: ზიანი წუთში/საათში შეფერხება (SLO breach cost).
• ტენიანობა: შიდა გუნდი, პარტნიორი, გარე კლიენტი.

პრაქტიკა: თითოეული კლასი - Business Priority (BP) და Technical Priority (TP); შედეგი არის კომპოზიციური პრიორიტეტი 'P = w1BP + w2TP + w3CostRisk'.

3) SLA/SLO/SI ნაკადები

SLA: სახელშეკრულებო გარანტია (მაგალითად, "ფინანსური ვიტრინა T + 15 წუთი, 99. 9%»).
SLO: საინჟინრო მიზნები (p95 სიახლე 10 წუთი); p99 შეფერხება (60 წ.).
SI (Saturation Index): მიმდინარე დატვირთვის თანაფარდობა ლიმიტებთან; გამოიყენება როგორც დიზაინერი.

გვარდიები: guardrail მეტრიკა (მაგალითად, სავალდებულო შეცდომები, ხარვეზები) შეიძლება დროებით გაზარდოს სარემონტო ნაკადების პრიორიტეტი.

4) მომსახურების კლასები (QoS) და პოლიტიკა

ოქროს (ბიზნეს-კრიტიკული): გადახდები, ანტიფროდი, მარეგულირებელი მოხსენებები, ინციდენტის ალერტები.
Silver (product-critical): ფანჯრები მენეჯმენტის დაშბორდებისთვის, კამპანიებისთვის, რისკის ესკალაციისთვის.
Bronze (best-effort): კვლევითი ბატები, გრძელი re-build და ფართო ფანჯრები.

• Strict Priority (SP): Gold ყოველთვის წინ არის; ქვედა მარხვის რისკი.
• Wighted Fair Queuing (WFQ): წონა ტრაფიკზე/ჯობზე, სამართლიანობის კონტროლი.
• Deficit Round-Robin (DRR): დამუშავების კვოტები, კარგია ქსელის/ნაკადის კვანძებისთვის.
• Deadline aware: ახლო ვადაზე დავალებები მიიღება ბასტით.
• Cost-aware: გადაანგარიშება გადაიდო, თუ „ძვირადღირებული საათი“ და SLO საშუალებას გაძლევთ.

5) დაგეგმვა და ხაზები (დონეზე)

• ტოპიკა/ხაზები იყოფა QoS კლასებში; მწარმოებლების ლიმიტები; backpressure კვოტების საშუალებით.
• rate limit + burst tokens- ის პოლიტიკა ციმციმებისთვის (token bucket).

• რესურსების აუზები/კლასების მტევანი: ინდივიდუალური executors Gold- ისთვის.
• Preemption: რესურსების შერჩევა ქვედა დეფიციტით (სიხშირის შეზღუდვით).
• Admission Control: შეყვანის ბიუჯეტის ფილტრი და SLO; „ძვირადღირებული“ ჯობების გადახრა ფანჯრის გარეშე.

• კონკურენტული I/O და მოთხოვნის პრიორიტეტული ხაზები.
• Materialized views: Gold - სავარაუდო, Silver - პერიოდული, Bronze - გრაფიკის მიხედვით/ღამის ფანჯრებში.

6) Backpressure, limites და სისტემების დაცვა

Backpressure სიგნალები: მომხმარებლიდან პროდიუსერამდე (lag/latency/queue depth).
მოთხოვნის/ჯობუსის ლიმიტები: bytes scanned, rows returned, wall-time caps.
Circuit Breakers: გადატვირთვის დროს - დეგრადაცია გამარტივებულ ერთეულებამდე ან „თბილ“ სნაიპშოტებამდე.
Shed-load: ჩამოტვირთვის/შემცირების საუკეთესო ნაკადები კრიტიკული გადარჩენისთვის.

7) მრავალმხრივი და სამართლიანობა

ტენიანობის კვოტები: CPU/IO/ღირებულება დროის ერთეულში.
წონა მოთხოვნის კლასებისთვის: ანალიტიკა, მოხსენებები, ML ფიჩები - სხვადასხვა ლიმიტები.
Budget envelopes: ყოველკვირეული/ყოველთვიური ჭერი; ამოწურვის დროს - პრიორიტეტის შემცირება, გადატანა off-peak- ზე.

8) ღირებულება და „პრიორიტეტული ეკონომიკა“

Cost-to-Freshness: რამდენი ღირს 1 წუთი სიახლის გასაუმჯობესებლად.
Cost-aware დაგეგმვა: Bronze გადადის off-peak; backfill - „იაფი საათებში“.
Spot/Preemptible: დაბალი პრიორიტეტისთვის - preemptible რესურსების გამოყენება.
მოთხოვნის პროფილირება: „ძვირადღირებული“ შაბლონების შავი სიები; მანქანის გადაწერა.

9) პრიორიტეტი batch

ფანჯრის კალენდარი: ოქროს ფიქსირებული ფანჯრები Silver/Bronze- ის წინ.
DAG Dependence-aware: upstream Gold მოდელები იღებენ ადრეულ სლოტს კასკადის განბლოკვის მიზნით.
Incremental first: ჯერ დროებითი ნაწილები, შემდეგ „ცივი“ re-build.
Checkpointing: ისე, რომ preemption არ გამოიწვევს პროგრესის დაკარგვას.

10) ნაკადის პრიორიტეტი

პრიორიტეტული მხარეები: უფრო მეტი საკონსულტაციო ინსტანცია ოქროს ტოპიკებზე.
Watermarks კლასებში: Gold- ისთვის - ვიწრო lateness ფანჯრები; Bronze- სთვის - უფრო ფართო (უფრო მაღალი ტოლერანტობა დაგვიანებული მოვლენებისადმი).
Dedup და idempotent sinks: გოლდისთვის - მკაცრი; Bronze- სთვის - ჰურიტული.
ალერტები: ოქროს ალერტები ცალკე არხზე მიდიან გაზრდილი QoS- ით.

11) სიგნალები და ავტომატური პრიორიტეტის ცვლილება

ღონისძიების გამომწვევი მიზეზები: spike ტრაფიკი, ინციდენტი, სარეკლამო კამპანია - დროებითი Gold/Silver ბუჩქი.
SLA საფრთხე: კონკრეტული ფანჯრის ფანჯრის სიახლეების შეფერხების პროგნოზი.
Data Quality: მასობრივი დუბლები/ზარალი - პრიორიტეტული რეპერის ნაკადები.
ფინანსური რისკი: chargeback- ის ზრდა - სკორინგის/ალერტების პრიორიტეტი.

12) მონიტორინგი

რიგები/ლაგი: სიგრძე, ლოდინის დრო, p95/p99 შეფერხება კლასებში.
SLO დაფა: სიახლის/ლატენტობის/შეცდომების ფენა (ingest - curated - marts).
ღირებულება: cost per კლასის/tenant; გადახრები ბიუჯეტიდან.
Preemption/მარცხი: სიხშირე, პროგრესის დაკარგვა, MTTR მონაცემები.
პრიორიტეტული არითმეტიკა: მიმდინარე 'P', ბუჩქების მიზეზები, დაგეგმვის გადაწყვეტილებების ისტორია.

13) პოლიტიკოსების მართვა

პოლიტიკოსები კონფისკაციის კოდექსში (პოლიტიკა-as-code), ვერსიები და მიმოხილვა.
მშრალი ღარები (dry-run) გამოყენებამდე: როგორ შეიცვლება გრაფიკი/ღირებულება.
კანარის ჩართვა: მტევნების ნაწილი გადადის ახალ წონაზე/წესებზე.
Runbooks: რა უნდა გავაკეთოთ გადატვირთვის დროს, როგორ დროებით შეამციროთ კლასი, როგორ დავუბრუნდეთ.

14) ანტიპატერები

„ყველაფერი გოლდია“. პრიორიტეტიზაცია კარგავს მნიშვნელობას; იწყება რესურსებისთვის ომები.
მკაცრი SP მარხვისგან დაცვის გარეშე. Silver/Bronze არასოდეს მთავრდება.
არ არსებობს ადმისიის კონტროლი. „ძვირადღირებული“ მოთხოვნები შედის სისტემაში და ყველას ეშვება.
Cost-aware- ის არარსებობა. ჩვენ ვასრულებთ მძიმე ზურგჩანთას „ძვირადღირებულ საათებში“.
OLTP/OLAP ნაზავი. კრიტიკული გარიგებები განიცდის ანალიტიკის გამო.
ჰიბრიდული მონაცემები RLS/CLS გარეშე. რემონტი/პრიორიტეტი შემთხვევით ცხადყოფს მგრძნობიარე სფეროებს.

15) გზის განხორციელების რუკა

1. Discovery: ნაკადების, დამოკიდებულებებისა და მფლობელების ინვენტარიზაცია; SLO შეფასება და დგომის ღირებულება.
2. QoS კლასები: განსაზღვროთ Gold/Silver/Bronze, წონა და ძირითადი ლიმიტები; დაიწყეთ პოლიცია-as-code.
3. დაგეგმვა და აუზები: გაყოფა მტევანი/რესურსების აუზები, ჩართეთ admission Control.
4. მონიტორინგი: დაფები SLO/lag/ღირებულება; ალერტები საფრთხეს უქმნის SLO და budget-breach.
5. Auto-boost: სიგნალის ინტეგრაცია (ინციდენტები, კამპანიები, DQ) პრიორიტეტად იცვლება.
6. Cost-aware: off-peak გრაფიკი, სპოტის რესურსები, „ძვირადღირებული“ მოთხოვნების პროფილირება.
7. Hardening: preemption-safe checpoints, runbooks, კანარის პოლიტიკოსები, ქაოსის ტესტები.

16) ჩეკის სია გამოქვეყნებამდე

• ყველა ნაკადისთვის განისაზღვრება QoS კლასი, მფლობელი, SLO და დგომის ღირებულება.
• განლაგებულია აუზები/მტევანი და ადმისიის კონტროლი, CPU/IO/სკანირების ლიმიტები.
• ჩართულია backpressure და rate limits ingest/Consumers.
• პრიორიტეტული პოლიტიკოსები შედგენილია, როგორც კოდი; არსებობს dry-run და revion.
• მონიტორინგი ხდება ლაქების, სიახლის, ღირებულების, პრემიის/შეცდომების შესახებ; ალერტები on-call.
• შედგენილია auto-boost სიგნალებით (SLA საფრთხე, DQ, ინციდენტი, კამპანია).
• დოკუმენტირებულია runbooks დეგრადაცია; შემოწმებულია ქაოსის სცენარები.
• ბრონზისთვის, ნაკადები გადაიდო off-peak/spot- ზე, კასკადის შეფერხების რისკის გარეშე.

17) ტიპიური პოლიტიკოსის მაგალითები (ფსევდო-YAML)

17. 1 ოქროს კლასი ვადაგადაცილებული და ბიუჯეტით

yaml policy: gold_finance_stream priority_base: 90 deadline_slo: freshness<=10m boost_on:
- dq_violation: duplicates_in_txn_id>0
- incident: "chargeback_spike"
limits:
max_scan_mb: 20480 max_concurrency: 32 budget:
max_hourly_cost: 200 preemption:
can_preempt_classes: [silver, bronze]

17. 2 Cost-aware backfill для Bronze

yaml policy: bronze_backfill priority_base: 20 schedule: offpeak(22:00-06:00)
limits:
max_concurrency: 4 iops_cap: low fallback:
pause_if_cluster_si>0. 8

18) შედეგი

ნაკადების პრიორიტეტი არის ბიზნესის პრიორიტეტების კონტროლირებადი კომბინაცია, ტექნიკური SLO და ეკონომიკური შეზღუდვები, რომლებიც ხორციელდება რიგების, დაგეგმვის, შეზღუდვების და სისტემის უკუკავშირის საშუალებით. როდესაც QoS კლასები, auto-boost სიგნალები და cost-aware პოლიტიკა ერთად მუშაობენ, მონაცემები რჩება ახალი და საიმედო, კრიტიკული ინსაითები დროულად მოდის, ხოლო ინფრასტრუქტურული ანგარიში პროგნოზირებულია.