Ustalanie priorytetów dla gwintów

1) Dlaczego konieczne jest nadanie priorytetu

Wraz ze wzrostem obciążenia "wszystko jest ważne" zmienia się w "nie mamy czasu na nic. "Priorytetowe traktowanie gwintów jest systemowym sposobem na przydzielenie ograniczonych zasobów (CPU, I/O, sieć, budżet) między wątki/miejsca pracy/najemców, tak aby wykonywane były krytyczne SLO i aby koszty pozostały kontrolowane. Rezultatem jest przewidywalna świeżość okna, bezproblemowe wpisy i stabilne okna recount.

2) Taksonomia przepływu i kryteria znaczenia

• Czas: w czasie rzeczywistym/zbliżonym do rzeczywistego (sekundy-minuty), interaktywny (minuty), offline/partia (godziny).
• Krytyczność: finansowa/regulacyjna, incydent, produkt, badania.
• Zależności: źródła dla innych sklepów (w górę strumienia) vs downstream.
• Koszt przestoju: uszkodzenia na minutę/godzinę opóźnienia (koszt naruszenia SLO).
• Najem: wewnętrzny zespół, partner, zewnętrzny klient.

Praktyka: każda klasa - priorytet biznesowy (BP) i priorytet techniczny (TP); ogółem - priorytet złożony 'P = w1BP + w2TP + w3CostRisk'.

3) Model SLA/SLO/SI dla przepływów

SLA: gwarancja umowna (np. "prezentacja finansowa T + 15 min, 99. 9%»).
SLO: cele inżynieryjne (świeżość p95 ≤ 10 min; p99 opóźnienie ≤ 60 sekund).
SI (wskaźnik nasycenia): stosunek obciążenia prądu do limitów; używany przez grafika.

Bariery ochronne: mierniki bariery (np. błędy walidacyjne, zaniechania) mogą tymczasowo zwiększyć priorytet napraw.

4) Klasy usług (QoS) i polityki

Złoto (krytyczne dla przedsiębiorstw): płatności, zwalczanie nadużyć finansowych, sprawozdania regulacyjne, wpisy dotyczące incydentów.
Srebro (produkt krytyczny): prezentacje do desek rozdzielczych zarządzania, kampanie, punktacja ryzyka.
Brąz (najlepszy wysiłek): partie badawcze, długie ponowne budowanie i zasypywanie szerokich okien.

• Ścisły priorytet (SP): Złoto zawsze przed nami; ryzyko głodu dolnych.
• Ważona kolejka targowa (WFQ): Wagi dla ruchu/miejsc pracy, Kontrola uczciwości.
• Deficit Round-Robin (DRR): Kwoty przetwarzania porcji, dobre dla hostów sieciowych/strumieniowych.
• Realizacja terminu: Zadania z bliskim terminem uzyskać impuls.
• Świadomość kosztów: ponowne obliczenia opóźnione, jeśli „droga godzina” i SLO pozwala.

5) Harmonogramy i kolejki (na poziomach)

• Tematy/kolejki są podzielone na klasy QoS; limitów producenta; ciśnienie wsteczne poprzez kwoty.
• Limit stawki polisy + żetony do wybuchów (wiadro żetonowe).

• Puli zasobów/klastry według klas: osobne wykonawcy dla Gold.
• Uprzedzenie: wybór zasobów z najniższego deficytu (z ograniczeniem częstotliwości).
• Kontrola wstępu: filtr wejściowy według budżetu i SLO; odrzucenie „drogich” miejsc pracy bez okna.

• Konkurencyjne I/O i priorytetowe kolejki wniosków.
• Zmaterializowane widoki: Złoto - przyrostowe, Srebrne - okresowe, Brązowe - zaplanowane/nocne okna.

6) Ciśnienie wsteczne, granice i ochrona systemu

Sygnały wsteczne: od konsumenta do producenta (opóźnienie/opóźnienie/głębokość kolejki).
Limit żądania/zadania: skanowane bajty, zwrócone wiersze, czapki czasu ściennego.
Wyłączniki: pod przeciążeniem - degradacja do jednostek uproszczonych lub „ciepłe” migawki.
Shed-load: resetowanie/przycinanie najlepszych przepływów wysiłku w celu ratowania krytycznych.

7) Wielozatrudnienie i „sprawiedliwość”

Kwoty dla najemców: CPU/IO/koszt na jednostkę czasu.
Wagi dla klas zapytań: analityka, raporty, funkcje ML - różne limity.
Pula środków budżetowych: pułapy tygodniowe/miesięczne; po wyczerpaniu - obniżenie priorytetu, przenoszenie na poza szczyt.

8) Koszty i „gospodarka priorytetowa”

Koszt do świeżości: Ile kosztuje 1 min, aby poprawić świeżość.
Planowanie świadome kosztów: przesunięcia z brązu do off-peak; zasypka - w „tanich godzinach”.
Spot/Preemptible: dla niskiego priorytetu - wykorzystanie preemptywnych zasobów.
Profilowanie zapytań: czarne listy „drogich” szablonów; auto-pisanie.

9) Ustalanie priorytetów partii

Kalendarz okien: Napraw okna na złoto przed srebro/brąz.
Zależność-świadomy DAG: Modele Upstream Gold uzyskać wczesny slot, aby odblokować kaskadę.
Przyrostowe najpierw: najpierw przyrostowe partie, a następnie „zimne” odtworzenie.
Checkpointing - aby zapobiec utracie postępu przez preempcję.

10) Priorytety dla streamingu

Strony priorytetowe: więcej przypadków konsumenckich na temat złota.
Znaki wodne według klasy: dla Gold - wąskie okna latency; dla brązu - szerszy (większa tolerancja dla późnych zdarzeń).
Zlewy dedup i idempotent: dla złota - surowe; na brąz - heurystyczny.
Wpisy: Złote wpisy przechodzą przez oddzielny kanał ze zwiększonym QoS.

11) Sygnały i automatyczna zmiana priorytetów

Wyzwalacze wydarzeń: ruch kolczasty, incydent, kampania promocyjna → tymczasowy Gold/Silver boost.
Zagrożenie SLA: prognoza załamania świeżości → auto-boost konkretnej prezentacji.
Jakość danych: masa podwoje/straty → zwiększenie priorytetu strumieni naprawy.
Ryzyko finansowe: wzrost obciążeń zwrotnych → priorytet punktacji/ostrzegania.

12) Obserwowalność: co monitorować

Kolejki/lag: długość, czas oczekiwania, p95/p99 opóźnienia według klasy.
Płyta SLO: świeżość/opóźnienie/błędy na warstwę (połknięcie → ukryte → marts).
Koszt: koszt na klasę/najemcę; odchylenia od budżetu.
Pierwszeństwo: częstotliwość, utrata postępu, dane MTTR.
Arytmetyka priorytetowa: aktualne „P”, przyczyny pobudek, historia decyzji harmonogramu.

13) Zarządzanie polityką

Zasady w kodzie config (policy-as-code), wersioning i przegląd.
Dry-run przed aplikacją: jak zmieni się harmonogram/koszt.
Włączenie kanaryjskie: część klastrów przechodzi do nowych wag/zasad.
Zakładki: co robić po przeciążeniu, jak tymczasowo obniżyć klasę, jak wrócić.

14) Antypattery

"Wszystko jest Złotem. "Priorytet traci swoje znaczenie; Rozpoczynają się wojny o zasoby.
Ścisły SP bez ochrony na czczo. Srebro/brąz nigdy nie jest kompletny.
Brak kontroli wstępu. „Drogie” żądania wejść do systemu i upuścić wszystkich.
Brak świadomości kosztów. Wykonujemy ciężkie zasypki w „drogich godzinach”.
Mieszanka OLTP/OLAP. Krytyczne transakcje cierpią z powodu analizy.
Dane hybrydowe bez RLS/CLS. Naprawa/priorytet przypadkowo naraża wrażliwe pola.

15) Plan działania w zakresie wdrażania

1. Odkrycie: inwentaryzacja nici, zależności i właścicieli; ocena kosztów SLO i przestojów.
2. klasy QoS: zdefiniować złoto/srebro/brąz, wagi i granice podstawy; stwórz kod polityki.
3. Harmonogram i puli: podzielić klastry/puli zasobów, włączyć kontrolę wstępu.
4. Monitorowanie: tablice SLO/lag/koszt; ostrzega przed zagrożeniem SLO i naruszeniem budżetu.
5. Auto-boost: integracja sygnałów (incydenty, kampanie, DQ) ze zmianą priorytetów.
6. Świadomość kosztów: harmonogramy poza szczytem, zasoby kasowe, profilowanie „drogich” żądań.
7. Utwardzanie: punkty kontrolne bezpieczne dla preempcji, książki startowe, polityka kanaryjska, testy chaosu.

16) Lista kontrolna przed zwolnieniem

• Dla wszystkich przepływów określono koszty QoS, właściciela, SLO i przestojów.
• Skonfigurowane puli/klastry i kontrola wstępu, limity CPU/IO/skanowania.
• Dopuszczalne są limity ciśnienia wstecznego i stawki dla spożycia/konsumentów.
• Strategie priorytetowe zostały opracowane jako kod; jest suchy i przegląd.
• Lagi, świeżość, koszt, uprzedzenie/błędy są monitorowane; wpisy w dyżurze.
• Skonfigurowane automatyczne zwiększanie sygnałów (zagrożenie SLA, DQ, incydent, kampania).
• Udokumentowane książeczki rozkładu; sprawdzone scenariusze chaosu.
• W przypadku brązu strumienie są przemieszczane na teren poza szczytem/na miejscu bez ryzyka opóźnień kaskadowych.

17) Polityka prób (pseudo-YAML)

17. 1 Klasa złota z terminem i budżetem

yaml policy: gold_finance_stream priority_base: 90 deadline_slo: freshness<=10m boost_on:
- dq_violation: duplicates_in_txn_id>0
- incident: "chargeback_spike"
limits:
max_scan_mb: 20480 max_concurrency: 32 budget:
max_hourly_cost: 200 preemption:
can_preempt_classes: [silver, bronze]

17. 2 Cost-aware backfill дла Bronze

yaml policy: bronze_backfill priority_base: 20 schedule: offpeak(22:00-06:00)
limits:
max_concurrency: 4 iops_cap: low fallback:
pause_if_cluster_si>0. 8

18) Najważniejsze

Priorytetowe traktowanie wątków jest możliwym do opanowania połączeniem priorytetów biznesowych, technicznych SLO i ograniczeń ekonomicznych realizowanych poprzez kolejki, harmonogramy, limity i sprzężenie zwrotne systemu. Kiedy klasy QoS, sygnały automatycznego pobudzania i polityka świadomości kosztów współpracują, dane pozostają świeże i niezawodne, krytyczne spostrzeżenia przybywają na czas, a rozliczenie infrastruktury jest przewidywalne.