Gwint telemetryczny
1) Cel i kontekst
Przepływy telemetryczne zapewniają ciągły napływ danych obserwacyjnych o wydajności platformy: co się dzieje, dlaczego i ile to kosztuje. W iGaming jest to klucz do wczesnego wykrywania degradacji depozytu/zakładu, widoczności zewnętrznych dostawców (PSP/KYC/studios gier) oraz sprawdzalnej zgodności SLO/zgodności.
2) Mapa źródłowa telemetrii
Metryki (TSDB): RED/USE, business SLI (sukces autoryzacji,% udanych zakładów).
OTel: łańcuchy żądań przez front → API → brokerów → bazy danych/PSP.
Dzienniki (strukturyzowane): wydarzenia, operacje audytu, błędy.
RUM: TTFB/LCP, błędy JS, geo/urządzenie.
Syntetyka: zewnętrzne transakcje próbne (stopa logowania/depozytu/piasku) z różnych GEO.
Telemetria niskiego poziomu: eBPF/CPU profilowanie/IO/alloc, sieć p95/p99.
Zewnętrzne statusy: haki internetowe/PSP/KYC/CDN/puli WAF.
3) Normy i systemy
OpenTelemetry as lingua franca: ujednolicenie semantyki atrybutów (service. nazwa, rozmieszczenie. środowisko, wytrwałość. id - maskowane, śladowe/SpanID, kody PSP).
Konwencje schematu: wersioning, rejestr schematu dla kłód/ścieżek, „łamanie zmian” tylko przez okres flagi binarnej i łaski.
Korelacja-ID: pojedynczy 'correlation _ id' dla płatności/zakładu przez wszystkie warstwy + przykłady w metrycznych percentylach.
4) Przenośnik wtryskowy (wysoki poziom)
1. Producenci: SDK/agenci/kolekcjonerzy (OTel Collector na węzłach).
2. Buforowanie krawędzi: lokalne kolejki (pamięć/dysk) z limitami.
3. Transport: gRPC/HTTP OTLP → broker wiadomości (Kafka/Pulsar) z klawiszami idempotencji.
4. Procesory: normalizacja, wzbogacanie (GEO/najemca/kanał), filtry PII, cienkie pobieranie próbek.
5. Fan-out: w TSDB (mierniki), w pamięci śladowej, w systemie dziennika, w jeziorze/DWH, w alarmie/zasadach.
6. Konsumenci: deski rozdzielcze, wpisy SLO (szybkość spalania), dochodzenia, strona stanu, uwolnienie automatycznych bram.
5) Klasy QoS i przepływu
Klasa A (czas rzeczywisty, P1): SLI/SLO, syntetyka, dostawcy kluczy (PSP/KYC). SLA dostawy: <5-10c, ≥ 99. 9%.
Klasa B (pomieszczenia operacyjne): trasy/dzienniki dla RCA, SLA: <1-2 min.
Klasa C (analityczna): kruszywa i partie w jeziorze/DWH, SLA: godzina/dzień.
Routing klasy → ustalanie priorytetów, różne zapytania, poszczególne kolejki/tematy.
6) Pobieranie próbek, agregacja, zatrzymywanie
Metryki: downsampling serii historycznych (1s → 10s → 1m), agregaty percentylowe, przykłady.
Szlaki: pobieranie próbek na podstawie ogona (podniesienie udziału w przypadku anomalii, błędy PSP, p99- „wybuchy”).
Dzienniki: poziom profilu, kompresja, odrzucenie hałasu (health-pings, DEBUG w sprzedaży - zabronione).
Retencja: „gorący” (7-14 dni szczegóły), „zimny” (jednostki/archiwum). Zasady dla poszczególnych klas dane i koszt.
7) Prywatność i zgodność
higiena PII: maskowanie/tokenizacja identyfikatorów; zakaz stosowania dokumentów CCM/tokenów kart w telemetrii.
Lokalizacja geograficzna: przechowywanie według jurysdykcji; eksport - tylko poprzez zatwierdzony przepływ pracy (szyfrowanie, TTL, audyt).
Kontrola dostępu: RBAC/ABAC do magazynów telemetrycznych, SoD do przesyłania.
8) Niezawodność przepływu
Idempotence: klawisze zdarzeń, dedup w procesorach.
Ciśnienie wtryskowe: limity wtrysku na najemcę/usługę; rzucić politykę w odniesieniu do pól przeciążenia o niskim priorytecie.
Powtórki - przechowywać w brokerze ≥ 72 h w celu ponownego przetworzenia.
Martwe litery: błędy routingu (schemat, rozmiar, naruszenie PII) w celu zabezpieczenia DLQ za pomocą wpisów.
Wersioning: „podwójny przepływ” podczas zmiany obwodów (v1 + v2) i migracji konsumentów.
9) Multi-najemca i izolacja
Tagi 'najemca _ id/marka/region' w każdym zdarzeniu; kwoty marginalne i budżety.
izolacja strumieni A/B według tematów; prysznic/obciążenie zwrotne przy wtrysku i przechowywaniu.
Maskowanie/agregacja do granicy najemcy podczas wywozu.
10) Katalog strumieniowy (przykładowe pola)
Identyfikator: 'telemetria. płatności. autor. Sukces. stawka. UE "
Klasa: A (czas rzeczywisty)
Сбева: '{timestamp, tenide, region, psp, bank_bin_group, success_rate, okno}'
Źródło: OTel Collector + PSP-router metrics
Konsumenci: wpisy SLO, deska rozdzielcza Exec, strona stanu
Zatrzymanie: gorące przez 30 dni, kruszywa przez 12 miesięcy
Właściciel: Płatności SRE, dpo-właściciel (prywatność)
Przepływ SLO: opóźnienie <10 c p95, utrata <0. 1 %/dzień
11) Integracja z powiadomieniami i zwolnieniami
Wpisy SLO według szybkości spalania (szybkie/wolne okno) dla depozytów/stawek.
Bramy uwolnienia: analiza kanaryjska SLI; auto-stop/rollback podczas degradacji.
Strona stanu: zaktualizuj kanał z karty incydentu + jednostki SLI.
12) Zestaw kluczowych desek rozdzielczych
Exec: uptime, burn-rate, success of authorizations/rates (by GEO/PSP), status dostawcy, $/RPS telemetry.
SRE/Platform: RED/USE według usługi, kolejki opóźnień, wykrywanie odstępców, profile eBPF.
Płatności/Ryzyko: konwersja banku/PSP, miękkie/twarde spadki, KYC SLA, wczesne sygnały obciążenia zwrotnego.
Koszty: objętość wtrysku według źródła, najwyższe etykiety kardynalności, koszt według strumienia.
13) Finansowanie obserwowalności (FinOps)
Koszt KPI: $/GB ingest, $/trace, $/SLI-deska rozdzielcza; raport na temat „ciężkich” metryk i etykiet.
Optymalizacja: agregacja i downsampling, pobieranie próbek dynamicznych, czyszczenie dzienników rozmów, klasa magazynowania o znaczeniu.
Politycy: kontyngenty na wysoką kardynalność, ograniczenia częstotliwości emisji, przegląd programów raz na kwartał.
14) Procesy i role
Data/Observability Właściciele на довена (Płatności, Gry, Core API, Infra).
Change-Control dla obwodów: PR-review, test benches, kompatybilność u konsumentów.
Tablop/Chaos-days: odłączenie dostawców, przeciążenie maklerskie, kontrola ciśnienia wstecznego/idempotencji.
pośmiertnie: obejmują analizę telemetrii (wystarczalność sygnałów, fałszywe alarmy, koszt).
15) Plan realizacji (8-12 tygodni)
Ned. 1-2: audyt przepływów bieżących, mapa źródłowa, cele SLO telemetrii, wybór norm (OTel, TSDB, trasy, kłody).
Ned. 3-4: Kolektory OTel, pojedynczy identyfikator korelacji, podstawowy RED/USE + business SLI dla depozytu/zakładu, katalog przepływów v0.
Ned. 5-6: pobieranie próbek na podstawie ogona, syntetyka GEO, DLQ/idempotencja, filtry prywatności.
Ned. 7-8: panel FinOps (połknięcie/zatrzymanie), obniżenie wartości, kwoty kardynalności, wpisy SLO (wskaźnik oparzenia).
Ned. 9-10: sygnały eBPF/niskiego poziomu, kanał na stronie stanu, bramy uwolnienia.
Ned. 11-12: testy chaosu, optymalizacja kosztów, formalne przepływy SLA, rozpoczęcie kwartalnego przeglądu programów.
16) Wzory artefaktów
Telemetry Stream Spec: id, właściciel, schemat, klasa QoS, źródła, konsumenci, retencja, SLO/wpisy, polityka prywatności.
Schemat szablonu PR: zmiana/migracja, kompatybilność, testy, plan zwrotu.
Polityka pobierania próbek: przepisy dotyczące pobierania próbek w przypadku nieprawidłowości; budżetów docelowych.
Cost Review Pack: Top Sources by $/Value, TTL/Aggregation Offers.
Lista kontrolna telemetrii incydentu: lista wykresów/ścieżek/dzienników, które są wymagane dla RCA.
17) KPI/KRI strumieni telemetrycznych
Dostawa: p95 opóźnień według klasy,% utraconych wiadomości/dzień.
Zasięg: odsetek ścieżek krytycznych o śledzeniu> 90%, odsetek SLIs zamkniętych metrami.
Jakość sygnału:% incydentów złapanych na SLI przed skargami, fałszywe/pominięte wpisy.
Koszt: $/RPS dla telemetrii, $/ślad, udział „hałasu” w wtrysku.
Niezawodność: czas odzysku po degradacji brokera, objętość powtórki.
18) Antypattery
Metryki o wysokiej kardynalności w TSDB.
Pojedyncze „czarne pudełko” kłód bez struktury i schematów.
Brak DLQ/idempotency → duplikaty i szczytowe straty.
„Niekończące się” retencje bez FinOps → wykładniczy wzrost rachunku.
Szlaki bez kontekstu biznesowego (PSP/bank/GEO) → słaba diagnostyka.
Niespójne systemy między komendami → konsumenci łamią.
Razem
Strumienie telemetryczne są kontrolowanym, wielowarstwowym systemem: OTel standardy i schematy → niezawodny wtrysk z QoS i backpressure → pobieranie próbek/agregacja i retencje kosztów → prywatność i izolacja wielu najemców → SLO alerty, deski rozdzielcze i bramy uwalniania. Taki układ daje wczesne sygnały, szybki RCA, przewidywalne koszty i stabilność platformy iGaming w trybach szczytowych.