Indexarea depozitelor analitice

1) De ce indexarea unei platforme iGaming

Viteza de analiză: rapoarte privind experimentele GGR/NET, conversii, RG/AML și A/B se potrivesc în SLA.
Cost: mai puțini octeți pentru a scana → a reduce factura de calcul/depozit.
Fiabilitate: latență stabilă a tabloului de bord p95/p99 și valori API.
Scară: zeci de mărci/piețe/PSP/furnizori fără valoare infernală „scanare completă”.

2) Model de încărcare (înainte de indexare)

Факты: 'payments',' game _ rounds', 'sessions', 'bonus _ events'.
Dimensiuni: 'dim _ user' (fără PII), 'dim _ provider', 'dim _ psp', 'dim _ country'.
Cereri: „Ultimele N zile”, agregări după 'brand/country/provider/psp', filtre după câmpul de stare, alăturați-vă prin surogat-keys, căutare după atribute JSON (metodă de plată, dispozitiv), top-K/percentile.

Selectăm indici bazați pe selectivitate, cardinalitate și frecvența de utilizare.

3) Tipuri de indici și când să le luați

3. 1 Clasice

B-tree: egalitate/intervale pentru coloane foarte selective ('user _ surogate _ id',' happened _ at ',' sound ').
Hash: egalitate pură; mai rar în analiză (împotriva intervalelor slabe).
Bitmap: cardinalitate scăzută și filtre frecvente conectate ('country', 'kyc _ level', 'rg _ state', 'brand'). Diferit pentru însumarea măștilor.

3. 2 Specificitatea coloanei

Min-max (date sărind peste): statistici automate „minim/maxim” în dungi de parchet/părți → blocurile motorului sare. Funcționează mai bine atunci când sunt sortate după câmpuri filtrate.
Indici Bloom: teste probabilistice rapide de apartenență la o valoare într-un bloc (util pentru 'user _ id',' transaction _ id', 'psp').
BRIN (Bloc Range Index): „indicii” ieftine pentru a bloca intervalele dacă datele sunt ordonate în mod natural (timp). Ieftin, dar eficient pentru seria de timp.

3. 3 Avansat/Specializat

GiST/GIN (inversat): JSON/matrice/text, filtre după atribute imbricate ('metadate. metodă = "Papara", "dispozitiv. os în [...] ').
Alăturați-vă/proiecție (ClickHouse/MPP): materiale pentru accelerarea se alăture/agg (pre-alătura cheie este stocat lângă faptul, agregări preliminare).
Vector (ANN): căutați încorporări similare (recomandări/comportament antifraudă) - FIV/HNSW/Flat ca „cel mai apropiat indice vecin”.
Z-ordering/Z-order (lakehouse/Databricks )/Cluster keys (Snowflake )/ORDER BY (ClickHouse): gruparea multidimensională a datelor pe disc pentru o mai bună omitere a datelor.

4) Partiționarea, sortarea, gruparea

Părțile (data/țara/marca): mari (zi/săptămână) pentru a evita "blestemul fișierelor mici. "Selectăm câmpuri cu selectivitate ridicată în UNDE/drepturi de acces.
Sortarea în cadrul unei părți: „COMANDĂ PRIN (occurred_at, brand, psp)” sau Z-comandă prin „(brand, țară, furnizor)” - așa funcționează mai bine min-max și bloom.
Cluster/Recluster: reclasificare periodică pentru a menține localitatea.
TTL și retenție: ștergerea automată a pieselor/segmentelor vechi.

5) Vizualizări și proiecții materializate

MV pentru felii fierbinți: 'payments _ 7d _ by _ brand _ psp', 'rounds _ 1d _ by _ provider'. Sprijinim redarea în flux.
ClickHouse/Agregate tabele-Presetări, niveluri roll-up (chas→den→nedelya).
Rezultat cache: interogare rezultat cache/depozit rezultat cache pentru tablouri de bord repetabile (validate de interogare token și prospețimea datelor).

6) Date semi-structurate (JSON/VARIANT)

Indexuri după cale: indice inversat/GIN pe căile json ('$ .device. os ',' $ .psp. detalii. metodă ").
Materializarea atributelor importante în coloane: pentru filtre stabile (metoda de plată, dispozitiv, versiunea aplicației).
Statistici cheie: colectarea distribuțiilor pentru un plan selectiv.

7) Lacuri de date: Iceberg/Delta/Hudi

Indici manifestați: metadate despre fișierele de parchet (min-max, null-count, bloom) → tăierea partițiilor + sărirea fișierelor.
Comprimarea/fuzionarea fișierelor: îmbinarea regulată a fișierelor mici în dimensiunea „optimă” (128-1024 MB).
Clustering/Z-ordine: reambalarea fișierelor pentru câmpurile de corelare (ex. „brand, country, happened _ at”).
Ștergeți/Actualizați indexurile: poziționați ștergerile și înfloriți pentru a accelera fuzionarea pe citire.

8) Cum de a alege indici: lista de verificare practică

1. Colectați cererile de sus N (90% din sarcină) → câmpurile de filtrare/alăturare/grup.
2. Pentru fiecare câmp, evaluați selectivitatea 'sel = 1 - distinctă (valoare )/rânduri' și cardinalitate.
3. Lot de timp + 1-2 măsurători cu filtre/accese stabile.
4. Sortare/cluster chei pentru a se potrivi filtre și se alăture tastelor.
5. Adăugați bloom pentru point id, bitmap pentru cardinalitate scăzută.
6. Agregări la cald → MV/proiecții.
7. Căile JSON → indici inversați + materializare.
8. Pe lacuri - compactarea și gruparea pe un program.
9. Introduceți SLO: p95 latență, bytes scanat/cerere, sărit rata de date.

9) Suport și întreținere

ANALIZE/statistici: actualizați cardinalitățile și histogramele; în caz contrar, optimizatorul este „orb”.
VACUUM/OPTIMIZE/RECLUSTER: defragmentare și reclasificare.
Monitorizarea utilizării indexurilor: „rata de acoperire”, „lista de indici neutilizată”, „octeți scanați/octeți săriți”.
Auto-advisers: recomandări periodice pentru cluster keys și sortare bazată pe interogare jurnal.
Teste de regresie: înainte de epuizarea cheilor noi - compararea profilului de cerere și a costurilor.

10) Indicatori și indexare SLO

Tehnic: p95/p99 latență, bytes scanate/interogare, sărit octeți%, fișiere atinse, cache hit-rate.
Economie: $/cerere, $/tablou de bord, scanare $/TB.
Operațiuni: timp de compactare, coadă de reclasificare, cota de „fișiere mici”.
Calitatea planurilor: proporția interogărilor folosind indici/proiecții, acuratețea cardinalităților.

11) iGaming cazuri (rețete gata făcute)

11. 1 Plăți/PSP: picături/refuzuri

Petrecere: „ziua”. Sortează „(marcă, țară, occurred_at)”.
Bloom: 'transaction _ id',' user _ id'. Bitmap: „psp”, „stare”.
MV: 'payments _ 7d _ by _ brand _ psp (status, declines)'.
Rezultat: p95 ↓ cu 8. 2s la 1. 1s, octeți scanați ↓ на 87%.

11. 2 Runde de joc: Furnizor/Joc

Z-ORDER/ORDER BY: '(furnizor, game_id, occurred_at)'.
Proiecție/agg: 'runde _ 1d _ by _ provider _ game'.
BRIN (dacă Postgres-like storage): prin "a apărut _ at'.
Rezultat: top-K jocuri/oră - sub-secundă pe cache fierbinte.

11. 3 RG/AML Restriction/Evenimente de auto-excludere

Bitmap: 'rg _ state', 'kyc _ level'. JSON-cale GIN: '$ .reason'.
MV: „restricții active pentru 30 de zile” + materializarea nivelului de utilizator fără PII.
Rezultatul: probe rapide de conformitate fără scanare completă miliarde de evenimente.

11. 4 Antifraudă: rute și dispozitive

Materializarea JSON→kolonki: "dispozitiv. os „,” dispozitiv. model ',' plată. metodă ".
Bloom: 'graph _ device _ id'. Cluster: '(marcă, țară, dispozitiv. os) '.
Indicele vectorial: încorporarea „comportamentului depozitului 7d” → k-NN rapid pentru anomalii similare.

12) Securitate și confidențialitate

Zero-PII în câmpuri indexate și jurnalele de plan.
Criptare pe disc: Indexurile/statisticile sunt criptate în același mod ca și datele.
K-anonimatul agregatelor: MV/proiecțiile sunt publicate numai de ≥N grupuri.
Geo/chiriaș-izolare: petrecerile/cheile includ „marcă/țară/licență”.
Legal Hold: indicii/manivestele cad, de asemenea, în „îngheț”.

13) Anti-modele

Index „toate într-un rând” → explozie volum și scriere-amplificare.
Petreceri mici (oră/minute) → furtună de scânduri și „fișiere mici”.
Sortați tastele care nu se potrivesc cu datele zero sărind peste filtrele →.
Lipsa statisticilor → planuri proaste, scanare completă.
JSON fără indici de cale și fără materializarea atributelor fierbinți.
Ignorați compactarea și recluster degradarea → în 2-4 săptămâni.

14) Șabloane (gata de utilizare)

14. 1 Politica de grupare/indexare (YAML)

yaml dataset: gold. payments partition_by: ["date"]
order_by: ["brand","country","occurred_at"]
indexes:
bloom: ["transaction_id","user_surrogate_id"]
bitmap: ["psp","status","rg_state"]
materialized_views:
- name: mv_payments_7d_brand_psp group_by: ["brand","psp","status"]
window: "7d"
slo:
p95_latency_ms: 1200 scanned_bytes_per_query_max_mb: 256 maintenance:
compact_small_files: true recluster_cron: "0 /6  "
privacy:
pii_in_index: false

14. 2 Planul de compactare a lacului (Iceberg/Delta)

yaml compaction:
target_file_size_mb: 512 small_file_threshold_mb: 64 zorder_by: ["brand","country","occurred_at"]
run_every: "PT6H"
max_concurrency: 4

14. 3 Indici pentru câmpurile JSON

sql
-- GIN/inverted index on device attributes
CREATE INDEX idx_device_json ON gold. sessions
USING GIN ((device_json));
-- Materialization of critical pathways
ALTER TABLE gold. sessions ADD COLUMN device_os TEXT;
UPDATE gold. sessions SET device_os = device_json->>'os';
CREATE BITMAP INDEX idx_device_os ON gold. sessions(device_os);

14. 4 SLO-uri de monitorizare a indicelui

yaml monitoring:
skipped_bytes_share_min: 0. 70 index_usage_rate_min: 0. 85 stats_freshness_max_hours: 24 small_files_share_max: 0. 10

15) Foaia de parcurs privind implementarea

0-30 zile (MVP)

1. Colectarea cererilor de top N și profiluri de scanare.
2. Partiționarea după dată + sortare potrivită cu filtre.
3. Activați sărirea datelor (min-max) și înfloriți pentru câmpurile ID.
4. Un MV pentru metrica fierbinte (plăți 7d).
5. Tabloul de bord SLI: p95, octeți scanați, partajați sărit, fișiere mici.

30-90 zile

1. Căi JSON: indici inversați + materializare.
2. Lac: Compactare și Z-ordine/grupare de 2-3 chei.
3. Key/Proiection Auto Advisor; ANALIZEAZĂ ÎN MOD REGULAT.
4. Revizuirea loturilor (day→week) în cazul în care „fișiere mici”.

3-6 luni

1. MV/catalog de proiecție cu versioning și SLA.
2. Indici vectoriali pentru recomandări/antifraudă.
3. Politica unificată SLO și bugetele $/cerere; alerte de degradare.
4. Index audit de confidențialitate, izolarea geo/chiriaș.

16) RACI

Platforma de date (R): părți/indici/compacte, auto-consilieri, monitorizare.
Analytics/BI (R): MV/proiecții pentru tablouri de bord, profilare interogări.
Proprietarii de domenii (C): criterii pentru felii și filtre fierbinți.
Securitate/DPO (A/R): confidențialitate, politici PII, chei geo/chiriaș.
SRE/Observabilitate (C): SLO/alertare, kapasiti pentru compactare.
Finanțe (C): bugete $/interogare și economii din indici.

17) Secțiuni conexe

Scheme de date și evoluție, validarea datelor, practicile DataOps, analiza anomaliilor și a corelațiilor, analiza și metrica API, clustering de date, reducerea dimensiunilor, MLOps: model de exploatare.

Total

Indexarea de stocare analitică este o strategie, nu "crea un index pe tot. "Corectați partițiile și sortarea, sărind peste date și înfloriți, MV/proiecții grijulii și compresia regulată oferă interogări rapide și previzibile la un cost controlat și fără riscuri pentru confidențialitate. Pentru iGaming, aceasta înseamnă soluții operaționale pentru plăți, furnizori și RG/AML - în cadrul SLA și buget.