Индексатсияи репозиторияҳои таҳлилӣ
1) Чаро индексатсия кардани платформаи IGaming
Суръати таҳлил: ҳисоботҳо дар бораи таҷрибаҳои GGR/NET, табдилдиҳӣ, RG/AML ва A/B ба SLA мувофиқанд.
Арзиш: камтар аз байтҳо барои скан → ҳисобкунии камтар/векселҳои анбор.
Эътимоднокӣ: таъхири панели устувори p95/p99 ва ченакҳои API.
Миқёс: даҳҳо брендҳо/бозорҳо/PSP/провайдерҳо бе арзиши пурраи "скан".
2) Модели сарборӣ (пеш аз индексатсия)
Факты: 'пардохтҳо', 'game _ rounds', 'сессияҳо', 'bonus _ events'.
Андозаҳо: 'dim _ user' (бидуни PII), 'dim _ provider', 'dim _ psp', 'dim _ country'.
Дархостҳо: "Рӯзҳои охир", маҷмӯаҳо аз ҷониби 'бренд/кишвар/провайдер/psp', филтрҳо аз рӯи майдони вазъ, ҳамроҳ бо калидҳои суррогатӣ, ҷустуҷӯи сифатҳои JSON (усули пардохт, дастгоҳ), боло-K/фоиз.
Мо индексатсияҳоро дар асоси селективӣ, кардиналӣ ва басомади истифода интихоб мекунем.
3) Намудҳои индексатсияҳо ва кай онҳоро гирифтан
3. 1 Классика
Дарахти B: баробарӣ/диапазон барои сутунҳои хеле интихобӣ ('user _ surrogate _ id', 'saturday _ at', 'миқдор').
Ҳаш: баробарии пок; камтар дар таҳлил (бар зидди диапазонҳои заиф).
Bitmap: кардиналии паст ва филтрҳои зуд-зуд пайвастшуда ('кишвар', 'kyc _ level', 'rg _ state', 'brand'). Барои ҷамъбасти ниқобҳо фарқ мекунад.
3. 2 Хусусияти сутун
Min-max (партофтани маълумот): омори автоматии "ҳадди аққал/максималӣ" дар рахҳои паркет/қисмҳо → блокҳои муҳаррик. Ҳангоми ҷудо кардани майдонҳои филтршуда беҳтар кор мекунад.
Нишондиҳандаҳои балоғат: санҷишҳои фаврии эҳтимолияти мансубият ба арзиш дар блок (барои 'user _ id', 'transaction _ id', 'psp' муфид аст).
BRIN (Block Range Index): "нишондиҳандаҳо" -и арзон барои бастани диапазонҳо, агар маълумот табиатан фармоиш дода шавад (вақт). Арзон, аммо барои силсилаи вақт самаранок.
3. 3 Пешрафта/махсус
GIST/GIN (баръакс): JSON/массивҳо/матн, филтрҳо аз рӯи хусусиятҳои воридшуда ('метамаълумот. усул = 'Папара ",' дастгоҳ. os дар [...] ').
Ҳамроҳ/Проексия (Click
Вектор (ANN): ҷустуҷӯи ҷобаҷогузории шабеҳ (тавсияҳо/рафтори зидди қаллобӣ) - IVF/HNSW/Flat ҳамчун "шохиси ҳамсояи наздик".
Z-фармоиш/Z-фармоиш (lakehouse/Databricks )/Калидҳои кластерӣ (Snowflake )/ORDER BY (Click
4) Тақсимот, навъбандӣ, кластерӣ
Тарафҳо (сана/кишвар/бренд): калон (рӯз/ҳафта) барои пешгирӣ кардани "лаънати файлҳои хурд. "Мо соҳаҳоеро интихоб мекунем, ки дар куҷо/ҳуқуқи дастрасӣ интихоби баланд доранд.
Гурӯҳбандӣ дар дохили ҳизб: 'Фармоиш БО (occurred_at, бренд, psp)' ё Z-фармоиш аз ҷониби '(бренд, кишвар, провайдер)' - ҳамин тавр min-max ва балоғат беҳтар кор мекунанд.
Кластер/Реклюзер: таснифоти даврӣ барои нигоҳ доштани маҳал.
TTL ва нигоҳдорӣ: несткунии худкори қисмҳо/сегментҳои кӯҳна.
5) Андешаҳо ва пешгӯиҳои матлуб
MV барои иловаро гарм: 'пардохтҳо _ 7d _ by _ brand _ psp', 'rounds _ 1d _ by _ provider'. Мо дастгирии ҷараёнро дастгирӣ мекунем.
Клик/Ҷадвалҳои ҷамъбастӣ-пресетҳо, сатҳи роликҳо (chas → den → nedelya).
Кэши натиҷа: кэши натиҷа кэш/анбори натиҷа барои панелҳои такрорӣ (бо аломати дархост ва тозагии маълумот тасдиқ карда мешавад).
6) Маълумоти нимсохторӣ (JSON/VARIANT)
Нишондиҳандаҳо аз рӯи роҳ: индекси баръакс/GIN дар роҳҳои json ('$ .device.) os ',' $ .psp. тафсилот. усул ').
Материализатсияи сифатҳои муҳим дар сутунҳо: барои филтрҳои устувор (усули пардохт, дастгоҳ, нусхаи барнома).
Омори асосӣ: ҷамъоварии тақсимот барои нақшаи интихобӣ.
7) Кӯлҳои маълумот: Айсберг/Делта/Ҳуди
Индексҳои манифест: метамаълумот дар бораи файлҳои паркет (min-max, null-count, балоғат) → навдаро тақсим кардан + партофтани файл.
Фишурдани файл/якҷоякунӣ: якҷояшавии мунтазами файлҳои хурд ба андозаи "оптималӣ" (128-1024 МБ).
Кластерӣ/Z-фармоиш: такрори файлҳо барои майдонҳои коррелятсионӣ (масалан, 'бранд, кишвар, рух дод _ at').
Индексҳоро нест кунед/навсозӣ кунед: дельтҳои мавқеъ ва балоғат барои суръат бахшидан ба хондан.
8) Чӣ гуна индексатсияро интихоб кардан мумкин аст: рӯйхати амалии назоратӣ
1. Ҷамъоварии дархостҳои N боло (90% сарборӣ) → майдонҳои филтр/ҳамроҳ/гурӯҳ.
2. Барои ҳар як соҳа, интихоби 'sel = 1 - фарқият (арзиш )/сатрҳо' ва кардиналиро баҳо диҳед.
3. Бо мурури замон + 1-2 андозагирӣ бо филтрҳо/дастрасии устувор.
4. Ҷудо кардани/кластер барои мувофиқ кардани филтрҳо ва ҳамроҳ кардани калидҳо.
5. Илова кардани балоғат барои id нуқта, bitmap барои кардиналии паст.
6. Агрегатҳои гарм → MV/пешгӯиҳо.
7. Роҳҳои JSON → индексатсияҳои баръакс + материализатсия.
8. Дар кӯлҳо - фишурдасозӣ ва гурӯҳбандӣ аз рӯи ҷадвал.
9. SLO-ро ворид кунед: таъхири p95, байтҳои сканшуда/дархост, суръати додашуда.
9) Дастгирӣ ва нигоҳдорӣ
ANALYZE/омор: навсозии кардиналҳо ва гистограммаҳо; дар акси ҳол, оптимизатор "нобино" аст.
ВАКУУМ/ОПТИМИЗАТСИЯ/РЕКЛУСТЕР: дефрагментатсия ва таснифот.
Мониторинги истифодаи индексатсияҳо: "сатҳи пӯшиш", "рӯйхати индекси истифоданашуда", "байтҳои сканшуда/байтҳо партофта шудаанд".
Мушовирони худкор: тавсияҳои даврӣ барои калидҳои кластерӣ ва навъбандӣ дар асоси сабти дархостҳо.
Санҷишҳои регрессия: пеш аз тамом кардани калидҳои нав - муқоисаи профил ва арзиши дархост.
10) Индексатсияи метрикӣ ва SLO
Техникӣ: таъхири p95/p99, байтҳо/дархостҳои сканшуда, байтҳои партофташуда%, файлҳо ламс карда шудаанд, суръати кэш.
Иқтисод: $/дархост, $/панели назоратӣ, сканкунии $/сил.
Амалиётҳо: вақти фишурдасозӣ, навбати таснифот, ҳиссаи "файлҳои хурд".
Сифати нақшаҳо: таносуби дархостҳо бо истифодаи индексатсияҳо/пешгӯиҳо, дурустии кардиналҳо.
11) Ҳолатҳои бозӣ (дастурҳои тайёр)
11. 1 Пардохт/PSP: қатраҳо/радкунӣ
Ҳизб: 'рӯзона'. Sort '(бренд, кишвар, occurred_at)'.
Блум: 'transaction _ id', 'user _ id'. Bitmap: 'psp', 'status'.
MV: 'пардохтҳо _ 7d _ by _ brand _ psp (вазъ, коҳиш)'.
Натиҷа: p95 ↓ бо 8. 2с ба 1. 1с, байтҳои сканшуда ↓ на 87%.
11. 2 Даври бозӣ: Провайдер/Бозӣ
Z-фармоиш/Фармоиш аз ҷониби: '(провайдер, game_id, occurred_at)'.
Дурнамо/агг: 'rounds _ 1d _ by _ provider _ game'.
BRIN (агар нигаҳдории ба монанди Postgres): аз ҷониби 'рух дод _ at'.
Натиҷа: бозиҳои боло-K/соат - зер-сония дар кэши гарм.
11. 3 Маҳдудияти RG/AML/Чорабиниҳои истисноӣ
Bitmap: 'rg _ state', 'kyc _ level'. JSON-path GIN: '$ .reason'.
MV: "маҳдудиятҳои фаъол барои 30 рӯз" + модернизатсияи сатҳи корбар бидуни PII.
Натиҷа: намунаҳои зуд барои мувофиқат бидуни миллиардҳо рӯйдодҳо.
11. 4 Антифрауд: хатсайрҳо ва дастгоҳҳо
Materializing JSON → kolonki: 'дастгоҳ. os ',' дастгоҳ. модели ',' пардохт. усул '.
Блум: 'график _ дастгоҳ _ ид'. Кластер: '(бренд, кишвар, дастгоҳ. os) '.
Индекси векторӣ: ҷобаҷогузории "рафтори амонатии 7d" → зуд k-NN барои аномалияҳои шабеҳ.
12) Амният ва махфият
Zero-PII дар майдонҳои индексатсияшуда ва гузоришҳои банақшагирӣ.
Рамзгузории диск: Индексҳо/омор ба ҳамон тавре ки маълумот рамзгузорӣ мешаванд.
K-беномии агрегатҳо: MV/пешгӯиҳо танҳо аз ҷониби гурӯҳҳои N нашр карда мешаванд.
Ҷудокунии гео/иҷорагир: тарафҳо/калидҳо 'бренд/кишвар/литсензия' -ро дар бар мегиранд.
Нигоҳдории ҳуқуқӣ: индексатсияҳо/манивестҳо низ ба "яхкунӣ" меафтанд.
13) Анти-намунаҳо
Индекси "ҳама дар як саф" → таркиш ва тақвияти навиштан.
Ҳизбҳои хурд (соат/дақиқа) → тӯфони тахтаҳо ва "файлҳои хурд".
Тугмаҳоеро ҷудо кунед, ки ба сифр гузаштани маълумотҳо ва филтрҳо мувофиқат намекунанд.
Набудани омор → нақшаҳои бад, сканкунии пурра.
JSON бидуни индексатсияҳои роҳ ва бидуни истифодаи хусусиятҳои гарм.
Дар 2-4 ҳафта фишурдасозиро нодида гиред ва деградатсияро барқарор кунед.
14) Қолибҳо (барои истифода омодаанд)
14. 1 Сиёсати кластерӣ/индексатсия (YAML)
yaml dataset: gold. payments partition_by: ["date"]
order_by: ["brand","country","occurred_at"]
indexes:
bloom: ["transaction_id","user_surrogate_id"]
bitmap: ["psp","status","rg_state"]
materialized_views:
- name: mv_payments_7d_brand_psp group_by: ["brand","psp","status"]
window: "7d"
slo:
p95_latency_ms: 1200 scanned_bytes_per_query_max_mb: 256 maintenance:
compact_small_files: true recluster_cron: "0 /6 "
privacy:
pii_in_index: false14. 2 Нақшаи паймонаи кӯл (Айсберг/Делта)
yaml compaction:
target_file_size_mb: 512 small_file_threshold_mb: 64 zorder_by: ["brand","country","occurred_at"]
run_every: "PT6H"
max_concurrency: 414. 3 Индекс барои майдонҳои JSON
sql
-- GIN/inverted index on device attributes
CREATE INDEX idx_device_json ON gold. sessions
USING GIN ((device_json));
-- Materialization of critical pathways
ALTER TABLE gold. sessions ADD COLUMN device_os TEXT;
UPDATE gold. sessions SET device_os = device_json->>'os';
CREATE BITMAP INDEX idx_device_os ON gold. sessions(device_os);14. 4 Индекси мониторинги SLO
yaml monitoring:
skipped_bytes_share_min: 0. 70 index_usage_rate_min: 0. 85 stats_freshness_max_hours: 24 small_files_share_max: 0. 1015) Харитаи роҳсозӣ
0-30 рӯз (MVP)
1. Ҷамъоварии дархостҳои боло N ва профилҳои скан.
2. Тақсимот аз рӯи сана + навъи мувофиқ бо филтрҳо.
3. Фаъол кардани гузариши додаҳо (min-max) ва балоғат барои майдонҳои id.
4. Як MV барои метрикаи гарм (пардохтҳо 7d).
5. Панели панели SLI: p95, байтҳои сканшуда, ҳиссаи партофташуда, файлҳои хурд.
30-90 рӯз
1. Роҳҳои JSON: индексатсияҳои баръакс + материализатсия.
2. Кӯл: Фишурдасозӣ ва Z-фармоиш/кластерӣ бо 2-3 калид.
3. Мушовири Авто Калид/Дурнамо; АНАЛИЗИ мунтазам.
4. Аз нав дида баромадани маҷмӯъҳо (рӯз → ҳафта), ки дар онҳо "файлҳои хурд" мавҷуданд.
3-6 моҳ
1. Каталоги MV/дурнамо бо версия ва SLA.
2. Нишондиҳандаҳои векторӣ барои тавсияҳо/зидди қаллобӣ.
3. Сиёсати ягонаи SLO ва буҷетҳо $/дархост; огоҳиҳои таназзул.
4. Индекси аудити махфият, ҷудокунии гео/иҷорагир.
16) RACI
Платформаи маълумот (R): тарафҳо/индексатсияҳо/паймонҳо, мушовирони худкор, мониторинг.
Таҳлил/BI (R): MV/пешгӯиҳо барои панели панелҳо, профили дархостҳо.
Соҳибони домейн (C): меъёрҳо барои иловаро гарм ва филтрҳо.
Амният/DPO (A/R): махфият, сиёсати PII, калидҳои гео/иҷорагир.
SRE/Мушоҳида (C): SLO/ҳушдор, капасити барои фишурдасозӣ.
Молия (C): буҷетҳо $/дархост ва пасандозҳо аз индексатсияҳо.
17) Қисматҳои марбут
Схемаҳои маълумот ва эволютсия, тасдиқи маълумот, амалияи маълумот, таҳлили аномалия ва коррелятсия, таҳлил ва метрикаи API, кластеризатсияи маълумот, кам кардани андоза, MLOps: Истифодаи моделҳо.
Ҷамъ
Индексатсияи нигаҳдории таҳлилӣ стратегия аст, на "индексатсияро дар ҳама чиз эҷод мекунад. "Қисмҳои дуруст ва навъбандӣ, партофтани маълумот ва балоғат, MV/пешгӯиҳои оқилона ва фишурдани мунтазам дархостҳои зуд ва пешгӯишавандаро бо арзиши назоратшаванда ва бидуни хатар ба махфият медиҳанд. Барои IGaming, ин маънои ҳалли амалиётӣ барои пардохтҳо, провайдерҳо ва RG/AML - дар доираи SLA ва буҷаро дорад.