מיקוד אנליטי באינדקס

1) מדוע ליצור פלטפורמת iGaming

מהירות האנליטיקה: דיווחים על GGR/NET, המרות, RG/AML וניסויי A/B מתאימים ל ־ SLA.
עלות: פחות בייטים לסרוק * חישוב נמוך יותר/חשבון מחסן.
אמינות: יציבה p95/p99 latsboard and API metrics.
קנה מידה: עשרות מותגים/שווקים/ספקי PSP/ללא ”סריקה מלאה” ערך גיהנום.

2) טעינת מודל (לפני האינדקס)

תשלומים: ”game _ bounds”, ”sessions',” bonus _ events'.
ממדים: ”dim _ user” (ללא PII), ”dim _ diver”, ”dim _ psp”, ”dim _ country”.
בקשות: ”N ימים אחרונים”, צבירה על ידי 'מותג/מדינה/ספק/psp', מסננים על ידי שדה סטטוס, מצטרפים על ידי פונדקאי-מפתחות, חיפוש על ידי תכונות JSON (שיטת תשלום, התקן), טופ-K/אחוזון.

אנו בוחרים מדדים המבוססים על סלקטיביות, קרדינליות ותדירות שימוש.

3) סוגים של מדדים ומתי לקחת אותם

3. 1 קלאסיקות

B-tree: שוויון/טווחים לעמודות סלקטיביות ביותר ("user _ suprogate _ id'," uncided _ at "," sume ").
חשיש: שוויון טהור; פחות פעמים באנליטיקה (נגד טווחים חלשים).
bitmap: קרדינליות נמוכה ופילטרים מחוברים תכופים (”קאנטרי”, ”kyc _ level”, ”rg _ state”, ”מותג”). שונה לסיכום מסכות.

3. מפרט 2 עמודות

Min-max (דילוג נתונים): סטטיסטיקה אוטומטית ”מינימום/מקסימום” בפסים/חלקים של פרקט. עובד טוב יותר כאשר ממוינים על ידי שדות מסוננים.
בלום אינדקסים: בדיקות הסתברותיות מהירות של שייכות לערך בבלוק (שימושי עבור ”user _ id',” transaction _ id', ”psp”).
(BRIN (Block Range Index: ”מצביע” זול כדי לחסום טווחים אם הנתונים מסודרים באופן טבעי (זמן). זול אבל יעיל לסדרת זמן.

3. 3 מתקדם/מתמחה

GIST/GIN (הפוך): JSON/arrays/text, מסננים על ידי תכונות מקוננות ('metadata. שיטה = ”Papara”, ”מכשיר”. os [... ] ').
Collection/Projection (ClickHouse/MPP): חומרים להאצת הצטרפות/agg (מקש טרום הצטרפות מאוחסן בסמוך לעובדה, צבירה ראשונית).
וקטור (ANN): חיפוש אחר הטמעות דומות (המלצות/התנהגות נגד הונאה) - הפריה חוץ-גופית (IVF/HNSW/Floth) כ ”אינדקס השכן הקרוב ביותר”.
Z-Direction/Z-Order (Lakehouse/Databricks )/Cluster keys (Snowflake )/ORDER BY (Clickhouse): התקבצות רב-ממדית של נתונים על דיסק עבור דילוג נתונים טוב יותר.

4) מחיצות, מיון, קיבוצים

מפלגות (תאריך/מדינה/מותג): גדולות (יום/שבוע) כדי להימנע מ ”קללת קבצים קטנים”. "אנחנו בוחרים שדות עם סלקטיביות גבוהה בזכויות איפה/גישה.
מיון בתוך מפלגה: 'סדר BY (occurred_at, מותג, psp)' או Z-order by '(מותג, מדינה, ספק)' - כך מין-מקס ופריחה עובדים טוב יותר.
אשכול/רקלוסטר: סיווג מחדש תקופתי כדי לשמור על המקום.
TTL ושמירה: מחיקה אוטומטית של חלקים/מקטעים ישנים.

5) השקפות ותחזיות ממשיות

MV לפרוסות חמות: ”תשלומים _ 7d _ by _ brand _ psp”, ”סיבובים _ 1d _ by _ diver”. אנחנו תומכים בהזרמה למעלה.
LickHouse/Aggrage Tables-Presets, Rollup-up levels (צ 'אס לאדן לא.nedelya).
מטמון תוצאה: מטמון מטמון/מחסן תוצאותיו עבור לוחות מחוונים ניתנים לחזרה (מאומתת על ידי סימן שאילתה וטריות נתונים).

6) מידע מובנה למחצה (JSON/VARIANT)

אינדקסים לפי מסלול: אינדקס הפוך/GIN על נתיבי json ('$ .devic. או ', דולר. פרטים שיטה ').
התממשות תכונות חשובות בטורים: עבור מסננים יציבים (שיטת תשלום, התקן, גרסת יישום).
סטטיסטיקות מפתח: איסוף הפצות עבור תכנית סלקטיבית.

7) אגמי נתונים: קרחון/דלתא/האדי

אינדקסים מניפסט: metadata על קבצי פרקט (min-max, null-count, bloom) * גיזום מחיצה + דילוג קובץ.
כיווץ/מיזוג קבצים: מיזוג רגיל של קבצים קטנים לגודל ”אופטימלי” (128-1024 MB).
התקבצות/סדר Z: אריזה מחדש של קבצים עבור שדות מתאם (למשל 'brand, מדינה, התרחש _ at').
מחיקת/עדכון אינדקסים: מחיקת מיקום ופריחה כדי להאיץ את מיזוג על קריאה.

8) כיצד לבחור מדדים: רשימה מעשית

1. איסוף בקשות N העליונות (90% מהעומס) * שדות הסינון/הצטרפות/קבוצה.
2. עבור כל שדה, להעריך את הסלקטיביות 'sel = 1 - להבדיל (ערך )/שורות' וקרדינליות.
3. צרור לפי זמן + 1-2 מדידות עם מסננים/נגישות יציבה.
4. מקשי מיון/אשכול כדי להתאים מסננים ולהצטרף למפתחות.
5. להוסיף פריחה עבור זיהוי נקודה, מפת bitmap עבור קרדינליות נמוכה.
6. צבירה חמה = MV/תחזיות.
7. נתיבי JSON = אינדקסים הפוכים + התממשות.
8. על האגמים - דחיסה וקיבוצים בלוח זמנים.
9. הזן SLO: p95 latency, bytes נסרק/בקשה, דילג קצב נתונים.

9) תמיכה ותחזוקה

אנליזה/סטטיסטיקה: עדכון חשבונות והיסטוגרמות; אחרת, האופטימיזר הוא ”עיוור”.
ואקום/אופטימיזציה/RECLOSTER: פירוק וסיווג מחדש.
ניטור השימוש באינדקסים: ”קצב כיסוי”, ”רשימת אינדקס לא בשימוש”, ”bytes srucked/bytes discoved”.
המלצות תקופתיות למפתחות אשכול ומיון על בסיס רישום שאילתות.
בדיקות רגרסיה: לפני ריקון מפתחות חדשים - השוואת פרופיל בקשה ועלות.

10) מדדים ואינדקס SLO

טכני: p95/p99 latency, bytes/quary נסרק, דילג על bytes%, קבצים נגעו, מטמון להיט.
כלכלה: $/בקשה, $/לוח מחוונים, $/TB סריקה.
פעולות: זמן דחיקה, תור לסיווג מחדש, שיתוף של ”קבצים קטנים”.
איכות התוכניות: פרופורציה של שאילתות באמצעות מדדים/תחזיות, דיוק הקרדיטליות.

11) ארגזי iGaming (מתכונים מוכנים)

11. 1 תשלומים/PSPs: טיפות/סירובים

מסיבה: ”ביום”. סוג '(מותג, מדינה, occurred_at)'.
בלום: ”transaction _ id',” user _ id'. מפת סיביות: ”psp”, ”סטטוס”.
MV: 'תשלומים _ 7d _ by _ brand _ psp (סטטוס, סירוב)'.
תוצאה: p95 עם 8. 2s ל 1. 1. ביטים סרוקים, 87%.

11. 2 סבבי משחק: ספק/משחק

Z-ORDER BY: ”(ספק, game_id, occurred_at)”.
הקרנה/אג: ”rounds _ 1d _ by _ deliver _ game”.
Brin (אם Postgres דמוי אחסון): על ידי "התרחש _ at'.
תוצאה: משחקי טופ-קיי/שעה, תת-שנייה במטמון חם.

11. 3 הגבלת RG/AML/אירועי הרחקה עצמית

bitmap: ”rg _ state”, ”kyc _ level”. ג 'סון-שביל ג' ין: ”$ בריסון”.
MV: ”הגבלות פעילות במשך 30 יום” + התממשות של רמת המשתמש ללא PII.
התוצאה: דגימות מהירות לציות ללא סריקה מלאה מיליארד אירועים.

11. 4 אנטי-פראוד: נתיבים ומכשירים

מממש JSON * kolonki: "התקן. או ', מכשיר. מודל, 'תשלום. שיטה ".
בלום: "גרף _ התקן _ id'. אשכול: "(מותג, מדינה, מכשיר. Os) ".
אינדקס וקטורי: הטמעת ”7 d deposit behavior” = k-NN מהיר עבור סטיות דומות.

12) ביטחון ופרטיות

אפס-PII בשדות אינדקס ויומני תכנית.
הצפנת דיסק: אינדקסים/סטטיסטיקה מוצפנים באותו אופן כמו נתונים.
K-אנונימיות של אגרגטים: MV/תחזיות מתפרסמות רק על ידי קבוצות N.
Geo/דייר-בידוד: מפלגות/מפתחות כוללים ”מותג/מדינה/רישיון”.
אחיזה חוקית: מדדים/מריחואנה נופלים גם לתוך ”הקפאה”.

13) אנטי דפוסים

אינדקס ”כל בשורה” = פיצוץ נפח וכתיבה-הגברה.
צדדים קטנים (שעה/דקות) = סערה של קרשים ו ”קבצים קטנים”.
סוג מפתחות שאינם תואמים את אפס הנתונים מדלגים על מסננים.
מחסור בסטטיסטיקה * תוכניות גרועות, סריקה מלאה.
ג 'סון בלי מדדי נתיב ובלי לממש תכונות חמות.
התעלם מדחיסה והשתכלל פי 2-4 שבועות.

14) תבניות (מוכנות לשימוש)

14. 1 מדיניות התקבצות/אינדקסינג (YAML)

yaml dataset: gold. payments partition_by: ["date"]
order_by: ["brand","country","occurred_at"]
indexes:
bloom: ["transaction_id","user_surrogate_id"]
bitmap: ["psp","status","rg_state"]
materialized_views:
- name: mv_payments_7d_brand_psp group_by: ["brand","psp","status"]
window: "7d"
slo:
p95_latency_ms: 1200 scanned_bytes_per_query_max_mb: 256 maintenance:
compact_small_files: true recluster_cron: "0 /6  "
privacy:
pii_in_index: false

14. 2 תוכנית דחיפה לאגם (קרחון/דלתא)

yaml compaction:
target_file_size_mb: 512 small_file_threshold_mb: 64 zorder_by: ["brand","country","occurred_at"]
run_every: "PT6H"
max_concurrency: 4

14. 3 אינדקסים לשדות JSON

sql
-- GIN/inverted index on device attributes
CREATE INDEX idx_device_json ON gold. sessions
USING GIN ((device_json));
-- Materialization of critical pathways
ALTER TABLE gold. sessions ADD COLUMN device_os TEXT;
UPDATE gold. sessions SET device_os = device_json->>'os';
CREATE BITMAP INDEX idx_device_os ON gold. sessions(device_os);

14. 4 אינדקס ניטור SLOS

yaml monitoring:
skipped_bytes_share_min: 0. 70 index_usage_rate_min: 0. 85 stats_freshness_max_hours: 24 small_files_share_max: 0. 10

15) מימוש מפת דרכים

0-30 ימים (MVP)

1. איסוף בקשות למעלה N ופרופילים סריקה.
2. מחיצה לפי תאריך + סוג תואם לפילטרים.
3. אפשר דילוג נתונים (מין-מקס) ופריחה עבור שדות זיהוי.
4. MV אחד עבור מטרי חם (תשלומים 7d).
5. לוח מחוונים: p95, בייטים סרוקים, נתח מדלג, קבצים קטנים.

30-90 ימים

1. נתיבי JSON: אינדקסים הפוכים + התממשות.
2. אגם: Compaction ו-Z-סדר/התקבצות על ידי 2-3 מפתחות.
3. יועץ אוטומטי (באנגלית: Key/Projection Auto Advisor; ניתוח רגיל.
4. Reversion of graches (יום = שבוע) שבו ”קבצים קטנים”.

3-6 חודשים

1. קטלוג MV/הקרנה עם וסת ו-SLA.
2. מדדים וקטורים להמלצות/נגד הונאה.
3. מדיניות SLO מאוחדת ותקציבים $/בקשה; התראות השפלה.
4. ביקורת פרטיות אינדקס, בידוד גיאו/דייר.

16) ראסי

פלטפורמת נתונים (R): מפלגות/אינדקסים/קומפקטים, יועצים אוטומטיים, ניטור.
אנליטיקה/BI (R): MV/תחזיות ללוחות מחוונים, פרופיל שאילתות.
דומיין בעלים (C): קריטריונים לפרוסות חמות ומסננים.
אבטחה/DPO (A/R): פרטיות, מדיניות PII, מפתחות גיאו/דייר.
SRE/Observability (C): SLO/Adalting, kapasiti for compactions.
תקציבים של דולר/שאילתה וחסכונות מאינדקסים.

17) חלקים קשורים

תרשימי נתונים ואבולוציה, אימות נתונים, פרקטיקות DataOps, אנומליה ואנליזת קורלציה, אנליטיקה ומטריצות API, קליטת נתונים, צמצום ממדים, MLOPs: ניצול מודל.

סך הכל

אינדקס אחסון אנליטי הוא אסטרטגיה, לא "ליצור אינדקס על הכל. "מחיצות ומיון נכונים, דילוג נתונים ופריחה, MV/תחזיות מתחשבות ודחיסה רגילה לתת שאילתות מהירות וצפויות במחיר מבוקר וללא סיכון לפרטיות. עבור iGaming, פירושו פתרונות תפעוליים לתשלומים, ספקים ו-RG/AML - בתוך SLA ותקציב.