אימות נתונים

1) מדוע פלטפורמת ה ־ iGaming זקוקה לה?

אמון בדיווחים ו ־ KPIs: GGR/NET, המרות, שימור, אותות RG.
אמינות ML/ניקוד: מאפיינים נכונים עבור אנטי הונאה/המלצות/RG.
פעולות בזמן אמת: התראות על דריפט/אובדן אירועים לפני תשלום/UX מושפעות.
ציות: לא פיל/סודות איפה הם לא צריכים להיות; יכולת איתור מספקת.

2) היכן לתת תוקף: רמות בקרה

1. הזרקה (אצווה/זרם): סכימה, סוגים, שדות דרושים, idempotency/dedup.
2. עיבוד זרם: חלונות/סימני מים, הזמנה, השמטות/עיכובים, בדיוק פעם אחת.
3. ETL/ELT ושינויים: קישורים/שמחה, אגרגטים, איזון עסקי.
4. עקביות בין שולחנות, רעננות, ייחודיות של מפתחות.
5. חנות תכונה/אונליין: טווח תכונה, עקביות offlayn↔onlayn.
6. ספירה ומסננת, סלאח על איחור/רעננות, קיי-אנונימיות.

3) סוגי המחאות (קטלוג)

סכמטית: סוג/nullable/enum/regex/JSON-צורה; שינויים בלתי תואמים כדי לעצור.
דומיין: 0 כמויות, מטבע טילי (AUR), USD, TRE, BRL (Brother rate rate), סטרנה ליטסנציי (strana litsenzii).
זהות/מפתחות: המפתח העיקרי הוא ייחודי, המפתח הזר אינו ”תלוי”.
איכות שדה: מלאות, אורך, פורמט (IBAN, BIN, דואר אלקטרוני).
סטטיסטיקה/קווי בסיס: תדרים, התפלגויות, מסדרונות כמותיים.
חריגות: קוצים בנפח/שבר, אפסים/שכפולים, סכימת סחף.
רעננות: מקס (ts) לא מבוגר יותר X; Lag לבלוע Lag Lough Gold Lood T.
עקביות: סכום חלקים = תקציר; פיוס רב שולחני.
פרטיות/אבטחה: אפס-PII מחוץ לאזורים המותרים; טוקניזציה/מסכות.
רגולטורי: שדות RG/AML קיימים וסבירים.

4) חוזי נתונים

החוזה מתקן את כללי התכונה + איכות + SLO בין המקור לצרכנים.

yaml dataset: payments_ingest_v2 owner: team-payments schema:
id: {type: string, pattern: "^[a-f0-9]{32}$", unique: true}
ts: {type: timestamp, timezone: "UTC", nullable: false}
amount: {type: decimal(18,2), min: 0. 00}
currency: {type: string, enum: ["EUR","USD","TRY","BRL"]}
psp: {type: string, required: true}
quality:
freshness_max: "PT5M"
completeness_min: 0. 995 duplicate_rate_max: 0. 001 pii_allowed: false slo:
p95_ingest_latency_ms: 30000 success_rate: 0. 995

שינויי חוזה - דרך סמבר ונדידה: ”MAJOR” הפסקות, ”MINOR” מוסיף שדה, ”PATCH” מתקן את התיאור.

5) ציפיות ומדיניות

ציפיות - בדיקות הצהרתיות המבוצעות בצינורות (אצווה/זרם).

yaml expectations:
- name: unique_primary_key check: "unique(id)"
severity: "error"
- name: amount_non_negative check: "amount >= 0"
severity: "error"
- name: currency_enum check: "currency in ['EUR','USD','TRY','BRL']"
severity: "error"
- name: ts_fresh_enough check: "now() - max(ts) <= interval '5 minutes'"
severity: "warn"
- name: pii_absent check: "no_plain_pii(columns: ['email','card','iban'])"
severity: "error"

• הסגר צד/אצווה, התראה + כרטיס; במורד הזרם.
• 'varn' ls עובר, אבל יוצר משימת פירוק; סימון איכותי.
• "Info 'abc ניטור בלבד.

6) הזרמה: פרטים של בדיקות

סימני מים/מידע מאוחר: בואו נהיה מאוחר '120s, אחרת - הסגר; לפצות עם חלונות סופיים.
Idempotency: event key + hash programe = קיפאון בברוקר/חוט.
בדיוק-פעם אחת: שירה (+ אידמפוטנטית) עבור זרימות קריטיות (תשלומים/סיבובים).
דלפקי כרך: ”צפוי” נגד ”התקבל” לכל חלון; התראה על אי התאמה.

scala val deduped = stream
.keyBy(_.id)
.process(new DeduplicateWithin(Time. minutes(10)))

val validated = deduped
.filter(_.amount >= 0)
.filter(_.currency in Set("EUR","USD","TRY","BRL"))

emitToQuarantineIfLate(validated, allowedLateness = 120. seconds)

sql
-- uniqueness
SELECT id, COUNT() c FROM gold. payments GROUP BY 1 HAVING c>1;

-- freshness
SELECT NOW() - MAX(ts) AS lag FROM gold. payments;

-- reconciliation of totals
SELECT
SUM(amount) AS by_rows,
(SELECT total_amount FROM gold. payments_summary WHERE date=CURRENT_DATE) AS by_summary
FROM gold. payments
WHERE date = CURRENT_DATE;

התאמת חלון: "Daily pert # summary" פיוס, דו "חות אי התאמה, כרטיס אוטומטי.

8) פרטיות וביטחון

מהדורת פיי ברירת מחדל: מסכות קלט/אסימונים; אנו אוסרים ”גלם” דואר אלקטרוני/כרטיסים/טלפונים ביומנים.
מדיניות הרשאה: טבלאות עם PII - שכבה נפרדת/ספרייה, גישה לפי תפקידים (RBAC/ABAC).
אנונימיות של דיווחים, מינימום שורות בחתיכות.
גלאי דליפות: בדיקות רגילות לתבניות PII, ”סודות” (מפתחות/אסימונים).
תחום שיפוט: Geo/terant-solution (מדינה/מותג/רישיון), מפתחות נפרדים.

9) איכות ומדדי SLO

• רעננות - לאג מקס (ts).
• שלמות - פרופורציה של רשומות לא ריקות/צפויות.
• ייחודיות - מפתחות כפולים.
• עקביות - אינווריאנטים ומאזנים (בין שולחן).
• דיוק - אימות עם מקור תחום חיצוני/כללים.
• תקפות- התאמה/סוג אינום/רגקס.

• 'רעננות payments_gold 5' -יש '(p95).
• השלמות game_rounds 99. 7 %/יום '.
• 'שכפול _ קצב סימון 0. 1‰`.
• 'PII _ הדלפה = 0'.

10) התראות, כרטיסים ופנקסים

ניתוב: Slack/Pagral Duty # בעל דומיין; להחיל דגימות באופן אוטומטי ולחייג.
מקבץ: תקרית אחת לכל סט ”תוויות: נתונים = תשלומים, מותג = TR”.

1. בדוק יומן בלע ותור תיווך.

2. השווה בין ”נגד צפוי שהתקבל” על ידי PSP.

3. אפשר Retrai/Switch PSP Route.

4. סיבה אנוטטית; הפעלת מחדש של גב; לאחר המוות.

11) ורסינינג, בדיקות ותהליך ויתור

סמבר של כללי איכות: "איכות @ MAJOR. מינורי. טלאי '.
בדיקות יחידה של טרנספורמציות (SQL/DBT/Python) ובדיקות חוזה עבור מקורות.
מקרים ידועים של אי התאמות/הדלפות הם חובה ברגרסיה.
ויתור: אישור לטווח קצר להפר את הכלל (תיאור, בעלים, טווח, אמצעי פיצוי).

12) קטלוגים/חפצים (תבניות מוכנות)

12. דרכון דייט 1

yaml dataset: gold. game_rounds owner: team-games steward: data-governance contracts: ["games_rounds_v3"]
quality_slo:
freshness_p95: "PT10M"
completeness_min: 0. 997 uniqueness_max_dup: 0. 0005 alerts:
channels: ["#dq-incidents","#games-ops"]
severity_map: {error: "P1", warn: "P2"}

12. 2 מדיניות הסגר

yaml quarantine:
storage: "s3://quarantine/payments/"
retention: "P30D"
access: ["team-payments","data-governance"]
auto_reprocess:
cron: "/15  "
max_attempts: 3

12. 3 ציפייה לחנות מאפיינים

yaml featureset: fs_payments_online_v1 checks:
- name: feature_freshness check: "now() - max(feature_ts) <= interval '60 seconds'"
severity: "error"
- name: range_amount_avg check: "amount_avg in [0, 2000]"
severity: "warn"
- name: enum_device check: "device in ['ios','android','web']"
severity: "error"

13) הפרטים של iGaming: מקרים מוכנים

תשלומים/PSP: פיוס של הפקדות/משיכות לדיווחי PSP; חסרים סטטוסים בהסגר בוטש; כוננות לצמיחה ”down _ rate”.
ספקי המשחק: drop 'bounds _ per _ min' vs. basseline + schema sweet from the despect # transformation block of despect A, status banner.
RG/AML: שדות חובה (גבולות, הרחקה עצמית, סטטוסים של KYC); Overder KYC = דגל על בלוק התשלום, כרטיס בציות.
שיווק/CRM: תוקף של פרמטרים בקמפיין, UTM, Event dedup; קיי-אנונימיות בחנויות.

14) מימוש מפת דרכים

0-30 ימים (MVP)

1. כולל חוזים לקבוצות מפתח: תשלומים, game_rounds, משתמשים, תכונות.
2. קטלוג הציפיות (10-15 בסיסי) + התראות הסגר +.
3. רעננות לוח מחוונים/שלמות/ייחודיות; דו "ח תקרית.
4. Runbook 'lt' ll ”רעננות”, ”שכפולים”, ”סכימה להיסחף”.

30-90 ימים

1. פיוס פנימי ואיזונים; תהליך ויתור וכללי סמבר.
2. אימות זרם (נתונים מאוחרים, קיפאון, סימני מים); גלאי מח "ש.
3. אינטגרציה עם CI/CD: בדיקות חוזה של מקורות ושינויים.
4. SLOS איכותי בפיקוד דומיין OKRs.

3-6 חודשים

1. רמזים לסף AIOps; מיקום אוטומטי של סיבות.
2. מדיניות חוצה מותג/גאו איכות ודוחות ציות.
3. תקריות P1 שלאחר המוות * חידוש של סט זהב וכללים.
4. חיבור עם התראת זרימה ואנומליה (לולאה בודדת).

15) ראסי

ממשל נתונים (A/R): סטנדרטים, חוזים, ביקורת חוקים.
דומיין בעלים (R): ציפיות תחום ואינווריאנטים.
פלטפורמת נתונים (R): מסגרת ציפיות, הסגר, התראות, ניטור.
אבטחה/DPO (A/R): פרטיות/PII/k-אנונימיות, גיאו/דייר-בידוד.
SRE/Observability (C): ניתוב תקריות, SLO/SLI.
מוצר/מימון (C): איזון עסקי, סדרי עדיפויות תקריות.

16) אנטי דפוסים

אימות ”רק ב DWH” - מאוחר, יקר, כואב.
אין הסגר - ”לכלוך” הולך זהב/ML ושובר את האמון.
סף קשה ללא עונתיות/שעות/שווקים * סופה עירנית.
חוסר בעלים וחוקי סמבר = תוהו ובוהו של יוצאים מן הכלל.
יומנים עם מח "ש ו" צילומי מסך לערוץ המשותף ".
פעם אחת ”ימים היגייניים” במקום מעגל קבוע.

17) חלקים קשורים

DataOps Practices, Data Auditing and Versioning, Data Origin and Path, Data Stream Alerts, Anomaly and Correlation Analysis, Access Control, Data Security, Data rypriction rition ration ReSteration Polition pics.

סך הכל

אימות אינו מסנן בסוף, אלא חוזה איכות מקצה לקצה: החל מהזרקה וזרם וכלה במחסנים ותכונה מקוונת. ציפיות ברורות, בידוד, התראות ו-SLOS הופכים נתונים לנכס אמין: דיווחים נכונים, מודלים יציבים, תשלומים מאובטחים, ציות הוא רגוע.