Ma’lumotlarning kelib chiqishi va yo’li

1) Data Lineage nima

• Hisobotdagi raqamlar qayerdan olingan?
• Sxemaning oʻzgarishi qaysi jadvallarga/maydonlarga taʼsir qiladi?
• Kecha soat 21:00 da KPI nima uchun o’zgardi?
• ML ning aniq modeli va versiyasiga qanday ma’lumotlar kiritilgan?

iGaming uchun bu tartibga solish, moliyaviy hisobot (GGR/NET), antifrod, KYC/AML, mas’uliyatli o’yin va oziq-ovqat o’zgarishlarining yuqori tezligi bilan bog’liq.

2) Linedj darajalari va granulyarligi

1. Biznes-linedj - metriklar va biznes-terminlarning (glossariydan) vitrinalar/formulalar bilan bog’liqligi.
2. Texnik linedj (jadval) - jadvallar/joblar/transformatsiya paketlari o’rtasidagi aloqalar.
3. Kolonnochniy (field/column-level) - manbaning qaysi kolonkasi belgilangan kolonkani shakllantiradi, qoidalar bilan.
4. Runtime-linedj (operatsion) - haqiqiy progonlar: vaqt, hajm, kod/sxemalar versiyasi, xesh-artefaktlar.
5. End-to-end - provayderdan/PSP/CRM dan hisobot/dashbord/modelgacha uzluksiz yo’l.
6. Cross-domain/Mesh - shartnomalar bo’yicha ma’lumotlarning domen mahsulotlari o’rtasidagi aloqalar.

3) Asosiy qiymat

Ishonch va audit: hisobot va modellarning tushunarliligi, hodisalarni tezkor tekshirish.
Impakt-tahlil: sxema/mantiqning xavfsiz o’zgarishi, relizlarning oldindan aytilishi.
Onbording tezligi: yangi tahlilchilar va muhandislar landshaftni tezroq tushunishadi.
Talablarga muvofiqligi: PII, Legal Hold kuzatilishi, regulyatorlarga hisobot berish.
Xarajatlarni optimallashtirish: «o’lik» payplaynlar va bir-birini takrorlovchi vitrinalarni aniqlash.

4) Obyektlar va artefaktlar

Grafaning mohiyati: Source (oʻyin provayderi, PSP, CRM), Topic/Stream, Raw/Staging, Bronze/Silver/Gold, DWH, ML-fichi, BI-model, Dashbord.
Aloqa: transformatsiya (SQL/ELT), joblar (Airflow/DBT/...), modellar (versiya), kontraktlar (Euro/Proto/JSON Schema).
Atributlar: egasi, domen, tasniflash, sxema versiyasi, sifat nazorati, yangilik, SLO/SLI.

5) Linedj uchun haqiqat manbalari

Statik: parsing SQL/konfiguratsiyalar (dbt, ETL) → bog’liqlik tuzish.
Dinamik/Runtime: bajarish paytida meta maʼlumotlarni yigʻish (orkestratordagi operator, query logs).
Hodisa: lineage-iventlar shina (Kafka/Pulsar) dagi xabarlarni chop etishda/o’qishda, kontraktlarni validatsiya qilishda.
Qo’lda (minimal): avtomatik ravishda olinmaydigan murakkab biznes-mantiqning tavsifi.

6) Linedj va Data Contracts

Kontrakt sxema, semantika va SLAni belgilaydi.
Muvofiqligi (semver) va idempotentligini tekshirish majburiydir.
Linedj kontrakt/versiya va tekshiruv (CI/CD + runtime) ga havolani saqlaydi.

7) iGamingdagi linedj: domen namunalari

O’yin tadbirlari → RTP agregatlari, o’zgaruvchanlik, ushlab turish, «Game Performance Gold» vitrini.
To’lovlar/xulosalar/chorjbeki → GGR/NET hisobotlari, antifrod-signallar.
KYC/AML → maqomi, tekshiruvi, alertasi → komplayens vitrinasi va hisoboti.
Responsible Gaming → limitlar/o’z-o’zidan istisno → risklar skoringi va intervensiyalar triggeri.
Marketing/CRM → kampaniyalar, bonuslar, o’yinlar → LTV/ARPPUga ta’sir.

8) Grafani vizuallashtirish

• Ikki rejim: daladan dalaga «landshaft xaritasi» (makro) va «oraliq trek» (mikro).
• Filterlar: domen, egasi, tasniflash (PII), muhit (prod/stage), vaqt.
• Overlelar: yangilik, hajm, DQ xatolari, sxemalar versiyasi.
• Tezkor harakatlar: "Bogʻliqlarni koʻrsatish", "Bu ustunni kim isteʼmol qiladi? ", "KPI dashbordigacha yo’l".

9) Impakt-tahlil va o’zgarishlarni boshqarish

Sxema/mantiqni oʻzgartirishdan oldin what-if: qaysi joblar/vitrinalar/dashbordlar/modellarga taʼsir qiladi.
Qaram artefaktlar egalariga chiptalarni avtogeneratsiya qilish.
Vitrinalar uchun pattern dual-write/blue-green: v2 parallel ravishda to’ldiriladi, metriklarni taqqoslash, almashtirish.
Backfill pleybuklari: qanday qilib va qanday qilib tarixiy maʼlumotlarni toʻldirish, konsistentsiyani tekshirish.

10) Linedj va ma’lumotlar sifati (DQ)

DQ qoidalarini grafik tugunlari/maydonlari bilan bog’lang: validlik, o’ziga xoslik, muvofiqlik, o’z vaqtida.
Agar qoidabuzarliklar bo’lsa, yo’llardagi «qizil segmentlar» ni ko’rsating va egalariga alertlarni ko’taring.
DQ hodisalari tarixini va ularning KPIga ta’sirini saqlang.

11) ML/AI uchun linedj

Kuzatilishi: dataset → features → training code → model (versiya) → inference.
Kommitlar, o’rganish parametrlari, freymvork versiyalari, validatsiya ma’lumotlarini aniqlang.
Linedj dreyf, regress metriklarini tekshirishga va natijalarni takrorlashga yordam beradi.

12) Linedj va maxfiylik/komplayens

PII/moliyaviy maydonlarni, mamlakatlarni, qonunni (GDPR/mahalliy), ishlov berish asosini belgilang.
Niqob/taxallus/anonimlashtirish qoʻllaniladigan tugunlarni belgilang.
DSAR/Right to be forgotten uchun subʼyekt qaysi vitrinalarda/bekaplarda boʻlishini kuzating.

13) Linedj uchun metriklar (SLO/SLI)

Coverage: ustunli jadvallar/maydonlarning%.
Freshness SLI: Yangilanish SLAda joylashtirilgan uzellar ulushi.
DQ pass-rate: tanqidiy yo’llar bo’yicha muvaffaqiyatli tekshirishlar ulushi.
Maʼlumot hodisalari uchun MTTD/MTTR.
Change lead time: sxemani tasdiqlash va xavfsiz chiqarishning oʻrtacha vaqti.
Dead assets: talab qilinmagan vitrinalar/job ulushi.

14) Asboblar (toifalar)

Catalog/Glossary/Lineage: yagona meta maʼlumotlar grafigi, SQL/orkestratorlardan/shinalardan import qilish.
Orchestration: runtime-meta maʼlumotlar yigʻish, vazifalar maqomi, SLA.
Schema Registry/Contracts: moslikni tekshirish, versiya siyosati.
DQ/Observability: qoidalar, anomaliyalar, yangilik, hajmlar.
Sec/Access: PII, RBAC/ABAC belgilari, audit.
ML Registry: modellar, artefaktlar va datasetlarning versiyasi.

15) Shablonlar (foydalanishga tayyor)

15. 1 Linigj uzeli pasporti

• Tasniflash: Public/Internal/Confidential/Restricted (PII)
• Manba/Kirish: jadvallar/topiklar + shartnomalar versiyasi
• Transformatsiya: SQL/job/repo + commit
• Chiqishlar/Iste’molchilar: vitrinalar/dashbordlar/modellar

• Kuzatish signallari: yangilik, hajm, anomaliyalar

• Hodisa tarixi: tiketlarga/post-mortemlarga havolalar

15. 2 Aloqa kartochkasi (column-level)

Maydondan: schema. table. col (turi, nullable)

Shema maydonida. table. col (turi, nullable)

Transformatsiya qoidasi: ifoda/funksiya/lugʻat

Sifat konteksti: tekshirishlar, diapazonlar, referensiyalar

15. 3 Voqeani tekshirish pleybuki

1. Ta’sirlangan KPI/dashbordni aniqlash → 2) Yuqori (Upstream) yo’lni manbagacha kuzatish →

2. Har bir uzelda/DQning yangiligini/hajmini tekshirish → 4) Kod/sxemaning oxirgi oʻzgarishini topish →

3. Prod/steyj/kecha solishtirish → 6) Fiksatsiya va backfill belgilash → 7) Post-mortem va kelajak qoidasi.

16) Jarayonlar va integratsiya

On-change: har bir merge/SQL sxemasini o’zgartiruvchi repoga linedjni qayta yig’ish va impakt-tahlil qilishni boshlaydi.
On-run: har bir muvaffaqiyatli/muvaffaqiyatsiz job grafa runtime-meta ma’lumotlarni yozadi.
Access-hooks: Kirish soʻrovlari PII va masʼul egalarning yoʻlini koʻrsatadi.
Governance-marosimlar: tanqidiy yo’llarning har haftalik sharhi, SLO bo’yicha har oylik hisobot.

17) Joriy etish yo’l xaritasi

0-30 kun (MVP)

1. Tanqidiy KPI/dashbordlarni va ularning end-to-end yoʻllarini aniqlash.
2. Jadval linejiga parsing SQL/joblarni ulash.
3. Uzel/aloqa pasporti va minimal yangilik metrikasini yaratish.
4. Asosiy yo’llardagi PII-belgilarni tavsiflash (KYC, to’lovlar).

60-90 kun

1. Top-vitrinalar uchun column-levelga oʻtish.
2. Orkestratorning runtime-meta maʼlumotlarini integratsiya qilish (vaqt, hajm, maqom).
3. DQ qoidalarini grafik bilan bogʻlash, alertlarni yoqish.
4. Vizualizatsiya: domen/egalari/PII bo’yicha filtrlar, yangilik overleylari.

3-6 oy

1. Hodisa shinasidagi kontraktlar va sxemalar reyestri (o’yin/to’lov turlari).
2. ML-linedjning to’liq treki (ma’lumotlar → chici → model → inferens).
3. SI → avtomatlashtirilgan bog’liqlik egalariga impakt-tahlil.
4. Aktiv vitrinalarning 70% ≥ column-level qoplamasi; SLO bo’yicha hisobot.

18) Patternlar va anti-patternlar

• Graph-first: oʻzgarishlarning «kompasi» sifatida yagona meta maʼlumotlar grafigi.
• Contract-aware linedj: sxemalar versiyasi va validatsiya natijalari bilan aloqa.
• Observability overlay: yangilik/hajmlar/DQ ustunning ustiga.
• Product-thinking: domen egalari sertifikatlangan «maʼlumotlar mahsulotlari» ni nashr etadilar.

• «Rasm uchun rasm» avtomatik yig’ish va qo’llab-quvvatlamasdan.
• Parsing va runtime-haqiqat o’rniga qo’lda ishlatiladigan mayndmeplar.
• KPIning tanqidiy yo’llarida ustunli tafsilotlarning yo’qligi.
• Kirish/PII va DSAR/Legal Hold jarayonlari bilan bog’lanmagan linedj.

19) Amaliy chek-varaqlar

Maʼlumot oʻzgarishini chiqarishdan oldin

• Shartnoma yangilandi, muvofiqlik tekshiruvi o’tdi
• Qaramlikning impakt-tahlili bajarildi
• v2-vitrin parallel yig’ilgan, metriklarni taqqoslash ok
• Backfill va qaytarish rejasi hujjatlashtirilgan

Haftalik sharh

• Muhim yo’llar yashil rangda
• Hech qanday «yetim» job/vitrin
• DQ-hodisalar yopiq va hujjatlashtirilgan
• Nishonchani qoplash

Jami

Linedj xaotik ma’lumotlar oqimini boshqariladigan joyning xaritasiga aylantiradi: qayerdan kelganini, kim javob berishini, qanday xavflarni va qanday qilib xavfsiz o’zgartirishni ko’rish mumkin. iGaming uchun bu KPIga ishonch, tajriba tezligi va yetuk komplayens asosidir.