Maglumatlaryň gelip çykyşy we ýoly

1) Data Lineage näme

• Hasabatda sanlar nireden geldi?
• Haýsy tablisalar/meýdanlar shemanyň üýtgemegine täsir eder?
• Näme üçin KPI düýn sagat 21: 00-da üýtgedi?
• Haýsy maglumatlar belli bir ML modeline we wersiýasyna girdi?

iGaming üçin bu, düzgünleşdiriji, maliýe hasabatlylygy (GGR/NET), antifrod, KYC/AML, jogapkär oýun we azyk üýtgemeleriniň ýokary tizligi sebäpli möhümdir.

2) Linedjiň derejeleri we granulýasiýasy

1. Biznes-linedge - metrikleriň we biznes-terminleriň (sözbaşydan) penjireler/formulalar bilen baglanyşygy.
2. Tehniki çyzgy (tablisaly) - tablisalaryň/joblaryň/transformasiýa paketleriniň arasyndaky baglanyşyklar.
3. Sütün (field/column-level) - haýsy çeşmäniň sütüni maksat sütünini emele getirýär, düzgünleri bilen.
4. Runtime-linedge (operasiýa) - hakyky geçişler: döwürler, göwrümler, kod/shemalaryň wersiýalary, heş-artefaktlar.
5. End-to-end - üpjün edijiden/PSP/CRM-den/dashboard/modeline çenli ahyrky ýol.
6. Cross-domain/Mesh - şertnamalar boýunça maglumatlaryň domen önümleriniň arasyndaky baglanyşyk.

3) Esasy gymmatlyk

Ynam we audit: hasabatlaryň we modelleriň düşündirilmegi, wakalaryň çalt derňelmegi.
Impakt-analiz: shemalaryň/logikanyň howpsuz üýtgemegi, goýberilişleriň öňünden aýdylmagy.
Onbordingiň tizligi: täze analitikler we inersenerler landşafta has çalt düşünýärler.
Talaplara laýyk gelmek: PII, Legal Hold yzarlamak, düzgünleşdirijilere hasabat bermek.
Çykdajylary optimizirlemek: "öli" paýlaýnlary we köpeldilen penjireleri kesgitlemek.

4) Obýektler we artefaktlar

Grafanyň düýp manysy: Source (oýun üpjün ediji, PSP, CRM), Topic/Stream, Raw/Staging, Bronze/Silver/Gold, DWH, ML-fiçler, BI-model, Daşbord.
Baglanyşyklar: üýtgeşmeler (SQL/ELT), joblar (Airflow/DBT/...), modeller (wersiýa), şertnamalar (Euro/Proto/JSON Shema).
Häsiýetleri: eýesi, domen, klassifikasiýa, shema görnüşi, hil gözegçiligi, täzelik, SLO/SLI.

5) Linedge üçin hakykat çeşmeleri

Statik: SQL/konfigurasiýalary parsing (dbt, ETL) → endikleri gurýarys.
Dinamik/Runtime: ýerine ýetirilende meta maglumatlary ýygnamak (orkestratorda operator, query logs).
Waka: lineage-iwentler tekerde habarlary çap edende/okanda (Kafka/Pulsar), şertnamalary tassyklamakda.
El bilen (iň az): awtomatiki usulda çykarylmaýan çylşyrymly işewürlik logikasynyň beýany.

6) Linedge we Data Contracts

Şertnama shemany, semantikany we SLA-ny kesgitleýär.
Laýyklygy (semwer) we idempotentligi barlamak hökmanydyr.
Linedge kontraktyň/wersiýanyň baglanyşygyny we barlagyň geçendigini saklaýar (CI/CD + runtime).

7) iGaming-de çyzgy: domen mysallary

Oýun wakalary → RTP agregatlary, üýtgewsizlik, saklamak, "Game Performance Gold" penjiresi.
Tölegler/netijeler/çarjbekler → GGR/NET hasabatlary, antifrod-signallar.
KYC/AML → statuslar, barlaglar, alertler → laýyklyk penjireleri we hasabat.
Responsible Gaming → çäklendirmeler/öz-özüni aýyrmak → töwekgelçilikleri jemlemek we gatyşma triggerleri.
Marketing/CRM → kampaniýalar, bonuslar, oýnamak → LTV/ARPPU-a täsiri.

8) Grafany wizuallaşdyrmak

• Iki re modeim: "landşaft kartasy" (makro) we "geçip barýan ýol" (mikro) meýdandan meýdana.
• Süzgüçler: domen, eýesi, klassifikasiýa (PII), gurşaw (prod/stage), wagt.
• Overley: täzelik, göwrümi, DQ ýalňyşlyklary, shemalaryň wersiýalary.
• Çalt hereketler: "Garaşlylary görkeziň", "Bu sütüni kim sarp edýär? ", "KPI dashborduna barýan ýol".

9) Impakt-seljerme we üýtgetmeleri dolandyrmak

Shema/logika üýtgetmezden ozal what-if: haýsy joblar/vitrinler/dashbordlar/modeller täsir eder.
Garaşly artefaktlaryň eýelerine biletleriň awtogenerasiýasy.
Displeýler üçin "dual-write/blue-green" patterni: v2 paralel doldurylýar, metrikleri deňeşdirmek, üýtgetmek.
Backfill-playbook: taryhy maglumatlary nädip we nädip ýüklemeli, yzygiderliligi nädip barlamaly.

10) Çyzgy we maglumatlaryň hili (DQ)

DQ düzgünlerini grafanyň düwünleri/bölekleri bilen baglanyşdyryň: dogrylyk, özboluşlylyk, sazlaşyk, öz wagtynda.
Düzgün bozulan halatynda ýollarda "gyzyl segmentleri" görkeziň we eýelerine aladalary galdyryň.
DQ hadysalarynyň taryhyny we KPI-e täsirini saklaň.

11) ML/AI üçin çyzgy

Yzarlamak: dataset → features → training code → model (wersiýa) → inference.
Komissiýalary, okuw parametrlerini, çarçuwalaryň wersiýalaryny, tassyklama maglumatlaryny ýazga alyň.
Linedge, metrleriň süýşmegini, regressiýasyny derňemäge we netijeleri köpeltmäge kömek edýär.

12) Çyzgy we gizlinlik/gabat gelmek

PII/maliýe meýdançalaryny, ýurtlary, kanuny (GDPR/ýerli), gaýtadan işlemegiň esaslaryny belläň.
Gizlemek/lakamlaşdyrmak/anonimleşdirmek üçin ulanylýan düwünleri belläň.
DSAR/Right to be forgotten üçin haýsy penjirelerde/bekaplarda subýektiň bardygyny yzarlaň.

13) Linedge üçin metrikler (SLO/SLI)

Coverage: Sütün çyzgyly tablisalar/meýdançalar%.
Freshness SLI: SLA täzelenmelerine gabat gelýän düwünleriň paýy.
DQ pass-rate: möhüm ýollar boýunça üstünlikli barlaglaryň paýy.
Maglumat hadysalary üçin MTTD/MTTR.
Change lead time: shemany tassyklamagyň we howpsuz goýbermegiň ortaça wagty.
Dead assets: talap edilmedik vitrinleriň/job paýy.

14) Gurallar (kategoriýalar)

Catalog/Glossary/Lineage: SQL/orkestratorlardan/tekerlerden import edilen ýeke-täk meta-maglumat grafasy.
Orchestration: runtime-meta-maglumatlary ýygnamak, wezipe ýagdaýy, SLA.
Schema Registry/Contracts: Laýyklyk barlagy, wersiýa syýasaty.
DQ/Observability: düzgünler, anomaliýalar, täzelik, göwrümler.
Sec/Access: PII, RBAC/ABAC bellikleri, audit.
ML Registry: Modelleriň, artefaktlaryň we datasetleriň görnüşi.

15) Şablonlar (ulanmaga taýýar)

15. 1 Linedge düwüniniň pasporty

• Klassifikasiýa: Public/Internal/Confidential/Restricted (PII)
• Çeşme/Girişler: tablisalar/topikler + şertnamalaryň wersiýalary
• Özgeriş: SQL/job/repo + commit
• Çykyş/Sarp edijiler: vitrinler/dashbordlar/modeller

• Gözegçilik signallary: täzelik, göwrümi, anomaliýalar

• Wakalaryň taryhy: biletlere/post-mortemlere baglanyşyklar

15. 2 Aragatnaşyk kartoçkasy (column-level)

Meýdandan: schema. table. col (görnüş, nullable)

Meýdanda: schema. table. col (görnüş, nullable)

Üýtgetmek düzgüni: Söz/funksiýa/sözlük

Hil konteksti: barlaglar, diapazonlar, salgylanmalar

15. 3 Wakany derňemegiň pleýbugy

1. Täsir eden KPI/dashbord tapyň → 2) Ýokarky (Upstream) ýoly gözläň →

2. Her düwünde täzeligi/göwrümi/DQ barlaň → 4) Kod/shemanyň soňky üýtgemesini tapyň →

3. Prod/stage/düýn deňeşdiriň → 6) Bellik we backfill belläň → 7) Post-mortem we geljek üçin düzgün.

16) Prosesler we integrasiýa

On-change :/SQL shemasyny üýtgedýän repoda her bir merge, linedge we impakt-derňewi täzeden gözden geçirýär.
On-run: Her üstünlikli/şowsuz job grafa runtime-meta maglumatlary ýazýar.
Access-hooks: Giriş haýyşlary PII we jogapkär eýeleriň ýoluny görkezýär.
Governance-däp-dessurlar: möhüm ýollara hepdelik syn, SLO boýunça aýlyk hasabat.

17) Durmuşa geçirmegiň ýol kartasy

0-30 gün (MVP)

1. Möhüm KPI/dashbordlary we olaryň ahyrky-ahyrky ýollaryny kesgitlemek.
2. SQL/job parsingini tablisa linage üçin birikdiriň.
3. Düwün/aragatnaşyk pasportyny we iň az täzelik metriklerini edinmek.
4. Esasy ýollarda PII bellikleri beýan etmek (KYC, tölegler).

60-90 gün

1. Iň ýokary penjireler üçin column-level.
2. Orkestratoryň runtime-meta maglumatlaryny birleşdirmek (wagt, göwrüm, statuslar).
3. DQ düzgünlerini sütün bilen baglanyşdyryň, alertleri açyň.
4. Wizualizasiýa: domenler/eýeler/PII boýunça süzgüçler, täzelik örtükleri.

3-6 aý

1. Wakanyň şinasyndaky şertnamalar we shemalaryň sanawy (oýun/töleg görnüşleri).
2. ML-linedjiň doly aýdymy (maglumatlar → çit → model → inferens).
3. CI → garaşlylyk eýelerine awtomatiki bilet.
4. Örtük column-level ≥ 70% işjeň penjireler; SLO boýunça hasabat.

18) Patternler we anti-patternler

• Graph-first: üýtgeşmeleriň "kompasy" hökmünde ýeke-täk meta-maglumat grafasy.
• Contract-aware lineer: shemalaryň wersiýalary we tassyklama netijeleri bilen baglanyşyk.
• Observability overlay: tazelik/göwrümler/DQ grafanyň üstünde.
• Product-thinking: domen eýeleri kepillendirilen "maglumat önümlerini" çap edýärler.

• Awtomatiki ýygnamazdan we goldamazdan "Surat üçin surat".
• Parsing we runtime-hakykatyň ýerine el maýnd-mep.
• KPI-nyň möhüm ýollarynda sütün jikme-jiklikleriniň ýoklugy.
• / PII girişleri we DSAR/Legal Hold prosesleri bilen baglanyşyksyz çyzgy.

19) Amaly çek-listler

Maglumatlary üýtgetmezden öň

• Şertnama täzelendi, laýyklyk barlagy geçdi
• Endikleriň impakt-derňewi geçirildi
• v2-vitrin paralel ýygnandy, metrleri deňeşdirmek ok
• Backfill we yzyna gaýtarmak meýilnamasy resminamalaşdyryldy

Hepdelik syn

• Möhüm ýollar täzelik taýdan ýaşyl
• "ýetim" job/vitrin ýok
• DQ hadysalary ýapyldy we resminamalaşdyryldy
• Maksat çägini örtmek

Jemi

Linedge maglumatlaryň bulam-bujar akymlaryny ýeriň dolandyrylýan kartasyna öwürýär: nireden gelendigini, kimiň jogap berýändigini, haýsy töwekgelçilikleri we nädip howpsuz üýtgetmelidigini görmek bolýar. iGaming üçin bu KPI-e, synaglaryň tizligine we ýetişen laýyklyga bolan ynam esasydyr.