Verilənlərin mənşəyi və yolu

1) Data Lineage nədir

• Hesabatdakı rəqəmlər haradan gəldi?
• Hansı cədvəllər/sahələr sxem dəyişikliyinə təsir edəcək?
• Niyə KPI dünən saat 21: 00-da dəyişdi?
• Hansı məlumatlar ML-in konkret modelinə və versiyasına daxil oldu?

iGaming üçün tənzimləmə, maliyyə hesabatları (GGR/NET), anti-frod, KYC/AML, məsuliyyətli oyun və yüksək məhsul dəyişmə sürətinə görə kritik əhəmiyyət kəsb edir.

2) Linedge səviyyələri və qranulyarlığı

1. Business Linedge - metrik və biznes terminlərinin vitrinlərlə/formullarla əlaqəsi.
2. Texniki linedge (cədvəl) - cədvəllər/coblar/transformasiya paketləri arasındakı əlaqələr.
3. Sütun (field/column-level) - hansı mənbə sütunu təyinat sütununu formalaşdırır, qaydalarla.
4. Runtime-linedge (əməliyyat) - faktiki qaçışlar: vaxt, həcm, kod/sxem versiyaları, hash-artefaktlar.
5. End-to-end - provayderdən/PSP/CRM-dən hesabata/dashboard/modelə keçən yol.
6. Cross-domain/Mesh - domen məhsulları arasında əlaqələr.

3) Əsas dəyər

Etimad və audit: hesabatların və modellərin izahı, hadisələrin sürətli araşdırılması.
Impact analizi: sxemlərin/məntiqin təhlükəsiz dəyişməsi, buraxılışların proqnozlaşdırılması.
Onbordinq sürəti: yeni analitiklər və mühəndislər mənzərəni daha sürətli başa düşürlər.
Tələblərə uyğunluq: PII izləmə, Legal Hold, tənzimləyicilərə hesabat.
Xərclərin optimallaşdırılması: «ölü» paylaynların və təkrarlanan vitrinlərin müəyyən edilməsi.

4) Obyektlər və artefaktlar

Qrafın mahiyyəti: Source (oyun provayderi, PSP, CRM), Topic/Stream, Raw/Staging, Bronze/Silver/Gold, DWH, ML-fici, BI-model, Dashbord.
Əlaqə: transformasiyalar (SQL/ELT), joblar (Airflow/DBT/...), modellər (versiya), müqavilələr (Avro/Proto/JSON Schema).
Atributlar: sahibi, domen, təsnifat, sxem versiyası, keyfiyyət nəzarəti, təravət, SLO/SLI.

5) Linedge üçün həqiqət mənbələri

Statik: SQL/konfiqurasiya parsinq (dbt, ETL) → qurmaq asılılıq.
Dinamik/Runtime: icra zamanı meta məlumatların toplanması (orkestratorda operator, query logs).
Hadisəli: lineage-events (Kafka/Pulsar), müqavilələrin təsdiqi.
Əl (minimum): avtomatik çıxarılmayan mürəkkəb biznes məntiqinin təsviri.

6) Linedge və Data Contracts

Müqavilə sxem, semantika və SLA qeyd edir.
Uyğunluq testi (semver) və idempotentlik - məcburidir.
Linedge kontrakt/versiya linki və yoxlama faktını saxlayır (CI/CD + runtime).

7) iGaming Linedge: domen nümunələri

Oyun hadisələri → RTP aqreqatları, dəyişkənlik, saxlama, «Game Performance Gold» vitrini.
Ödənişlər/nəticələr/çarjbeklər → GGR/NET hesabatları, antifrod siqnalları.
KYC/AML → statuslar, yoxlamalar, risklər → uyğunluq və hesabat vitrinləri.
Responsible Gaming → limitlər/özünü istisna → risklərin hesablanması və müdaxilə tetikleyiciləri.
Marketinq/CRM → kampaniyalar, bonuslar, oyun → LTV/ARPPU təsir.

8) Qrafın vizuallaşdırılması

• İki rejim: «landşaft xəritəsi» (makro) və «keçici trek» (mikro).
• Filtrlər: domen, sahibi, təsnifat (PII), mühit (prod/stage), vaxt.
• Overlay: təravət, həcmlər, DQ səhvləri, sxemlərin versiyaları.
• Sürətli hərəkətlər: "Asılıları göstər", "Bu sütunu kim istehlak edir? ", "KPI dashboard yolu".

9) İmpakt təhlili və dəyişikliklərin idarə edilməsi

Sxem/məntiq dəyişdirməzdən əvvəl what-if başlayın: hansı joblar/vitrinlər/dashboard/modellər təsir edəcək.
Asılı artefaktların sahiblərinə biletlərin avtogenerasiyası.
vitrinlər üçün nümunə dual-write/blue-green: v2 paralel doldurulur, metrik müqayisə, keçid.
Backfill playbook: tarixi məlumatları necə və necə yükləmək, sabitliyi necə yoxlamaq olar.

10) Linedge və məlumat keyfiyyəti (DQ)

DQ qaydalarını qrafik qovşaqları/sahələri ilə əlaqələndirin: etibarlılıq, unikallıq, uyğunluq, vaxtında.
Pozuntular olduqda, yollarda «qırmızı seqmentlər» göstərin və sahiblərinə həyəcan verin.
DQ hadisələrinin tarixçəsini və onların KPI-yə təsirini saxlayın.

11) ML/AI üçün Linedge

İzləmə: dataset → features → training code → model (versiya) → inference.
Kommitləri, təlim parametrlərini, framework versiyalarını, validasiya məlumatlarını qeyd edin.
Linedge sürüklənmə, reqressiya metriklərini araşdırmağa və nəticələrini təkrarlamağa kömək edir.

12) Linedge və gizlilik/komplayens

PII/maliyyə sahələri, ölkələr, qanun (GDPR/yerli), emal bazası.
Maskalanma/təxəllüs/anonimləşdirmənin tətbiq olunduğu qovşaqları qeyd edin.
DSAR/Right to be forgotten üçün subyektin hansı vitrinlərdə/arxalarda olduğunu izləyin.

13) Cizgi üçün metriklər (SLO/SLI)

Coverage: sütun xətti ilə% cədvəllər/sahələr.
Freshness SLI: SLA yeniləmələrinə uyğun olan komponentlərin payı.
DQ pass-rate: kritik yollar üzrə uğurlu yoxlamaların payı.
MTTD/MTTR məlumat hadisələri üçün.
Change lead time: orta koordinasiya vaxtı və təhlükəsiz buraxılış sxemi.
Dead assets: tələb olunmayan vitrin/job payı.

14) Alətlər (kateqoriyalar)

Catalog/Glossary/Lineage: SQL/orkestrlər/şinlər idxal vahid meta məlumat qrafiki.
Orchestration: runtime meta məlumatların toplanması, vəzifələrin statusu, SLA.
Schema Registry/Contracts: uyğunluq yoxlamaları, versiya siyasəti.
DQ/Observability: qaydalar, anomaliyalar, təravət, həcmlər.
Sec/Access: PII, RBAC/ABAC etiketləri, audit.
ML Registry: modellərin, artefaktların və datasetlərin versiyası.

15) Şablonlar (istifadəyə hazır)

15. 1 Linedge qovşağının pasportu

• Təsnifat: Public/Internal/Confidential/Restricted (PII)
• Mənbə/Girişlər: cədvəllər/topiklər + müqavilə versiyaları
• Transformasiya: SQL/cob/repo + commit
• Çıxış/İstehlakçılar: vitrinlər/dashboard/modellər

• Müşahidə siqnalları: təravət, həcm, anomaliyalar

• Hadisə tarixi: biletlərə/post-mortemlərə istinadlar

15. 2 Rabitə kartı (column-level)

Sahədən: schema. table. col (tip, nullable)

Sahədə: schema. table. col (tip, nullable)

Transformasiya qaydası: ifadə/funksiya/lüğət

Keyfiyyət konteksti: yoxlamalar, diapazonlar, referanslar

15. 3 Hadisə istintaqı playbook

1. Təsir KPI/dashboard müəyyən → 2) (Upstream) mənbəyə yol izləmək →

2. Hər qovşaqda təzəlik/həcm/DQ yoxlayın → 4) Son kod/sxem dəyişikliyini tapın →

3. prod/stage/dünən müqayisə → 6) Fiksasiya və backfill təyin → 7) Post-mortem və gələcək üçün qayda.

16) Proseslər və inteqrasiya

On-change :/SQL sxemini dəyişdirən repoda hər bir merge, linedge yenidən seçimini və impakt analizini başlatır.
On-run: Hər uğurlu/uğursuz cob qrafikdə runtime metadata yazır.
Access-hooks: giriş sorğuları PII və məsul sahiblərin yolunu göstərir.
Governance ritualları: kritik yolların həftəlik icmalı, SLO aylıq hesabatı.

17) Tətbiqi yol xəritəsi

0-30 gün (MVP)

1. Kritik KPI/dashboard və onların end-to-end yolları müəyyən edin.
2. SQL parsinq/cob cədvəlini bağlayın.
3. Bir qovşaq/əlaqə pasportu və minimal təravət metrikləri əldə edin.
4. Əsas yollarda PII etiketlərini təsvir edin (KYC, ödənişlər).

60-90 gün

1. Top vitrinlər üçün column-level.
2. Orkestratorun runtime-meta məlumatlarını inteqrasiya etmək (vaxt, həcm, statuslar).
3. DQ qaydalarını qrafla əlaqələndirin, alertləri yandırın.
4. Vizuallaşdırma: domen/sahibləri/PII filtrlər, təravət overley.

3-6 ay

1. Hadisə şinasında müqavilələr və sxemlərin reyestri (oyun/ödəniş fidləri).
2. Tam trek ML-Linedge (data → Fich → model → Inference).
3. CI → asılılıq sahiblərinə avtomatik biletlər.
4. column-level örtük ≥ 70% aktiv vitrinlər; SLO hesabatı.

18) Nümunələr və anti-nümunələr

• Graph-first: «kompas» dəyişikliklər kimi vahid meta məlumat qrafiki.
• Contract-aware lineer: sxemlərin versiyaları və validasiya nəticələri ilə əlaqə.
• Observability overlay: təzəlik/həcmləri/DQ qrafik üzərində.
• Product-thinking: domen sahibləri sertifikatlı «məlumat məhsulları» dərc edirlər.

• Avtomatik yığım və dəstək olmadan «Şəkil üçün şəkil».
• Parsing və runtime həqiqət əvəzinə manual Maind-Maps.
• Kritik KPI yollarında sütun detallarının olmaması.
• Access/PII və DSAR/Legal Hold prosesləri ilə əlaqə olmadan Linedge.

19) Praktiki yoxlama vərəqləri

Məlumat dəyişikliyini buraxmadan əvvəl

• Müqavilə yeniləndi, uyğunluq testi keçdi
• Asılılığın impakt analizi həyata keçirildi
• v2-vitrin paralel yığılmış, metrik müqayisə ok
• Backfill və geri dönüş planı sənədləşdirilmişdir

Həftəlik baxış

• Kritik yollar təzəlik yaşıl
• No «yetim» job/vitrin
• DQ hadisələri bağlandı və sənədləşdirildi
• column-level əhatə> hədəf eşik

Yekun

Linedge xaotik məlumat axınlarını idarə olunan ərazi xəritəsinə çevirir: haradan gəldiyini, kimin cavab verdiyini, hansı risklərin və necə təhlükəsiz dəyişdiriləcəyini görmək olar. iGaming üçün bu KPI, təcrübə sürəti və yetkin uyğunluq etimad bazasıdır.