Maglumatlaryň hiline gözegçilik

1) Bellenilmegi we ýörelgeleri

Näme üçin: ygtybarly hasabatlar (GGR/salgytlar), antifrod we RG-modeller, laýyk düşürmeler, önümler we şahsylaşdyrma.

• Schema-first & Contracts: ähli çeşmeler şertnama boýunça maglumatlary çap etmäge borçludyrlar.
• DQ-kod hökmünde: repozitoriýadaky düzgünler, wersiýalar, synaglar we rewyu.
• Observability-by-default: metrika/logirovka/linedge.
• Privacy-by-design: iň az PII, gizlemek we RLS/CLS.
• Cost-aware: kritiki düzgünleriň ileri tutulmagy, akylly nusgalar.

2) Hil ölçegleriniň taksonomiýasy

Completeness (Doly): Hökmany meýdanlaryň/setirleriň paýy.
Geçerlilik: Görnüşlere/diapazonlara/gollanmalara laýyklyk.
Uniqueness (Özboluşlylyk): açarlaryň/wakalaryň dublikatlarynyň ýoklugy.
Consistency (Sazlaşyk): salgylanma bitewiligi, işewürlik üýtgemeleri.
Accuracy (Takyklyk): "hakyky" çeşmä ýakynlaşmak (jemleýji deňeşdirmeler).
Timeliness/Freshness (Öz wagtynda): Materialyň gijikdirilmegi.
Lineage Integrity: transformasiýalaryň gelip çykyşyny/wersiýalaryny saklamak.

Her bir domen üçin KPI hil we kritiklik (critical/major/minor) kesgitlenýär.

3) Şertnamalar we shemalar (hakykatyň çeşmesi)

Maglumat şertnamalary: JSON Schema/Euro/OpenAPI/AsyncAPI, Registry-de ýerleşdirildi.
Durnuklylyk: backward-gabat gelýän üýtgeşmeler - nullable goşmak; breaking - täze wersiýa + goşa ýazgy.
Yzarlanylyşy: wakalarda - 'event _ id', 'trace _ id', 'schema _ version', 'source'.

4) DQ-ýaly-kod: artefaktlaryň gurluşy

/dq/
rules/
silver. payments. yaml gold. ggr_daily. yaml checks/
sql/
python/
policies/
severities. yaml notifications/
routes. yaml

Düzgünler: deklaratiw YAML/SQL;

Agyrlyk: mapping → alert kanallary/eskalasiýa derejesi;

CI: shema linterleri, laýyklyk synaglary, "dry-run "/simulýator.

5) Düzgünleriň mysallary (YAML)

yaml table: silver. payments owner: data-payments slo:
freshness_minutes: 15 completeness_percent: 99. 5 rules:
- name: amount_positive severity: critical type: range column: amount min: 0. 01
- name: currency_in_whitelist severity: major type: in_set column: currency set: [EUR, USD, GBP, TRY, BRL]
- name: unique_tx severity: critical type: unique columns: [transaction_id]
- name: fk_user_exists severity: critical type: foreign_key column: user_pseudo_id ref_table: dim. users ref_column: user_pseudo_id
- name: ts_monotonicity severity: minor type: temporal expression: "ts between date_sub(now(), interval 90 day) and now()"

6) SQL-synaglar (nusgalar)

Açarlaryň özboluşlylygy

sql
SELECT transaction_id, COUNT() AS c
FROM silver. payments
GROUP BY transaction_id
HAVING COUNT() > 1;

Hökmany meýdanlaryň dolulygy

sql
SELECT COUNT() AS nulls
FROM silver. payments
WHERE amount IS NULL OR currency IS NULL OR ts IS NULL;

Gollanmalar/yzygiderlilik

sql
SELECT p. currency
FROM silver. payments p
LEFT JOIN ref. currencies r ON p. currency = r. code
WHERE r. code IS NULL;

7) Akym DQ (hakyky wagt)

Ingest-walidation: schema validation, size-limits, tipleri we enum's.
On-stream barlagy: dedup '(event_id, source)', allowed lateness, walýuta/jemi.
Serhetler: möhüm ýalňyşlyklar → DLQ + alert; möhüm däl → bellik etmek, ýöne sypdyrmak ('dq _ flag' baýdagy bilen).
Metrikler: partisitler boýunça completeness/lag/dup-rate.

8) Ýalňyşlyklar we kadadan çykmalar bilen işlemek

DLQ/Quarantine: "näsag" ýazgylar saklanýar, düzediş üçin elýeterlidir.
Exception records: kadadan çykma kartoçkasy (owner, möhlet, sebäp, sebit).
Awto-fallback: vitrinanyň iň soňky dogry snapshotyny ulanmak.
SLA ýapylmagy: kritiki - ≤ 24-48 sagat; major - ≤ 5 gul. gün.

9) Gizlinlik we komplayens bilen ylalaşmak

PII-minimalizasiýa: analitik gatlaklarda "çig" PII-leri barlamaň; lakamlary ulanyň.
RLS/CLS: barlaglar meýdançalaryň maskalanmagyny göz öňünde tutup amala aşyrylýar.
Sebitleşdirmek: düzgünleri 'jurisdiction' (EEA/UK/BR) göz öňünde tutulýar.
Legal Hold: Saklamak üçin arhiwi täzeden ýazmagy gadagan ediň.

10) Syn etmek, SLI/SLO we alertler

• Freshness p95 (Kümüş): ≤ 15 minut.
• Completeness (critical types): ≥ 99. 5%.
• Validity (schema): ≥ 99. 9%.
• Duplicate rate: ≤ 0. 1%.
• DQ incident MTTR: ≤ 24–48 ч.

Alertler: agyrlyk boýunça marşrut (critical üçin pager), tekizlemek (alertleriň dedupy), "maintenance windows".

11) Daşbordlar (iň az toplum)

Domenler we bazarlar boýunça Freshness/Completeness ýylylyk kartasy.
incident rate boýunça we düzedişleriň bahasy boýunça tablisalaryň Top-N.
DQ hunisi: ingest → silver → gold (ýitgiler/düzedişler).
Möhüm hasabatlar üçin çyzgy kartoçkasy (düzgünleşdiriji/GGR/RG/AML).
"Köne" shemalaryň we müşderileriň kartasy (SDK/shemalaryň wersiýalary).

12) Amallar we RACI

R (Responsible): Data Engineering (tablisalarda düzgünler), Domain Owners (semantika).
A (Accountable): Head of Data/CDO.
C (Consulted): Compliance/Legal/DPO, Arhitektura, SRE.
I (Informed): BI/Önüm/Marketing/Maliýe/Amallar.

Düzgüniň durmuş sikli: teklip → revew → "garaňky başlangyç" → goşmak → gözegçilik → retrospektiv.

13) Barlamak we takyklyk (Accuracy)

Gözegçilik pullary/amallary: OLTP/üpjün edijiler (PSP/KYC) bilen ýygnamak.
Iki konturly deňeşdirmeler: saýlama walidasiýa üçin garaşsyz pipeline.
Rugsat: metrikler boýunça göterim çäkleri (mysal üçin, GGR tapawudy ≤ 0. 2%).
Gündelik hereketler: audit üçin deňeşdirme hasabatlary.

14) Bahasy we ileri tutulmagy

Kritiki düzgünleri ýygy-ýygydan (akym/sagat), minor - daily.
Agyr tablisalar üçin nusgalary we materialized barlaglary ulanyň.
Cost/query we cost/GB yzarlaň, toplamak/indekslemek üçin ulanyň.
Buýruklar boýunça DQ üçin býudjet bölüň (chargeback).

15) Gold-vitrin şablonlary (GGR Daily mysaly)

yaml table: gold. ggr_daily owner: fin-analytics slo:
ready_by_local_time: "06:00"
rules:
- name: ggr_not_negative severity: critical type: range column: ggr min: 0. 0
- name: market_known severity: major type: in_set column: market set_ref: ref. markets
- name: fx_source_present severity: major type: not_null column: fx_source
- name: completeness_by_market severity: critical type: completeness partition_keys: [event_date, market]
expected_rows_expression: "ref. expected_activity(event_date, market)"

16) Hil hadysalary: dolandyryş we aragatnaşyk

Ticketing: goşulan nusgalar we metrikler bilen awto-meseleler döretmek.
Komm-şablonlar: önüm eýelerine/düzgünleşdirijä täsir edilende habar bermek.
Post-mortem: kök sebäbi (shema drift, upstream bug, ýük), CAPA hereketleri, "regressiýanyň gaýdyp gelmegine" gözegçilik.

17) Durmuşa geçirmegiň ýol kartasy

1. Kritiki tablisalaryň katalogy (Payments, Gameplay, GGR, Compliance).

2. 10-15 esasy barlaglar üçin YAML düzgünleri + CI-tassyklama.

3. Daşbord Freshness/Completeness we critical üçin alertler.

4. DLQ/Quarantine + runbook düzedişleri.

• Düzgünleriň giňelmegi (FK/accuracy), "dry-run" simulýatory, A/B goşulmalary.
• Lineage, kadadan çykmalar boýunça ylalaşyklar we SLA bilen integrasiýa.
• "Şowhunly" çeşmeler üçin ingest DQ akymy.

• Bahanyň metrikasy, düzgünler boýunça resminamalaryň awtogenerasiýasy.
• "Gözegçilik konturlary" (independent reconciliation), weekly retrospektivler.
• Rule-as-Code platforma SDK, domen barlaglarynyň standart sanawy.

18) Azyk önüminden öň çek-sanawy

• Registriýadaky şertnamalar we shemalar, laýyklyk synaglary geçirilýär.
• YAML düzgünleri garaldy, severity/eskalasiýa bellendi.
• Daşbordlar we alertler işjeň; SLO kesgitlenildi we ylalaşyldy.
• DLQ/Quarantine bar, runbooks resminamalaşdyryldy.
• Kadadan çykmalar/barlyşyk hereketleri Kanuny/Compliance bilen ylalaşylýar.
• Barlaglaryň bahasyny ölçemek we agyr haýyşlara çäklendirmeler.

19) Ýygy-ýygydan ýalňyşlyklar we olardan nädip gaça durmaly

Şertnamasyz çig maglumatlar: schema-first we consumer-tests giriň.
"El bilen" barlamak: DQ-kody we CI-e geçiriň.
Prioritet ýok: critical/major/minor we alert kanallaryny bölüň.
DLQ ýok: ýalňyşlyklar bilen işlemeli zat ýok - karantini goşuň.
Egnor bahasy: haýyşlary profillemek, materiallaşdyrmagy ulanmak.
Post-mortemler ýok: ýalňyşlyklar gaýtalanýar - CAPA we regressiýa gözegçiligini giriziň.

20) Jemleýji

Maglumatlaryň hiline gözegçilik ulgamy bölünen barlaglaryň toplumy däl-de, dolandyrylýan programma: şertnamalar we shemalar, DQ-kod, gözegçilik we SLO, hadysalaryň we deňeşdirmeleriň tertibi. Bu makala laýyklykda, kadalaşdyryjy hasabat, azyk çözgütleri we hakyky wagt töwekgelçilik detektorlary üçin ýeterlik köpeldilýän, barlanylýan we tygşytly maglumatlary alarsyňyz.