Maʼlumot konveyerlarini sinovdan oʻtkazish

1) Nima uchun ma’lumotlar konveyerlarini sinovdan o’tkazish

• Ishonchlilik (correctness) va barqarorlik (resilience).
• Oʻzgarishlarni oldindan koʻrsatish (schema/logic evolution).
• Yangi, to’liq, yashirin SLOga rioya qilish.
• Avtomatlashtirilgan tekshirish hisobiga tez chiqarish (relizlar tezligi).

2) Ma’lumotlarni test qilish piramidasi

Pastdan yuqoriga: juda ko’p tezkor mahalliy testlar → kamroq integratsiyalashgan testlar → biroz end-to-end.

1. Birlik-transformatsiya testlari (funksiyalar, UDF, SQL-vidalar, dbt-modellar).
2. Ma’lumotlar sifati testlari (yangilik/to’liqlik/noyoblik/diapazonlar qoidalari).
3. Kontraktlar va sxemalar (schema/contract tests, evolyutsiya).
4. Payplaynning integratsiyalashgan testlari (DAG: ingest, storage, transform, marts).
5. E2E-testlar (manbadan vitrinagacha/API), shu jumladan huquqlar (RLS/CLS) va eksport.
6. Yuklama/unumdorlik (hajmi, tezligi, cost-to-serve).
7. Maʼlumotlar xaos-testlari (kechikishlar, dublikatlar, out-of-order, yetib boʻlmaslik).

3) Test turlari: aynan nimani tekshiramiz

3. 1 Mantiq unit-testlari

Transformatsiyalarning sof funksiyalari; property-based (invariantlar: idempotentlik, monotonlik).
SQL/DBT: natijani etalon (golden set) bilan solishtirish, «SELECT» ni taqiqlash, filtrni vaqt boʻyicha tekshirish.

3. 2 Ma’lumotlar sifati testlari (DQ)

Yangilik: vitrinalarning maqsadli ≤ kechikishi.
To’liqlik: kutilayotgan soni/to’ldirish ulushi.
Noyoblik: dublikatsiz kalitlar.
Domen qoidalari: diapazonlar, referensial yaxlitlik, biznes invariantlar.
Anomaliyalar: outliers, dublikat portlashlari, vaqt uzilishlari.

3. 3. Kontraktlar va sxemalar

Oʻzgarishlarning mosligi (SemVer: MAJOR/MINOR/PATCH).
Majburiy ustunlar, turlar, cheklovlarning mavjudligi.
Oʻrnatilgan KPI semantikalari: formulalar va oynalar.

3. 4 Integratsion va E2E

DAG yaxlitligi: triggerlar, qaramliklar, idempotent takrorlash.
To’liq yo’l: manba → raw → curated → marts → BI/API; RLS/CLS.

3. 5 Unumdorlik va xarajatlar

p95/p99 latentlik joblari, throughput (rows/s), hajmi/qiymati.
Unumdorlik regressiyalari testlari va skaner limitlari.

3. 6 Xavfsizlik va maxfiylik

PII/PCI maskalash (determinizatsiya).
RLS/CLS tekshiruvi: foydalanuvchilar faqat oʻzlarinikini koʻrishadi.
Eksport/snepshotlar: «xom» shaxsiy maydonlarning yo’qligi.

4) Striming xususiyatlari (Kafka/Flink/Spark Structured Streaming)

Watermarks va lateness: kechiktirilgan hodisalar (T + Δ), to’g’ri qayta hisob-kitoblar.
Exactly-once ma’nosi bo’yicha:’event _ id’bo’yicha dedup, idempotent yozuvi (upsert/merge).
Out-of-order:’event _ time’bo’yicha agregatlarga invariantlar; ’ingested _ at’.
Yo’qotish/takrorlash: partiyalar drop/reigrani simulyatsiya qilamiz, vitrinalarning to’g’riligini tekshiramiz.

5) Idempotentlik va determinizm (nimani va qanday test qilish kerak)

Qadamni qayta ishga tushirish ham xuddi shunday natija beradi (oynaning parametrlari bir xil boʻlsa).
Yozuv - staging va atomic swap orqali.
Merge mantig’i SCD1/SCD2 bilan to’ldirilgan (last-write-wins, source priority).
UDF/agregatlarning determinantligi: bir xil kirishlar → bir xil chiqishlar.

6) Test-ma’lumotlarni boshqarish

Golden datasets: qoʻlda validatsiyalangan kichik etalonlar.
Sintetika + maʼlumotlar fabrikasi: domen chetlarini qoplash (nulls, extreme values, Unicode, TZ).
De-identifikatsiyalangan prod-samplar: maxfiylikning muvofiqligi.
Qatlamli fiksturlar: xom hodisalar, oraliq qatlamlar, yakuniy vitrinalar.

7) Ma’lumotlar kontraktlari: namuna va qoidalar

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Kuzatuvchanlik va SLO testlari

Eksport metriklari: Freshness, Completeness, Uniqueness, Latency - Grafana/Prometheus.
SLO-alertlar «qizil» unit testlari sifatida (Synthetics).
Regressiya reportsiyalari: «chiqarilgandan keyin X p95 ↑ 40% ga».

9) CI/CD va muhit

CI: unit + DQ + PR shartnomalari; schema-diff; statik tahlil SQL (linter).
Qum qutisi/staging: integratsion va e2e, xavfsiz ma’lumotlar bilan xaos-testlarni o’tkazish.
Feature-flags: kanareya joblari/modellari/formulalari.
Kataloglash: sxemalar versiyasi, KPI formulalari, lineage; hujjatlarni avtomatik yangilash.

10) Maʼlumotlarni xaos-test qilish (Chaos-Data)

Dublikatlar/ruxsatnomalar, kechikishlar, out-of-order inyeksiyasi.
Broker/partiyaning qulashi, «singan» fayllar, schema drift.
Avto-ta’mirlash (replay/backfill), quarantine va alertlar, MTTR-data.

11) Yuklama va qiymat

P95/pik profilli trafik generatorlari.
/ Qadam uchun chegaralar (bytes scanned, time caps).
A/B qiymatni profillovchi: «eski» vs «yangi» model/so’rov.

12) Asboblar (namunaviy sinflar)

DQ/Kontraktlar: dbt tests, Great Expectations, Deequ, Soda, Custom linters.
Orkestr: Airflow/Dagster/Argo/Prefect (har qadamdagi test operatorlari).
Platformalar: BigQuery/Snowflake/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Striming: Kafka, Flink, Spark Streaming; Mahalliy muhit uchun TestContainers.
Observability: Prometheus/Grafana/Otel; DataHub/Amundsen/Collibra kataloglari.

13) Antipatternlar

«Test qilish uchun hech narsa yo’q - bu shunchaki SQL»: birliklar yo’q va DQ → metriklar buziladi.
Faqat E2E: sekin, beqaror, nosozliklar sabablari aniq emas.
SELECT: MINOR evolyutsiyasida buziladi.
Testlarda OLTPni jonli o’qish: beqarorlik va fleyka.
Golden toʻplamlari yoʻqligi: natijalarni taqqoslash uchun hech narsa yoʻq.
Idempotentlik testlari yoʻq: qayta ishga tushirish maʼlumotlarni buzadi.
Unutilgan striming: lateness/out-of-order/qayta yetkazib berish sinovdan o’tkazilmaydi.

14) Joriy etish yo’l xaritasi

1. Bazis: transformatsiya yunit-testlari, golden-to’plamlar, SQL linter, DQ-qoidalar top-10 vitrinalar.
2. Kontraktlar: CI, SemVer schema-diff, muvofiqlikni avtomatik tekshirish.
3. Integratsiyalar: DAG-testlar, idempotency, e2e tanqidiy oqimlar uchun.
4. Striming: testlar watermarks/lateness, dedup/idempotent sinks.
5. SLO va xaos: mahsulotdagi sifat metrikalari, alertlar, xaos-ssenariylar, MTTR-maqsadlar.
6. Optimallashtirish: perf-regressiyalar, byudjet-gvardlar, kanareya relizlari.

15) Chiqarishdan oldingi chek-varaq

• Unit testlari asosiy transformatsiyalar va UDFni qamrab oladi.
• Yangi/to’liq/o’ziga xos/diapazonlar uchun DQ qoidalari o’tib ketadi.
• Yashil kontraktlar va schema-diff; appruvsiz buzuvchi o’zgarishlar yo’q.
• Idempotentlik tekshirildi; atomic sink/merge ishlamoqda.
• Striming: watermarks/late data/out-of-order qoplangan; dedup joyida.
• SLO-metriklar namoyish etiladi; alertlar konfiguratsiya qilingan; runbooks mavjud.
• Test ma’lumotlari xavfsiz; PII niqoblangan; RLS/CLS tekshirildi.
• Perf-regressiya yo’q; skaner/vaqt limitlariga rioya qilingan.
• Bazaviy stsenariylarning xaos-testlari o’tdi; MTTR maqsadiga erishish mumkin.

16) Mini-shablon namunalari

16. 1 Unit-test SQL (psevdo-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 Tazelik qoidasi (Great Expectations-style):

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Oqimdagi latenessni tekshirish (psevdo-kod):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Contract-test (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Jami

Ma’lumotlar konveyerlarini sinovdan o’tkazish - bu turli tekshiruvlar to’plami emas, balki tizimli intizom. Testlar piramidasini, kontraktlar va kuzatuvni idempotentlik, sxemalar evolyutsiyasi va striming invariantlari bilan bog’lang. SHunda relizlar tez, hodisalar kamdan-kam va qisqa bo’lib, ma’lumotlarga ishonch barqaror bo’ladi.