Маалымат конвейерлерин тестирлөө

1) Эмне үчүн маалымат конвейерлерин сыноо

• Ишенимдүүлүк (correctness) жана туруктуулук (resilience).
• Өзгөрүүлөрдүн болжолдонушу (schema/logic evolution).
• жаңылыгы, толуктугу, жашыруун SLO сактоо.
• Автоматташтырылган текшерүү аркылуу тез чыгаруу (чыгаруу ылдамдыгы).

2) Маалыматтарды тестирлөө пирамидасы

Төмөндө жогору: тез жергиликтүү тесттер көп → азыраак интеграциялык → бир аз бүтүрүү-бүтүрүү.

1. Трансформациянын бирдиктик тесттери (функциялар, UDF, SQL-виддер, dbt-моделдер).
2. маалымат сапаты тесттер (сергектик эрежелери/толуктугу/уникалдуулугу/диапазондору).
3. Контракттар жана схемалар (schema/contract tests, эволюция).
4. Pipline Integration Tests (DAG: ingest, storage, transform, marts).
5. E2E-тесттер (булактан айнек/API), анын ичинде укуктар (RLS/CLS) жана экспорт.
6. Жүктөө/аткаруу (көлөмү, ылдамдыгы, cost-to-serve).
7. Хаос-тесттер маалыматтар (кечигүү, дубликаттар, out-of-order, жеткиликсиздик).

3) Тесттердин түрлөрү: биз так эмнени текшеребиз

3. 1 Бирдик логикалык тесттер

Таза трансформация функциялары; property-based (инварианттар: боштук, монотондук).
SQL/DBT: натыйжаны эталон (алтын комплект) менен салыштыруу, "SELECT" тыюу салуу, убакыт чыпкасын текшерүү.

3. 2 Маалымат сапаты тесттер (DQ)

Сергектик: максаттуу босого ≤ терезелердин кечигиши.
Толук: күтүлгөн саны/толтуруу үлүшү.
Уникалдуулук: дубликаты жок ачкычтар.
Домендик эрежелер: диапазондор, референциалдык бүтүндүк, бизнес инварианттар.
Аномалиялар: outliers, дубликат жарылуулар, убакыт үзүлүшү.

3. 3 Келишимдер жана схемалар

Өзгөртүүлөрдүн шайкештиги (SemVer: MAJOR/MINOR/PATCH).
Милдеттүү мамычалардын, түрлөрдүн, чектөөлөрдүн болушу.
Белгиленген KPI семантикасы: формулалар жана агрегация терезелери.

3. 4 Интеграциялык жана E2E

DAG бүтүндүгү: триггерлер, көз карандылык, idempotent кайталоо.
Толук жол: булагы → чийки → curated → marts → BI/API; RLS/CLS.

3. 5 Аткаруу жана чыгымдар

p95/p99 тайманбас, throughput (rows/s), көлөмү/наркы.
Регрессия тесттер аткаруу жана сканерлер боюнча чектөөлөрдү.

3. 6 Коопсуздук жана купуялык

PII/PCI (детерминацияланган токенизация).
RLS/CLS текшерүү: колдонуучулар гана өз көргөн.
Экспорт/снепшоттор: "чийки" жеке талаалардын жоктугу.

4) Striming өзгөчөлүктөрү (Kafka/Flink/Spark Structured Streaming)

Watermarks жана lateness: кеч окуялар менен терезе тесттер (T + Δ), туура эсептөөлөр.
Exactly-once мааниси боюнча: dedup 'event _ id', idempotent жазуу (upsert/merge).
Out-of-order: 'event _ time' боюнча агрегаттарга инварианттар; 'ingested _ at'.
Жоготуу/кайталоо: бөлүкчөлөрдү/реиграцияны симуляциялайбыз, витриналардын тууралыгын текшеребиз.

5) Идемпотенттүүлүк жана детерминизм (эмне жана кантип сыноо керек)

Кадамды кайра баштоо ошол эле натыйжаны берет (терезенин бирдей параметрлери менен).
Жазуу - staging жана atomic swap аркылуу.
SCD1/SCD2 менен соода-логика чыр-тесттер менен капталган (last-write-wins, source priority).
UDF/агрегаттардын аныкталышы: бирдей кирүүлөр → бирдей чыгуулар.

6) Тест маалыматтарды башкаруу

Golden datasets: кол менен тастыктоо менен чакан стандарттар.
Синтетика + маалымат Factory: домен четтерин жабуу (nulls, extreme values, Unicode, TZ).
Де-идентификацияланган прод-сэмплдер: купуялуулуктун шайкештиги.
Катмарлуу фикстуралар: чийки окуялар, аралык катмарлар, акыркы витриналар.

7) Маалыматтар контракттары: мисал жана эрежелер

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Байкоо жана SLO тесттер

Экспорттук метриктер: Freshness, Completeness, Uniqueness, Latency боюнча Grafana/Prometheus.
SLO-Alerts "кызыл" Unit сыноо катары (Synthetics).
Регрессия репорттору: "X p95 ↑ чыгарылгандан кийин 40% га".

9) CI/CD жана чөйрө

CI: бирдиги + DQ + PR келишимдер; schema-diff; SQL статикалык талдоо (линтер).
Sandbox/staging: интеграциялык жана e2e прогону, коопсуз маалыматтар менен башаламандык тесттер.
Feature-flags: Kanareic Jobs/моделдер/формулалар.
Каталогдоштуруу: схемалардын версиясы, KPI формулалары, сызык; документтерди автоматтык түрдө жаңыртуу.

10) Хаос-Data Test (Chaos-Data)

Injection дубликат/пропуск, кечигүү, out-of-order.
Брокердин/партиянын кулашы, "сынган" файлдар, схемасы drift.
Auto ремонт (replay/backfill), quarantine жана alert, MTTR-data.

11) Жүктөө жана наркы

p95/чокулары менен жол генераторлору.
Scan/кадам боюнча чектөөлөр (bytes scanned, time caps).
A/B наркы профилер: "эски" vs "жаңы" модель/суроо.

12) Куралдар (болжолдуу класстар)

DQ/Контракттар: dbt тесттер, Улуу Expectations, Deequ, Soda, Custom linters.
Оркестр: Airflow/Dagster/Argo/Prefect (ар бир кадам сыноо операторлору).
Платформалар: BigQuery/Snowflake/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Streaming: Kafka, Flink, Spark Streaming; TestContainers жергиликтүү чөйрөлөр үчүн.
Observability: Prometheus/Grafana/Otel; DataHub/Amundsen/Collibra каталогдору.

13) Антипаттерндер

"Сыноо эч нерсе жок - бул жөн гана SQL": эч кандай бирдиктер жана DQ → сынган метрика.
Болгону E2E: жай, туруксуз, бузулуунун себептери так эмес.
SELECT: MINOR эволюциясында бузулат.
Сыноолордо OLTP Live окуу: туруксуздук жана флейкалар.
Алтын топтомдордун жоктугу: жыйынтыктарды салыштыра турган эч нерсе жок.
Эч кандай окшоштук тесттер: кайра иштетүү маалыматтарды бузат.
Унутулган агым: lateness/out-of-order/кайра жеткирүү сыналган эмес.

14) Ишке ашыруунун жол картасы

1. Базис: бирдик трансформация тесттери, алтын топтомдор, SQL линтери, DQ эрежелери топ-10 витриналары.
2. Контракттар: CI schema-diff, SemVer, автоматтык шайкештикти текшерүү.
3. Интеграциялар: DAG тесттер, idempotency, e2e критикалык агымдар үчүн.
4. Streaming: watermarks/lateness, dedup/idempotent sinks тесттер.
5. SLO жана башаламандык: продукт сапаты, Алерт, башаламандык жагдайлар, MTTR максаттары.
6. Оптималдаштыруу: перф-регрессия, бюджет-гвардалар, канар релиздери.

15) чыгаруу алдында чек тизмеси

• Бирдик тесттер негизги өзгөрүүлөр жана UDF камтыйт.
• DQ эрежелери сергектик/толуктугу/уникалдуулугу/диапазондору өтөт.
• Келишимдер жана schema-diff жашыл; жок өзгөрүүлөр жок.
• Аныктыгы текшерилген; atomic sink/merge иштейт.
• Streaming: watermarks/late data/out-of-order капталган; dedup жеринде.
• SLO-метрика көргөзмөгө коюлган; алерталар конфигурацияланган; runbooks бар.
• Тест-маалыматтар коопсуз; PII жашырылган; RLS/CLS текшерилген.
• Перф-регрессия жок; скан/убакытка лимиттер сакталды.
• Негизги сценарийлердин башаламандык тесттери өттү; MTTR-максаттуу жетишүү.

16) мини-шаблон мисалдар

16. 1 бирдик SQL тест (psevdo-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 сергектик эрежеси (Улуу Expectations-стили):

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Stream lateness текшерүү (псевдо-код):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Contract-test (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Жыйынтык

Маалымат конвейерлерин тестирлөө - бул чачыранды текшерүүлөрдүн жыйындысы эмес, системалуу тартип. тесттер пирамидасын бириктирип, келишимдер жана байкоо Идемпотенттүүлүк практикалары менен, схемалар жана агымдык инварианттар. Ошондо релиздер тез болот, окуялар - сейрек жана кыска, жана маалыматтар боюнча ишеним - туруктуу.