Деректер конвейерлерін тестілеу

1) Деректер конвейерлерін тестілеудің қажеті

• Сенімділік (correctness) және тұрақтылық (resilience).
• Өзгерістердің болжамдылығы (schema/logic evolution).
• Ашықтығы, толымдылығы, жасырындылығы бойынша SLO-ны сақтау.
• Автоматтандырылған тексеру есебінен жылдам шығару (релиздер жылдамдығы).

2) Деректерді тестілеу пирамидасы

Төменнен жоғары: көптеген жылдам жергілікті тесттер → аз интеграциялық → сәл end-to-end.

1. Трансформацияның юнит-тестілері (функциялар, UDF, SQL-видтер, dbt-модельдер).
2. Деректер сапасының тестілері (жаңалық/толықтық/бірегейлік/ауқым ережелері).
3. Келісімшарттар мен схемалар (schema/contract tests, эволюция).
4. Пайплайнның интеграциялық тестілері (DAG: ingest, storage, transform, marts).
5. E2E-тесттер (көзінен витринаға/API дейін), соның ішінде құқықтар (RLS/CLS) және экспорт.
6. Жүктеме/өнімділік (көлем, жылдамдық, cost-to-serve).
7. Деректердің хаос-тесттері (кідірістер, телнұсқалар, out-of-order, қол жетімсіздік).

3) Тест түрлері: нені тексереміз

3. 1 Логиканың юнит-тесттері

Трансформацияның таза функциялары; property-based (инварианттар: теңсіздік, біркелкілік).
SQL/DBT: нәтижені эталонмен (golden set) салыстыру, 'SELECT' дегенге тыйым салу, сүзгіні уақыт бойынша тексеру.

3. 2 Деректер сапасының тесттері (DQ)

Жаңалық: сөрелердің мақсатты ≤ кідіруі.
Толықтығы: күтілетін саны/толтырылу үлесі.
Бірегейлік: қайталаусыз кілттер.
Домендік ережелер: ауқымдар, референциялық тұтастық, бизнес-инварианттар.
Ауытқулар: outliers, қайталау жарқылдаулары, уақыт үзілістері.

3. 3 Келісімшарттар мен схемалар

Өзгерістердің үйлесімділігі (SemVer: MAJOR/MINOR/PATCH).
Міндетті бағандардың, типтердің, шектеулердің болуы.
KPI бекітілген семантикалары: өрнектер мен терезелер.

3. 4 Интеграциялық және E2E

DAG тұтастығы: триггерлер, тәуелділіктер, демпотенттік қайталау.
Толық жол: көз → raw → curated → marts → BI/API; RLS/CLS.

3. 5 Өнімділік және шығындар

p95/p99 джобтардың жасырындылығы, throughput (rows/s), көлемі/құны.
Өнімділік регрессиясының тестілері және сканерлерге арналған лимиттер.

3. 6 Қауіпсіздік және құпиялылық

PII/PCI бүркемелеу (детерминирленген токенизация).
RLS/CLS тексеру: пайдаланушылар тек өздерін ғана көреді.
Экспорт/снепшоттар: «шикі» дербес өрістердің болмауы.

4) Стримингтің ерекшелігі (Kafka/Flink/Spark Structured Streaming)

Watermarks және lateness: кешіккен оқиғалары бар терезе тестілері (T + Δ), дұрыс қайта есептеулер.
Exactly-once мағынасы бойынша: дедуп бойынша 'event _ id', идемпотенттік жазба (upsert/merge).
Out-of-order: 'event _ time' бойынша агрегаттарға инварианттар; 'ingested _ at'.
Жоғалту/қайталау: партияның бөлшегін/реиграсын елестетеміз, витриналардың дұрыстығын тексереміз.

5) Идемпотенттілік және детерминизм (не және қалай тестілеу керек)

Қадамды қайта іске қосу бірдей нәтиже береді (терезе параметрлері бірдей болғанда).
Жазу - staging және atomic swap арқылы.
SCD1/SCD2 бар merge-логика қайшылықтар тестімен (last-write-wins, source priority) қамтылған.
UDF/агрегаттардың детерминациясы: бірдей кіру → бірдей шығу.

6) Тест-деректерді басқару

Golden datasets: қолмен валидацияланған шағын эталондар.
Синтетика + деректер фабрикасы: домен шеттерін жабу (nulls, extreme values, Unicode, TZ).
Сәйкестендірілген прод-сэмплдер: құпиялылыққа сәйкестігі.
Қабатты фикстуралар: дымқыл оқиғалар, аралық қабаттар, қорытынды сөрелер.

7) Деректер келісімшарттары: мысал және ережелер

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Бақылау және SLO тестілері

Экспорт метрик: Freshness, Completeness, Uniqueness, Latency в Grafana/Prometheus.
SLO-алерттер «қызыл» юнит-тесттер ретінде (Synthetics).
Регрессия репорттары: «X p95 ↑ шығарылғаннан кейін 40% -ға».

9) CI/CD және орта

CI: юнит + DQ + PR келісімшарттары; schema-diff; SQL (линтер) статикалық талдауы.
Құмсалғыш/staging: қауіпсіз деректері бар интеграциялық және e2e, хаос-тесттерді өткізу.
Feature-flags: канареялық джобтар/модельдер/формулалар.
Каталогтау: схемалар нұсқасы, KPI формулалары, lineage; құжаттаманы автоматты түрде жаңарту.

10) Деректерді хаос-тестілеу (Chaos-Data)

Телнұсқаларды/рұқсатнамаларды, кідірістерді инъекциялау.
Брокердің/партияның құлауы, «сынған» файлдар, schema drift.
Валидация: авто-жөндеу (replay/backfill), quarantine және алерта, MTTR-data.

11) Жүктеме және құн

р 95 бейіні бар трафик генераторлары/пик.
/ қадамға арналған лимиттер (bytes scanned, time caps).
A/B құнды бейіндеуші: «ескі» vs «жаңа» модель/сұрау салу.

12) Құралдар (үлгі сыныптар)

DQ/Келісімшарттар: dbt tests, Great Expectations, Deequ, Soda, Custom linters.
Оркестрлеу: Airflow/Dagster/Argo/Prefect (әр қадамдағы тест операторлары).
Платформалар: BigQuery/Snowflake/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Стриминг: Kafka, Flink, Spark Streaming; Жергілікті орталар үшін TestContainers.
Observability: Prometheus/Grafana/Otel; DataHub/Amundsen/Collibra каталогтары.

13) Антипаттерндер

«Тестілеуге ештеңе жоқ - бұл жай ғана SQL»: бірліктер жоқ және DQ → метриктер бұзылады.
Тек E2E ғана: баяу, тұрақсыз, бұзылу себептері түсініксіз.
SELECT: MINOR-эволюциясы кезінде бұзылады.
Тесттерде OLTP Live оқу: тұрақсыздық және флейта.
Golden-жиынтықтардың болмауы: нәтижелерді салыстыратын ештеңе жоқ.
Теңсіздік тестілері жоқ: қайта іске қосу деректерді бүлдіреді.
Ұмытылған стриминг: lateness/out-of-order/қайта жеткізу тестіленбейді.

14) Енгізу жол картасы

1. Базис: трансформацияның юнит-тесттері, golden-жиынтықтар, SQL линтері, DQ-ережелері top-10 витриналар.
2. Келісімшарттар: CI, SemVer-де schema-diff, үйлесімділікті автоматты түрде тексеру.
3. Интеграциялар: DAG-тесттер, idempotency, e2e сыни ағындар үшін.
4. Стриминг: тестілер watermarks/lateness, dedup/idempotent sinks.
5. SLO және хаос: өнімдегі сапа өлшемдері, алерталар, хаос-сценарийлер, MTTR-мақсаттар.
6. Оңтайландыру: перф-регрессия, бюджет-гвардалар, канареялық релиздер.

15) Шығарылым алдындағы чек-парақ

• Юнит-тесттер негізгі трансформациялар мен UDF қамтиды.
• Жаңалық/толымдылық/бірегейлік/диапазондар үшін DQ ережелері өтеді.
• Келісімшарттар және schema-diff жасыл; аппрувсыз бұзатын өзгерістер жоқ.
• Сәйкестігі тексерілді; atomic sink/merge жұмыс істейді.
• Стриминг: watermarks/late data/out-of-order жабылған; dedup орнында.
• SLO-метриктер экспонатталады; алерттар конфигурацияланған; runbooks бар.
• Тест-деректер қауіпсіз; PII бүркемеленген; RLS/CLS тексерілді.
• Перф-регрессия жоқ; сканерлерге/уақытқа арналған лимиттер сақталған.
• Базалық сценарийлердің хаос-тестілері өтті; MTTR-мақсатты қол жеткізуге болады.

16) Шағын үлгілердің үлгілері

16. 1 Юнит-тест SQL (псевдо-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 Жаңалық ережесі (Great Expectations-стиль):

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Ағымда lateness тексеру (псевдо-код):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Contract-test (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Жиынтық

Деректер конвейерлерін тестілеу - бұл шашыраңқы тексерулер жинағы емес, жүйелік тәртіп. Тесттер пирамидасын, келісімшарттарды және байқалушылықты демпотенттілік, схемалар мен стримингтік инварианттар эволюциясы тәжірибелерімен біріктіріңіз. Сонда релиздер жылдам, тосын оқиғалар сирек және қысқа болады, ал деректерге деген сенім тұрақты болады.