Өздігінен қалпына келтірілетін деректер

1) Анықтау және мақсаттар

Өздігінен қалпына келтірілетін деректер - бұл ақаулар автоматты түрде анықталатын, ал түзету әрекеттері (жөндеу, қайта жеткізу, кері қайтару, реконсиляция, қайта индекстеу) адамның қатысуынсыз немесе ең аз араласумен (сезімтал жағдайлар үшін human-in-the-loop) орындалатын деректер инженериясына көзқарас.
Мақсаттары: MTTR деректерін төмендету, сенімділікті арттыру, дрейфке және іркілістерге төзімділік, иеленудің болжамды құны.

2) Емделуге тиіс типтік іркілістер

Схемалар мен келісімшарттар: үйлеспейтін өзгерістер, жоғалған бағандар, үлгілік жанжалдар.
Сапасы/тұтастығы: телнұсқалар, рұқсатнамалар, бірегейліктің/референциялық тұтастықтың бұзылуы.
Уақыт пен ашықтық: инжестің кідіруі, терезе бойынша «тесіктер», TZ/локальдардың синхрондалмауы.
Идентификаторлар мен кілттер: ID генераторын ауыстыру, қайшылықтар, қалқымалы табиғи кілттер.
Оқиғалар тәртібі: кешігіп қалған оқиғалар, қайта ретке келтіру, қайта жеткізу (at-least-once).
Сақтау орындары: партиялардың тозуы, сынған файлдар/блоктар, шардингтің қисаюы.
Құқықтар/қауіпсіздік: дұрыс емес маскалар/шифрлау, түсірулерде PII ағуы.

3) Өзін-өзі қалпына келтіру бағандары

1. Автоматты тестілері бар деректер келісімшарттары (schemas + ережелер).
2. Идемпотенттік пайплайндар (қосарланған әсерсіз қайта іске қосу).
3. Журналға түсіру және қайта шығару (raw/bronze өзгермейтін, lineage).
4. Жөндеу механизмдері (replay, backfill, compaction, merge-repair, rebuild).
5. Бақылау және SLO (жаңалық, толымдылық, бірегейлік, жасырындылық).
6. Шешім қабылдау саясаты (автофиксим болғанда, эскалация болғанда).

4) Сапа келісімшарттары мен тестілері

Келісімшарт сипаттайды: схема, рұқсат етілген диапазондар, бірегейліктер, RLS/бүркемелеу, SLA жаңалық.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

Тесттер әр қадамда орындалады: инжест → стагинг → витрина. Ережелерді бұзу авто-жөндеуді (төменде қараңыз) және/немесе карантинді жандандырады.

5) Идемпотенттілік және детерминизм

Тұрақты кілттер бойынша Upsert/Merge (тарих үшін SCD2, тілімдерге SCD1).
Детерминирленген трансформациялар: бірдей параметрлерде бір кіріс → бір шығыс.
Нұсқаларды бақылау: кодтың/схемалардың/қабаттардың нұсқасын және деректер белгісін (watermark) белгілеңіз.
Idempotent sink: staging + atomic swap/rename арқылы жазу.
Exactly-once мағынасы бойынша: көліктің «at-least-once» + демпотенттік қабылдағыш қолайлы.

6) Авто-жөндеу механизмдері (repair toolkit)

Replay/Backfill: 't ∈ [T0, T1]' терезесінен өзгермейтін (raw) журналынан қайта жеткізу.
Reconciliation (салыстыру): агрегаттарды/кілттерді қабаттар арасында (raw, curated, marts) және жүйелер арасында (DWH көзі) салыстыру.
Deduplication: кілт бойынша window-dedup (txn_id, event_id) + қашықтықтың эвристикасы («лас» кілттер үшін fuzzy).
Compaction: ұсақ файлдарды ірі партияларға (Parquet/ORC) ауыстыру, қайта индекстеу.
Merge-repair: жазбалар қайшылығында - басымдық алдындағы (көз/уақыт/нұсқа бойынша).
Rebuild индекстер/материалданулар: агрегаттарды/cube/roll-up қайта есептеу.
Quarantine/Shadow: күдікті партиялар оқшауланады; тұтынушылар «таза» бұтақты оқиды.
Schema mediation: минорлы өзгерістер кезінде проекциялардың автоматты селекторы (дефолттарды толтыру, есептелетін бағандар).

7) Сақтауды қорғау және тұтастығы

Чек-сома және блоктардың валидациясы (CRC, паритет).
Кворум-сақтау орындары (RAFT/Paxos-үйлесімді жүйелер, quorum reads/writes).
Экономикалық артықшылық үшін өшіруді кодтау (erasure coding).
Нысандарды нұсқалау (object store versioning, undelete).
Atomic commit в Lakehouse (transaction log, ACID-таблицы: Delta/Iceberg/Hudi).

8) Оқиғалардың тәртібі және «лас шындық»

Кешігіп қалған оқиғалар: lateness-window ұстаңыз, watermark 'i пайдаланыңыз; терезелерді қайта есептеу.
Қайта жеткізу: global 'event _ id' бойынша dedup, idempotency-keys кестелері.
Ығыстырылған уақыт: TZ қалыпқа келтіру, 'ingested _ at' және 'event _ time' сақтау.
Out-of-order: watermark бойынша түзетулері бар event_time негізіндегі агрегаттар.

9) Шешім қабылдау логикасы (policy engine)

Ереже: «қандай аномалия → қандай әрекет → қандай табалдырықтар → кімнің иесі».

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) Деректерге арналған бақылау және SLO

• Витринаның ашықтығы (Freshness) ≤ 15 мин.
• Толымдылық (Completeness)> 99. 5% негізгі өрістер бойынша.
• Кілттердің бірегейлігі (Uniqueness): көшірме <0. 01%.
• Есептеу жасырындылығы: p95 <5 мин.
• Жөндеудің тұрақтылығы: MTTR-data <30 мин.

Метриктер мен алерталар: Prometheus/Grafana; деректердің инциденттерінің басым таспасын жасаңыз.

11) Реконсиляция және салыстыру (практика)

Жылжымалы терезедегі қабаттар/жүйелер арасында 'count/sum/min/max' дегенді салыстыру.
Кілттерді салыстыру: 'Δ = (A\B) ∪ (B\A)' жиындарының симметриялық айырмасы.
Кезеңдік «audit job»: дереккөзбен салыстыру, бастапқы тексеруде ішінара тексеру.
Төлемдер/қаржы: қосарлы жазба (double-entry), күндізгі cut-off салыстыру, түзетулер журналы.

12) Схемаларды басқару және эволюция

Схемалар үшін SemVer: MAJOR (сынады )/MINOR (қосады )/PATCH (түзетеді).
CI/CD-дегі келісімшарттар: schema-diff, үйлесімділік, көші-қонның автогенерациясы.
Backfill-хук: MINOR кезінде дефолттарды/есептелетін өрістерді қосу, сөрелерді қайта санау.
Икемді проекциялар: оқырмандар бағандардың кіші топтарын оқиды; «SELECT» дегенге тыйым саламыз.

13) Қауіпсіздік, құпиялылық, комплаенс

RLS/CLS: жолдар/бағандар сүзгілері, әсіресе repair-бұтақтарда және экспорттарда.
PII-бүркемелеу: тұрақты дедупликация үшін детерминирленген (tokenization).
Кіру/экспорт аудиті: кім не экспорттағанын, қайда жібергенін көрді.
DSAR/Retention: repair-процестерде автоматты түрде жою/анонимдеу; кері қайтару құқықтық талаптарды ескереді.

14) Құны және өнімділігі

Cost-aware backfill: терезе енін шектеу (мысалы, жылжымалы 3-7 күн).
Материалдану және кэш: тек өзгерген партияларды қайта есептеу (incremental).
Басымдық: алдымен күрделі сөрелер (қаржы, тәуекелдер), содан кейін талдамалық.
Off-peak жөндеулер: түнгі терезелер/жоспарлаушыда төмен басымдық.

15) Тестілеу және инциденттерді симуляциялау

Chaos-data-testing: стейджердегі партияларды/схемаларды әдейі бұзыңыз.
Жалған кідірістер: батчалардың, out-of-order, телнұсқалардың рұқсатнамаларын имитациялау.
Golden datasets: жөндеуден кейін салыстыру үшін эталондар.
GameDays: runbook командасының тұрақты жаттығулары.

16) Антипаттерндер

«Көрінбейтін» түзетулер: аудит пен есептіліксіз үнсіз түзетулер.
Өңделмеген backfill's: ақиқат көзі/формула нұсқасы жоқ.
Жөндеу кезінде OLTP-ге ауыр live-сұраулар: өнімді аяқтайсыз.
Тұтынушыларда SELECT: кез келген MINOR өзгерісі кезінде бұзылады.
Дедупликацияның жалғыз кілті: fallback-кілттердің/хэш-сигнатуралардың болмауы.

17) Енгізу жол картасы

1. Discovery: критикалық жиынтықтар/метриктер, тәуекелдер, иелері; тәуелділік картасы.
2. Келісімшарттар мен тестілер: CI-де схемаларды/ережелерді ресімдеңіз; publish глоссарий.
3. Сәйкестік: негізгі үлестерді upsert/merge, atomic sink деп қайта жазыңыз.
4. Raw журналы және lineage: өзгермейтін қабат, толық метадеректер, watermark 'i.
5. Repair-механиктер: backfill/replay, dedup, compaction, quarantine; policy engine.
6. Бақылау және SLO: сапа дашбордтары, алерта, басым лента.
7. Chaos-data және жаттығулар: тұрақты жаттығулар + runbook '.
8. Құнды оңтайландыру: инкременттік қайта есептеулер, терезелерді басымдыққа алу.

18) Шығарылым алдындағы чек-парақ

• Деректер келісімшарттары мен сапа тестілері күрделі жиынтықтарды жабады.
• Пайплайндар іспеттес; atomic commit және қайтарулар бар.
• backfill/replay және quarantine конфигурацияланған, эскалация саясаты жазылған.
• Freshness/Completeness/Uniqueness/Latency метриктері және өнімдегі алерталар.
• Түзетулер/жөндеулер аудиті қосылған; формулалар мен витриналардың нұсқалары сақталады.
• DSAR/Retention жөндеу және шығару кезінде сақталады.
• runbook 'және бар, жаттығулар өткізілді, MTTR-мақсатты бекітілген.
• Backfill's құны ұланмен шектелген.

19) Автоқыметтер үлгілері (шаблондар)

«Витринаның жаңаруы X» → backfill (last_2h) → егер 30 минутта болмаса → quarantine + on-call беті.
«Телнұсқаларды txn_id» → қатаң dedup + көзімен салыстыру → себептер туралы есеп қосыңыз.
«MINOR-схеманы өзгерту» → есептелетін дефолт өрісін генерациялау → rebuild агрегаттары.
«Партия жоғалту» → нұсқаланған объектіден қалпына келтіру → чек-сомамен верификация.

Қорытынды: өзін-өзі қалпына келтіретін деректер - бір ғана «жөндеу сценарийі» емес, жүйелік сәулет: формалды келісімшарттар, идемпотенттік пайплайндар, сенімді журналдандыру, автоматтандырылған жөндеу механикасы және қатаң SLO-мен ашық бақылау. Мұндай жүйе өзін-өзі жөндеп қана қоймай, тосын оқиғаларды түсінікті құны мен қалпына келтіру уақыты бар басқарылатын оқиғаларға айналдырады.