O’zini o’zi tiklaydigan ma’lumotlar

1) Belgilash va maqsadlar

O’zini o’zi tiklaydigan ma’lumotlar - ma’lumotlar muhandisligiga yondashuv bo’lib, bunda nuqsonlar avtomatik ravishda aniqlanadi, tuzatuvchi harakatlar (ta’mirlash, qayta yetkazib berish, qaytarish, rekonsilatsiya, qayta indeksatsiya) esa inson ishtirokisiz yoki minimal aralashuv (sezgir holatlar uchun human-in-the-loop) bilan bajariladi.
Maqsadlar: MTTR ma’lumotlarini kamaytirish, ishonchni oshirish, dreyf va nosozliklarga chidamlilik, egalik qilishning taxmin qilinadigan qiymati.

2) Davolanish kerak bo’lgan namunaviy nosozliklar

Sxemalar va kontraktlar: nomuvofiq o’zgarishlar, yo’qolgan ustunlar, namunaviy nizolar.
Sifat/yaxlitlik: dublikatlar, o’tkazib yuborishlar, noyoblik/referensial yaxlitlikning buzilishi.
Vaqt va yangilik: injestning kechikishi, derazalar bo’yicha «teshiklar», TZ/lokallarning sinxronizatsiyasi.
Identifikatorlar va kalitlar: ID generatorini almashtirish, notinchliklar, suzuvchi tabiiy kalitlar.
Voqealar tartibi: kechiktirilgan voqealar, qayta tartibga solish, qayta yetkazib berish (at-least-once).
Omborlar: partiyalar degradatsiyasi, buzilgan fayllar/bloklar, charding noto’g’ri.
Huquq/xavfsizlik: noto’g "ri niqoblar/shifrlash, tushirishda PII oqishi.

3) O’zini o’zi tiklash ustunlari

1. Avtomatik testlar bilan ma’lumotlar kontraktlari (schemas + qoidalar).
2. Idempotent payplaynlar (ikki effektsiz qayta ishga tushirish).
3. Jurnallash va takrorlanuvchanlik (raw/bronze oʻzgarmas, lineage).
4. Ta’mirlash mexanizmlari (replay, backfill, compaction, merge-repair, rebuild).
5. Kuzatish va SLO (yangilik, to’liqlik, o’ziga xoslik, yashirin).
6. Qarorlar qabul qilish siyosati (avtofikm, eskalatsiya).

4) Kontraktlar va sifat testlari

Kontrakt quyidagilarni tavsiflaydi: sxema, yo’l qo’yiladigan diapazonlar, noyoblik, RLS/niqoblash, SLA tazelik.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

Testlar har qadamda bajariladi: injest → staging → vitrin. Qoidalarning buzilishi avto-ta’mirlashni (quyida qarang) va/yoki karantinni faollashtiradi.

5) Idempotentlik va determinizm

Barqaror kalitlar boʻyicha Upsert/Merge (tarix uchun SCD2, kesish uchun SCD1).
Determinirlangan transformatsiyalar: bitta kirish → bir xil parametrlarda bitta chiqish.
Versiyalar nazorati: Kod/sxemalar/qatlamlar versiyasini va maʼlumotlar yorligʻini (watermark) oʻrnating.
Idempotent sink: staging + atomic swap/rename orqali yoziladi.
Exactly-once ma’nosi bo’yicha: transportning «at-least-once» + idempotent qabul qilgich maqbuldir.

6) Avto-ta’mirlash mexanizmlari (repair toolkit)

Replay/Backfill: oʻzgarmas jurnal (raw) dan’t ∈ [T0, T1]’oynasi orqasiga qayta yetkazib berish.
Reconciliation (qiyoslash): agregatlar/kalitlarni qatlamlar (raw, curated, marts) va tizimlar (DWH) oʻrtasida taqqoslash.
Deduplication: window-dedup (txn_id, event_id) + masofa evristikasi («iflos» kalitlar uchun fuzzy).
Compaction: kichik fayllarni katta qismlarga (Parquet/ORC) koʻchirish, qayta indekslash.
Merge-repair: yozuvlar toʻqnashganda - ustuvorlik predikatlari (manba/vaqt/versiya boʻyicha).
Rebuild indeksi/materializatsiyalar: agregatlarni qayta hisoblash/cube/roll-up.
Quarantine/Shadow: shubhali partiyalar izolyatsiya qilinadi; iste’molchilar «toza» novdani o’qiydilar.
Schema mediation: minor o’zgarishlarda avtomatik proyeksiya selektori (defoltlarni to’ldirish, hisoblab chiqiladigan ustunlar).

7) Saqlashni himoya qilish va yaxlitlik

Chek-summalar va bloklar validatsiyasi (CRC, paritet).
Kvorum saqlash (RAFT/Paxos-mos tizimlar, quorum reads/writes).
Tejamkor ortiqcha uchun oʻchirishni kodlash (erasure coding).
Object store versioning, undelete.
Atomic commit в Lakehouse (transaction log, ACID-таблицы: Delta/Iceberg/Hudi).

8) Voqealar tartibi va «iflos haqiqat»

Kechiktirilgan voqealar: lateness-window’ni saqlang, watermark’i dan foydalaning; oynalarni qayta hisoblash.
Qayta yetkazib berish: global’event _ id’boʻyicha dedup, idempotency-keys jadvallari.
Koʻchirilgan vaqt: TZ normallashuvi, saqlash’ingested _ at’va’event _ time’.
Out-of-order: event_time asosidagi agregatlar watermark boʻyicha tuzatishlar kiritiladi.

9) Qarorlar qabul qilish mantig’i (policy engine)

Qoida: «qanday anomaliya → qanday harakat → qanday chegara → kim egasi».

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) Ma’lumotlar uchun kuzatish va SLO

• Vitrinaning yangiligi (Freshness) ≤ 15 daqiqa.
• Toʻliq (Completeness)> 99. Asosiy maydonlarda 5%.
• Kalitlarning oʻziga xosligi (Uniqueness): dublikatlar <0. 01%.
• Hisob-kitobning latentligi: p95 <5 min.
• Ta’mirlash barqarorligi: MTTR-data <30 min.

Metrika va alertlar: Prometheus/Grafana ko’rgazmasiga qo’ying; ma’lumotlar hodisalarining ustuvor tasmasini yarating.

11) Qayta kuchaytirish va solishtirish (amaliyot)

Sirgʻalayotgan oynadagi qatlamlar/tizimlar orasidagi’count/sum/min/max’agregatlarini solishtirish.
Kalitlarni solishtirish:’Δ = (A\B) ∪ (B\A)’toʻplamlarining simmetrik farqi.
Davriy «audit job»: manba bilan taqqoslash, boshlang’ich tekshiruvda tanlab tekshirish.
To’lovlar/moliya: ikki tomonlama yozuv (double-entry), kunduzgi cut-off solishtirmalar, tuzatishlar jurnali.

12) Sxemalarni boshqarish va evolyutsiya

MAJOR (sinadi )/MINOR (qoʻshadi )/PATCH (tuzatadi) sxemalari uchun SemVer.
CI/CDdagi kontraktlar: schema-diff, moslik, migratsiya avtogeneratsiyasi.
Backfill-xuk: MINOR’da defolt/hisoblanadigan maydonlarni qoʻshish, vitrinalarni qayta hisoblash.
Moslashuvchan proyeksiyalar: o’quvchilar ustunlar turkumlarini o’qiydilar; «SELECT» ni taqiqlaymiz.

13) Xavfsizlik, maxfiylik, komplayens

RLS/CLS: satr/ustun filtrlari, ayniqsa repair-shoxobchalar va eksportlarda.
PII-niqoblash: barqaror deduplikatsiya uchun determinizatsiya (tokenization).
Kirish/eksport auditi: kim nima eksport qilganini, qayerga yuborganini koʻrdi.
DSAR/Retention: repair-jarayonlarda avto-olib tashlash/anonimlashtirish; orqaga qaytish huquqiy talablarni hisobga oladi.

14) Qiymati va unumdorligi

Cost-aware backfill: oynalarning kengligini cheklash (masalan, 3-7 kun davomida sirgʻaluvchi).
Materiallashtirish va kesh: faqat o’zgargan partiyalarni qayta hisoblash (incremental).
Ustuvorlik: avval tanqidiy vitrinalar (moliya, xavf-xatarlar), so’ngra tahliliy.
Off-peak ta’mirlash: tungi derazalar/rejalashtiruvchida past ustuvorlik.

15) Noxush hodisalarni sinash va simulyatsiya qilish

Chaos-data-testing: steyjdagi partiyalar/sxemalarni ataylab buzing.
Soxta kechikishlar: batch, out-of-order, dublikatlarni simulyatsiya qiling.
Golden datasets: ta’mirdan keyin solishtirish uchun etalonlar.
GameDays: Muntazam runbook mashgʻulotlari.

16) Antipatternlar

«Ko’rinmas» tuzatishlar: audit va hisobotsiz sukut saqlovchi tuzatishlar.
Yozilmagan backfill’lar: haqiqat manbai/formula versiyasi mavjud emas.
OLTPni ta’mirlashda og’ir live-so’rovlar: ishlab chiqarishni tugatasiz.
Isteʼmolchilarda SELECT: har qanday MINOR oʻzgarishida buziladi.
Deduplikatsiyaning yagona kaliti: fallback/xesh-signatura yo’qligi.

17) Joriy etish yo’l xaritasi

1. Discovery: tanqidiy to’plamlar/metriklar, xavf-xatarlar, egalari; qaramliklar xaritasi.
2. Kontraktlar va testlar: CIda sxemalar/qoidalarni rasmiylashtiring; publish lugʻat.
3. Idempotentlik: asosiy payplaynlarni upsert/merge, atomic sink ga qayta yozing.
4. Raw jurnali va lineage: oʻzgarmas qatlam, toʻliq meta maʼlumotlar, watermark’i.
5. Repair-mexanika: backfill/replay, dedup, compaction, quarantine; policy engine.
6. Kuzatish va SLO: sifat dashbordlari, alertlar, ustuvor lenta.
7. Chaos-data va mashqlar: muntazam mashqlar + runbook’.
8. Qiymatni optimallashtirish: inkremental qayta hisob-kitoblar, derazalarni ustuvorlashtirish.

18) Chiqarishdan oldingi chek-varaq

• Ma’lumotlar shartnomalari va sifat testlari tanqidiy to’plamlarni qamrab oladi.
• Payplaynlar idempotentdir; atomic commit va qaytishlar mavjud.
• Backfill/replay va quarantine moslashtirilgan, eskalatsiya siyosati yozilgan.
• Freshness/Completeness/Uniqueness/Latency metrikalari va proddagi alertlar.
• Tuzatish/ta’mirlash auditi kiritilgan; formulalar va vitrinalarning versiyalari saqlanadi.
• DSAR/Retention ta’mirlash va qaytarishda kuzatiladi.
• Runbook’i bor, mashqlar o’tkazildi, MTTR-maqsadli qayd etildi.
• Backfill’lar narxi gvardiya byudjeti bilan cheklangan.

19) Avto-harakatlarning namunalari (shablonlar)

«Vitrinaning yangiligining buzilishi X» → backfill (last_2h) → agar 30 daqiqada bo’lmasa → quarantine + on-call sahifasi.
"txn_id dublikatlarining ko’payishi" → qat’iy dedup + manba bilan solishtirish → sabablar to’g "risidagi hisobotni o’z ichiga oladi.
«MINOR - sxemani oʻzgartirish» → hisoblanadigan defolt maydonini yaratish → agregatlarni rebuild.
«Partiyalarni yo’qotish» → versiya qilingan obyektdan tiklash → chek-summa bilan tekshirish.

Xulosa: o’zini o’zi tiklaydigan ma’lumotlar bitta «ta’mirlash skripti» emas, balki tizimli arxitektura: rasmiy kontraktlar, idempotent payplaynlar, ishonchli jurnallash, ta’mirlashning avtomatlashtirilgan mexanikasi va qattiq SLOlar bilan shaffof kuzatish. Bunday tizim nafaqat o’zini tuzatadi, balki hodisalarni tushunarli qiymatga va tiklanish vaqtiga ega boshqariladigan hodisalarga aylantiradi.