Ինքնազարգացման տվյալներ

1) Սահմանումը և նպատակները

Ինքնազարգացման տվյալները տվյալների ճարտարագիտության մոտեցումն են, որի դեպքում թերությունները ինքնաբերաբար հայտնաբերվում են, իսկ ուղղիչ գործողությունները (վերականգնումը, կրկնվող առաքումը, արձագանքը, ռեկորդիզացիան, վերարտադրումը) կատարվում են առանց մարդու մասնակցության կամ նվազագույն միջամտության (human-in-the-loop զգայուն դեպքերի համար)։

Նպատակները ՝ MTTR տվյալների նվազումը, վստահության բարձրացումը, դրաֆթի և ձախողումների դիմադրությունը, սեփականության կանխատեսելի արժեքը։

2) Տիպիկ ձախողումներ, որոնք պետք է բուժվեն

Սխեմաները և պայմանագրերը 'անհամատեղելի փոփոխություններ, անհետացած սյուներ, տիպիկ հակամարտություններ։

Որակը/ամբողջականությունը 'կրկնօրինակներ, բացթողումներ, եզակի/հանրաքվեական ամբողջականության խախտումներ։

Ժամանակն ու թարմությունը 'թզուկի ձգձգումները, պատուհանների «անցքերը», TZ/locals ռասինխրոնիզացիան։

Բաղադրիչները և բանալիները 'ID գեներատորի փոփոխությունը, կոնֆլիկտները, որոնք լողում են բնական բանալիներ։

Իրադարձությունների կարգը 'ուշացած իրադարձությունները, գերբնակվածությունը, կրկնվող առաքումը (at-leport-once)։

Ֆորումը 'կուսակցության քայքայումը, բիթային ֆայլերը/բլոկները, շարդինգի խաչմերուկը։

Իրավունքները/անվտանգությունը 'սխալ դիմակներ/կոդավորումը, PII արտահոսքը բեռնման մեջ։

3) Ինքնազարգացման սեղաններ

1. Տվյալների պայմանագրերը (շեմաս + կանոնները) ավտոմատ թեստերով։

2. Idempotent pline (կրկնակի գործարկումը առանց կրկնակի էֆեկտների)։

3. Զարդանախշումը և վերարտադրումը (rance/bronze անփոփոխ, lineage)։

4. Վերականգնման մեխանիզմները (replay, backfill, compaction, merge-repert, rebuild)։

5. Դիտարկումը և SLO (թարմություն, ամբողջություն, յուրահատուկ, լատենտ)։

6. Որոշումների կայացման քաղաքականությունը (երբ ավտոֆիքսումը, երբ մենք էսկալիրում ենք)։

4) Պայմանագրեր և որակի թեստեր

Պայմանագիրը նկարագրում է 'սխեմա, թույլատրելի միջակայքներ, եզակի, RFC/դիմակավորում, SLA թարմություն։

Օրինակ (YAML-ոճ)

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

Թեստերը կատարվում են յուրաքանչյուր խմբագրության վրա 'ներարկումը, ստագինգը, վիտրինը։ Կանոնների խախտումը ակտիվացնում է մեքենայի վերականգնումը (տե՛ ս ներքևում) և/կամ կարանտինը։

5) Գաղափարախոսություն և դետերմինիզմ

Ups.ru/Merge կայուն բեկորների վրա (SCD2 պատմության համար, SCD1 կտրման համար)։

Դետերմինացված փոխակերպումներ. Մեկ ստանդարտ մեկ ելքը նույն տրամագծով։

Տարբերակների վերահսկումը 'արձանագրել կոդի/սխեմայի/շերտերի և տվյալների նշանի տարբերակը (watermark)։

Idempotent sink: Գրառումը staging + atomic swap/rename միջոցով։

Exactly-once իմաստը 'ընդունելի «at-leport-once» տրանսպորտը + idempotent ընդունիչ։

6) Ավտոմեքենայի վերականգնման մեխանիզմները (reprontoolkit)

Replay/Backfill: Պատուհանի կրկնվող առաքումը 't: [T0, T1] "անփոփոխ ամսագրից (raw)։

Reconciliation (ծափահարություն) 'ագրեգատների/շարժիչների համեմատություն շերտերի միջև (r021.curated no marts) և համակարգերի միջև (RTH աղբյուրի աղբյուրը)։

Deduplant: 108-dedup բանալին (txn _ id, event _ id) + հեռավորությունների էվրիստիկան (fuzy)։

Compaction: փոքր ֆայլերի տեղափոխումը մեծ կուսակցություններին (Parquet/ORC), պերինդեքսացիան։

Merge-rep.ru-ը 'ձայնագրությունների հակամարտության ժամանակ առաջնահերթություն է (աղբյուրի/ժամանակի/տարբերակի)։

Rebuild ինդեքսներ/նյութականացումներ 'ագրեգատների/cube/roll-up։

Quarantine/Shadow: Կասկածելի կուսակցությունները մեկուսացված են։ սպառողները կարդում են «մաքուր» ճյուղը։

Schema prodiation 'պրոյեկտների ավտոմատ ընտրողը (դեֆոլտների լրացումը, հաշվարկված սյունակները) մինորատիվ փոփոխությունների ժամանակ։

7) Պահեստավորման և ամբողջականության պաշտպանություն

Chek-գումարներ և բլոկների վալիդացիա (CRC, պարիտետ)։

Quorum-2019 (RAFT/Paxos-համատեղելի համակարգեր, ww.rum reads/writes)։

Լվացման կոդավորումը (erasure coding) տնտեսական ավելցուկի համար։

Օբյեկտների տարբերակումը (object store versioning, undelete)։

Atomic commit в Lakehouse (transaction log, ACID-таблицы: Delta/Iceberg/Hudi).

8) Իրադարձությունների կարգը և «կեղտոտ իրականությունը»

Ուշացած իրադարձությունները 'պահեք lateness-2019, օգտագործեք watermark' i; պատուհանների վերահաշվարկ։

Երկրորդ առաքումը 'dedup գլոբալ «event _ id», idempotency-keys աղյուսակները։

Հեռացված ժամանակը 'TZ նորմալացում, «ingested _ at» և «event _ time»։

Out-of-order: ագրեգատները event _ time-ի հիման վրա watermark-ով։

9) Որոշումների կայացման տրամաբանությունը (policy entine)

Կանոն. <<Ինչպիսի անոմալիա է կատարվում>>։

Օրինակ (կեղծ)

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) Դիտարկումը և SLO տվյալների համար

SLO-հավաքածու

Թարմ (Freshness) vitrina թիվ 15

Լիխտա (Completeness)> 99։ Հինգ տոկոսը հիմնական գազերով։

Հաճախականության եզակիությունը (Uniqueness) 'կրկնօրինակներ <0։ 01%.

Հաշվարկման լատենտ ՝ p95 <5 ռուբլիա

Վերականգնման կայունությունը ՝ MTTR-24< 30 ռուբլիա

Մետրիկները և ալերտները 'էքսպոնիզացնել Prometheus/Grafana; կառուցեք հիմնական տվյալների ժապավենը։

11) Ռեկոնսիլացիա և ծակոտներ (պրակտիկա)

Ագրեգատների շրջանակը '«count/sum/min/max» սայթաքող պատուհանի վրա շերտերի/համակարգերի միջև։

Միացումը 'հավաքածուների սիմետրիկ տարբերությունը' «J = (A/B) 108 (B/A)»։

Պարբերական «audit job» 'համեմատություն աղբյուրի հետ, առաջնային ստուգում։

Վճարումները/ֆինանսները 'կրկնակի գրառում (double-entry), ցերեկային cut-off-off-ը, թողարկման ամսագիրը։

12) Սխեմաների և էվոլյուցիայի կառավարումը

SemVer-ը սխեմաների համար 'MAJOR (կոտրում )/MINOR (ավելացնում )/PATCH (շտկում)։

CI/CD պայմանագրերը 'schema-diff, համատեղելիությունը, խմբակցությունների ավտոմատ արտադրությունը։

Backfill-huk: MINOR-ի դեպքում ավելացնել դեֆոլտներ/ցողունային դաշտեր, հաշվել վիտրինները։

Ճկուն պրոյեկցիաներ 'ընթերցողները կարդում են գաղութների ենթաբազմությունները։ արգելում ենք «RF RF»։

13) Անվտանգություն, գաղտնիություն, կոմպլամենս

RSA/CLS 'տողերի/սյունակների ֆիլտրեր, հատկապես repert-ճյուղերում և կատալոգներում։

PII դիմակավորում 'դետերմինացված (tokenization) կայուն dedupliation համար։

Մուտքի աուդիտը/էքսպորտը 'ով տեսավ, որ էքսպորտը ուղարկեց։

DSAR/Retention: Avto-հեռացում/անանունացում rep.ru գործընթացներում; հարկադրողները հաշվի են առնում իրավական պահանջները։

14) Արժեքը և արտադրողականությունը

Cost-ault backfill: պատուհանների լայնության սահմանափակումը (օրինակ, սայթաքելով 3-7 օր)։

Նյութալիզացիան և քեշը 'միայն փոփոխվող կուսակցությունների կրկնվող հաշվարկը (incremental)։

Գերակայություն 'սկզբում քննադատական վիտրիններ (ֆինանսներ, ռիսկեր), հետո վերլուծական։

Off-peak վերականգնումը 'գիշերային պատուհանները/ցածր գերակայությունը պլանավորման մեջ։

15) Փորձարկումներ և սիմվոլներ

Chaos-2019-testing: միտումնավոր կոտրեք կուսակցությունները/սխեմաները սթեյջի վրա։

Կեղծ ձգձգումներ 'համադրեք բացթողումները, out-of-order, կրկնօրինակները։

Golden ensasets: Վերանորոգումից հետո գլխարկի ստանդարտ։

GameDays: Թիմի ռուսական դասընթացները runbook 'am-ով։

16) Անտիպատերնի

«Անտեսանելի» ուղղումներ ՝ լուռ ուղղություններ առանց տեղեկատվության և հաշվետվությունների։

Չկապված backfill 'a: Չկա ճշմարտության/բանաձևերի տարբերակ։

Ծանր տեղեկատվական հարցումներ OLTP-ի հետ վերանորոգման ժամանակ. Դուք ստում եք։

RF-ն սպառողների մեջ 'կոտրվում է ցանկացած MINOR փոփոխությամբ։

Միակ dedupliation բանալին 'fallback-2019/hash-ազդանշան բացակայությունը։

17) Ճանապարհային քարտեզը

1. Discovery: քննադատական հավաքածուներ/մետրիկներ, ռիսկեր, սեփականատերեր։ կախվածության քարտեզը։

2. Պայմանագրեր և թեստեր 'ձևավորել սխեմաները/կանոնները CI-ում։ publish glossaria.

3. Idempotention: գրեք հիմնական plins ups.ru/merge, atomic sink։

4. Rox-ամսագիր և lineage 'անփոփոխ շերտ, ամբողջական մետատվյալներ, watermark' 108

5. Repox-մեխանիկները ՝ backfill/replay, dedup, compaction, quarantine; policy engine.

6. Դիտարկումը և SLO 'dashbords որակ, ալտերտեր, գերակայական ժապավեն։

7. Chaos-2019 և ուսուցումները 'ուսուցում + runbook "

8. Արժեքի օպտիմիզացումը 'երկարաժամկետ վերափոխումներ, պատուհանների գերակայություն։

18) Չեկ-թուղթ նախքան ֆորումը

• Տվյալների պայմանագրերը և որակի թեստերը ծածկում են կրիտիկական հավաքածուները։
• Propline idempotent; կա atomic commit և արձագանքներ։
• Backfill/replay և quarantine, գրված են էսկալացիայի քաղաքականությամբ։
• Metricki Freshness/Completeness/Uniqueness/Latency և alerts երկարությամբ։
• Միացված է աջ/վերանորոգման աուդիտը; պահում են բանաձևերի և վիտրինի տարբերակները։
• DSAR/Retention պահպանվում են վերանորոգման և արձագանքման ժամանակ։
• Կա runbook "և, ուսուցումներ կատարելով, MTR-2019-ը գրված է։
• Backfill "-ի արժեքը սահմանափակված է գվարդիայի բյուջեով։

19) Ավտոմատացման օրինակներ (ձևանմուշներ)

«X վիտրինի թարմության ձախողումը» www.backfill (lpe _ 2h) է, եթե ոչ 30 րոպեի ընթացքում quarantine + on-call էջը։

«Txn _ id» կրկնօրինակների աճը պլանավորվում է ներառել խիստ dedup + իջեցում, որի աղբյուրը բացատրում է պատճառների մասին զեկույցը։

«MINOR-ը սխեմայի փոփոխությունը» նախատեսում է սգացնել դեֆոլտի ցողունային դաշտը։

«Կուսակցության կորստը» նախատեսվում է վերականգնել տարբերակված օբյեկտից, որը համապատասխանում է չեկի-սումիի հավատալիքին։

Արդյունքն այն է, որ ինքնորոշվող տվյալները ոչ թե մեկ «վերանորոգման ջութակ» են, այլ համակարգային ճարտարապետություն 'ֆորմալ պայմանագրեր, կուռքեր, հուսալի ամսագրեր, ավտոմատացված վերանորոգման մեխանիզմներ և թափանցիկ դիտարկումներ SLO-ի կառուցվածքների հետ։ Այս համակարգը ոչ միայն իրեն է փակում, այլ նաև դեպքերին վերածում է վերահսկվող իրադարձությունների, որոնք ունեն հասկանալի արժեք և վերականգնման ժամանակ։