თვითნაკეთი მონაცემები

1) განსაზღვრა და მიზნები

თვითნაკეთი მონაცემები არის მონაცემთა ინჟინერიის მიდგომა, რომლის დროსაც დეფექტები ავტომატურად ვლინდება, ხოლო მაკორექტირებელი მოქმედებები (რემონტი, ხელახალი მიწოდება, გამოტოვება, რეკონსტრუქცია, ხელახალი ინდექსირება) ხორციელდება პირის მონაწილეობის გარეშე ან მინიმალური ჩარევით (მგრძნობიარე შემთხვევებისთვის).
მიზნები: MTTR მონაცემების შემცირება, ნდობის გაზრდა, დრიფტის წინააღმდეგობა და გაუმართაობა, საკუთრების პროგნოზირებადი ღირებულება.

2) ტიპიური გაუმართაობა, რომელსაც მკურნალობა სჭირდება

სქემები და კონტრაქტები: შეუთავსებელი ცვლილებები, დაკარგული სვეტები, ტიპიური კონფლიქტები.
ხარისხი/მთლიანობა: დუბლიკატები, გამოტოვებები, უნიკალურობის დარღვევა/რეფერენდუმის მთლიანობა.
დრო და სიახლე: ინჟესტის შეფერხებები, ფანჯრების გასწვრივ „ხვრელები“, TZ/Lockles- ის რაციონალიზაცია.
იდენტიფიკატორები და გასაღებები: ID გენერატორის შეცვლა, კონფლიქტები, ბუნებრივი გასაღებების მცურავი.
ღონისძიებების რიგი: დაგვიანებული მოვლენები, ხელახალი მიტანა, ხელახალი მიწოდება.
საცავი: წვეულებების დეგრადაცია, გატეხილი ფაილები/ბლოკები, sharding curves.
უფლებები/უსაფრთხოება: არასწორი ნიღბები/დაშიფვრა, PII გაჟონვა გადმოტვირთვაში.

3) ნაგავსაყრელის სვეტები

1. მონაცემთა კონტრაქტები (schemas + წესები) ავტომატური ტესტებით.
2. Idempotent piplines (ხელახალი გაშვება ორმაგი ეფექტების გარეშე).
3. ჟურნალისტიკა და რეპროდუქცია (raw/bronze უცვლელი, ხაზოვანი).
4. რემონტის მექანიზმები (replay, backfill, compaction, merge-repair, rebuild).
5. დაკვირვება და SLO (სიახლე, სისრულე, უნიკალურობა, ლატენტობა).
6. გადაწყვეტილების მიღების პოლიტიკოსები (როდესაც ავტომატური ფიქსაცია, როდესაც ესკალაცია).

4) კონტრაქტები და ხარისხის ტესტები

კონტრაქტი აღწერს: დიაპაზონის დასაშვები დიაპაზონი, უნიკალურობა, RLS/შენიღბვა, SLA სიახლე.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

ტესტები ტარდება თითოეულ ეტაპზე: ინჟესტი, სტაგნაცია და ვიტრინა. წესების დარღვევა ააქტიურებს მანქანების რემონტს (იხ. ქვემოთ) და/ან კარანტინს.

5) იდემპოტენტობა და დეტერმინიზმი

Upsert/Merge სტაბილური კლავიშებით (SCD2 ისტორიისთვის, SCD1 ჭრილობისთვის).
დეტერმინისტული ტრანსფორმაციები: ერთი შეყვანა - ერთი გასასვლელი იგივე პარამეტრებით.
ვერსიის კონტროლი: ჩაწერეთ კოდის/სქემების/ფენების და მონაცემთა ეტიკეტის ვერსია (watermark).
Idempotent sink: ჩაწერა staging + atomic swap/rename.
Exactly-once მნიშვნელობით: სატრანსპორტო საშუალების მისაღები „ast-once“ + idempotent მიმღები.

6) რემონტის მექანიზმები (repair toolkit)

Replay/Backfill: განმეორებითი მიწოდება ფანჯარაში 't' [T0, T1] 'უცვლელი ჟურნალიდან (raw).
Reconciliation (Creconciliation): დანაყოფების/კლავიშების შედარება ფენებს შორის და სისტემებს შორის (წყარო - DWH).
Deduplication: window-dedup გასაღები (txn _ id, event _ id) + დისტანციური ევრაზია (fuzzy „ბინძური“ გასაღებებისთვის).
Compaction: მცირე ფაილების გადატანა დიდ ნაწილებში (Parquet/ORC), გადაკეთება.
Merge-repair: ჩანაწერების კონფლიქტში - პრიორიტეტული პრედიკატები (წყაროს/დროის/ვერსიის მიხედვით).
Rebuild ინდექსები/მატერიალიზაცია: დანაყოფების გადაანგარიშება/cube/roll-up.
Quarantine/Shadow: საეჭვო მხარეები იზოლირებულია; მომხმარებლები კითხულობენ „სუფთა“ ფილიალს.
Schema mediation: ავტომატური პროექციის სელექტორი (ნაგულისხმევი შევსება, გამოთვლილი სვეტები) უმცირესობის ცვლილებებით.

7) შენახვისა და მთლიანობის დაცვა

ჩეკის თანხები და ბლოკების შესაბამისობა (CRC, პარიტეტი).
კვორუმის საცავი (RAFT/Paxos თავსებადი სისტემები, -- rum reads/writes).
წაშლის კოდირება ეკონომიური გადაჭარბებისთვის.
ობიექტების ვერსია (object store versioning, undelete).
Atomic commit в Lakehouse (transaction log, ACID-таблицы: Delta/Iceberg/Hudi).

8) მოვლენების წესრიგი და „ბინძური რეალობა“

დაგვიანებული მოვლენები: შეინარჩუნეთ lateness window, გამოიყენეთ watermark 'და; ფანჯრების გადაანგარიშება.
ხელახალი მიწოდება: dedup გლობალური ღონისძიების _ id ', idempotence-keys ცხრილები.
გადაადგილების დრო: TZ ნორმალიზაცია, შენახვა 'ingested _ at' და 'event _ time'.
Out-of-order: Event _ time- ზე დაფუძნებული დანაყოფები watermark- ის კორექტირებით.

9) გადაწყვეტილების მიღების ლოგიკა

წესი: „რა ანომალიაა, რა მოქმედებაა, რა ზღურბლები არის, ვინ არის მფლობელი“.

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) მონაცემთა დაკვირვება და SLO

• ახალი (Freshness) ფანჯრები 15 მმ
• სისრულე (კომპლექტი)> 99. 5% საკვანძო მინდვრებში.
• უნიკალურობა გასაღებები: დუბლიკატები <0. 01%.
• გაანგარიშების ლატენტობა: p95 <5 წთ
• რემონტის სტაბილურობა: MTTR მონაცემები <30 წთ

მეტრიკა და ალერტები: გამოფენილი Prometheus/Grafana; ააშენეთ მონაცემთა ინციდენტების პრიორიტეტული ფირზე.

11) რეკონსაცია და შერიგება (პრაქტიკა)

ერთეულების შერწყმა: 'count/sum/min/max' მოცურების ფანჯარაში ფენებს/სისტემებს შორის.
კლავიშების შერწყმა: სიმეტრიული განსხვავება კომპლექტებში 'M = (A\B) (B\A)'.
პერიოდული „audit job“: შედარება წყაროსთან, პირველადი ტესტირება.
გადახდები/ფინანსები: ორმაგი ჩაწერა, ყოველდღიური cut-off კრიკეტები, კორექტირების ჟურნალი.

12) სქემების მართვა და ევოლუცია

SemVer სქემებისთვის: MAJOR (არღვევს )/MINOR (დასძენს )/PATCH (ასწორებს).
კონტრაქტები CI/CD- ში: schema-diff, თავსებადობა, მიგრაციის ავტომატური წარმოება.
Backfill huk: MINOR- ში დაამატეთ ნაგულისხმევი/გამოთვლილი ველები, დაითვალეთ ფანჯრები.
მოქნილი პროგნოზები: მკითხველები კითხულობენ სვეტების ქვესათაურებს; აკრძალეთ SELECT.

13) უსაფრთხოება, კონფიდენციალურობა, შესაბამისობა

RLS/CLS: სტრიქონების/სვეტების ფილტრები, განსაკუთრებით რეპერის ფილიალებში და ექსპორტებში.
PII შენიღბვა: დეტერმინაცია (ტოკენიზაცია) სტაბილური დედაპლაციისთვის.
წვდომის/ექსპორტის აუდიტი: ვინც დაინახა, რომ ექსპორტზე გაიგზავნა, სადაც გაგზავნეს.
DSAR/Retention: მანქანის მოცილება/ანონიმიზაცია რეპერის პროცესებში; გამოხმაურებები ითვალისწინებს იურიდიულ მოთხოვნებს.

14) ღირებულება და შესრულება

Cost aware backfill: ფანჯრის სიგანის შეზღუდვა (მაგალითად, მოცურების 3-7 დღე).
მატერიალიზაცია და ქეში: ახლად შეცვლილი მხარეების ხელახალი გაანგარიშება (incremental).
პრიორიტეტი: ჯერ კრიტიკული ფანჯრები (ფინანსები, რისკები), შემდეგ ანალიტიკური.
Off-peak რემონტი: ღამის ფანჯრები/დაბალი პრიორიტეტი დამონტაჟებაში.

15) ინციდენტების ტესტირება და სიმულაცია

Chaos-data-testing: განზრახ დაარღვიეთ ნაწილები/სქემები staje- ზე.
ყალბი შეფერხებები: სიმულაცია მოახდინეთ ბრძოლების გამოტოვება, out-of-order, დუბლიკატები.
ოქროს მონაცემთა ბაზები: შეკეთების შემდეგ გადამოწმების სტანდარტები.
GameDays: რეგულარული ტრენინგი runbook 'am გუნდისთვის.

16) ანტიპატერები

„უხილავი“ შესწორებები: ჩუმად რედაქტირება აუდიტის და ანგარიშგების გარეშე.
არაპროგნოზირებადი ყუთები: არ არსებობს სიმართლის წყარო/ფორმულების ვერსია.
რემონტის დროს OLTP- ს მძიმე ცოცხალი მოთხოვნები: დაასრულეთ პროდი.
SELECT მომხმარებლებში: იშლება ნებისმიერი MINOR ცვლილებით.
დედაპლაციის ერთადერთი გასაღები: fallback გასაღებების/მძიმე ხელმოწერების არარსებობა.

17) საგზაო რუკა

1. Discovery: კრიტიკული ნაკრები/მეტრიკა, რისკები, მფლობელები; დამოკიდებულების რუკა.
2. კონტრაქტები და ტესტები: CI სქემების/წესების ფორმირება; publish გლოსარიუმი.
3. Idempotence: გადაიწერეთ ძირითადი შეღავათები upsert/merge, atomic sink.
4. Raw ჟურნალი და ხაზები: უცვლელი ფენა, სავსე მეტამონაცემებით, watermark '.
5. რეპერის მექანიკა: backfill/replay, dedup, compaction, quarantine; policy engine.
6. დაკვირვება და SLO: ხარისხის დაშბორდები, ალერტები, პრიორიტეტული ფირზე.
7. ქაოსის მონაცემები და ტრენინგი: რეგულარული წვრთნები + runbook '.
8. ღირებულების ოპტიმიზაცია: საგანგებო გამოთვლები, ფანჯრების პრიორიტეტი.

18) ჩეკის სია გამოქვეყნებამდე

• მონაცემთა კონტრაქტები და ხარისხის ტესტები მოიცავს კრიტიკულ კომპლექტებს.
• Payplines idempotent; არსებობს ატომური კომიტეტი და გამოტოვება.
• განლაგებულია backfill/replay და quarantine, ასახულია ესკალაციის პოლიტიკა.
• მეტრიკა Freshness/Completeness/Uniqueness/Latency და ალერტები გაყიდვაში.
• რედაქტირების/რემონტის აუდიტი; ინახება ფორმულების და ფანჯრების ვერსიები.
• DSAR/Retention დაცულია რემონტისა და გამოტოვების დროს.
• არის runbook 'და, ჩატარდა სავარჯიშოები, დაფიქსირდა MTTR სამიზნე.
• backfill- ის ღირებულება შემოიფარგლება მხოლოდ ბიუჯეტის მცველებით.

19) საგზაო მოქმედებების მაგალითები (შაბლონები)

„X ფანჯრის სიახლეების წარუმატებლობა“ - backfill (last _ 2h), თუ არა 30 წუთში, quarantine + გვერდი on-call.
„დუბლიკატების ზრდა txn _ id“ - ს შემადგენლობაში შედის მკაცრი dedup + corpus წყაროსთან ერთად - ანგარიში მიზეზების შესახებ.
„MINOR სქემის ცვლილება“ - ს წარმოქმნას ნაგულისხმევი ველი - შეკეთების ერთეულები.
„წვეულებების დაკარგვა“ შეიძლება აღდგეს ვერსირებული ობიექტიდან, ჩეკის თანხის გადამოწმებით.

შედეგი: თვითნაკეთი მონაცემები არ არის ერთი „რემონტის სკრიპტი“, არამედ სისტემის არქიტექტურა: ოფიციალური კონტრაქტები, idempotent plines, საიმედო ჟურნალისტიკა, ავტომატიზირებული სარემონტო მექანიკა და გამჭვირვალე დაკვირვება მკაცრი SLO- სთან. ასეთი სისტემა არა მხოლოდ საკუთარ თავს ასწორებს, არამედ ინციდენტებს გადააქცევს კონტროლირებად მოვლენებად, რომელსაც აქვს აშკარა ღირებულება და აღდგენის დრო.