بيانات الشفاء الذاتي

1) التعريف والأهداف

بيانات الشفاء الذاتي هي نهج لهندسة البيانات حيث يتم اكتشاف العيوب تلقائيًا، ويتم تنفيذ الإجراءات التصحيحية (الإصلاح، إعادة التسليم، التراجع، إعادة الدمج، إعادة الفهرسة) دون تدخل بشري أو مع الحد الأدنى من التدخل (الإنسان في الحلقة للحالات الحساسة).
الأهداف: انخفاض البيانات MTTR، وزيادة الثقة، والمرونة في الانجراف والفشل، والتكلفة المتوقعة للملكية.

2) الثغرات النموذجية التي يجب علاجها

المخططات والعقود: تغييرات غير متوافقة، أعمدة مفقودة، تضارب النوع.
الجودة/النزاهة: الازدواجية، الإغفالات، التفرد/انتهاكات النزاهة المرجعية.
الوقت والنضارة: تأخير الحقن، «ثقوب» في النوافذ، عدم تزامن TZ/locales.
المعرفات والمفاتيح: تغيير مولد الهوية، الاصطدامات، المفاتيح الطبيعية العائمة.
ترتيب الأحداث: الأحداث المتأخرة، إعادة الترتيب، إعادة التسليم (مرة واحدة على الأقل).
المخزونات: تدهور الدفعات، الملفات/الكتل المكسورة، تشويه الشحن.
الحقوق/الأمان: أقنعة/تشفير غير صحيحة، تسريبات PII في التحميلات.

3) ركائز الشفاء الذاتي

1. عقود البيانات (المخططات + القواعد) مع الاختبارات التلقائية.
2. خطوط الأنابيب الخفية (إعادة التشغيل بدون تأثيرات مزدوجة).
3. اليوميات وقابلية التكاثر (الخام/البرونزي غير قابل للتغيير، النسب).
4. آليات الإصلاح (إعادة التشغيل، الردم، الضغط، الدمج - الإصلاح، إعادة البناء).
5. إمكانية الرصد و SLO (النضارة والاكتمال والتفرد والكمون).
6. سياسات صنع القرار (عندما نصلح تلقائيًا، عندما نتصاعد).

4) العقود واختبارات الجودة

يصف العقد: مخطط، نطاقات مقبولة، تفرد، RLS/قناع، نضارة SLA.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

يتم تنفيذ الاختبارات في كل خطوة: الحقن → → العرض. يؤدي انتهاك القواعد إلى تنشيط الإصلاح التلقائي (انظر أدناه) و/أو الحجر الصحي.

5) الفراغ والحتمية

Upsert/ادمج بمفاتيح ثابتة (SCD2 للتاريخ، SCD1 للشرائح).
التحولات الحتمية: مدخل واحد → ناتج واحد بنفس البارامترات.
Versioning - أصلح إصدار الشفرة/المخطط/الطبقة وملصق البيانات (العلامة المائية).
الحوض الغبي: التسجيل عبر staging + atomic swap/rename.
مرة واحدة بالضبط في المعنى: النقل المقبول «مرة واحدة على الأقل» + المتلقي الخفي.

6) مجموعة أدوات الإصلاح

إعادة التشغيل/ملء الخلف: إعادة التسليم للنافذة التي لا ∈ [T0، T1] 'من سجل غير قابل للتغيير (خام).
التسوية: مقارنة المجاميع/المفاتيح بين الطبقات (الخام ↔ المنسق ↔ مارت) وبين النظم (المصدر ↔ DWH).
Deduplication: window dedup by key (txn_id, event_id) + distance heuristic (fuzy for dirty keys).
الضغط: نقل الملفات الصغيرة إلى الأطراف الكبيرة (Parquet/ORC)، وإعادة الفهرسة.
الدمج - الإصلاح: عند تنازع السجلات، ترتيب الأولويات (حسب المصدر/الوقت/النسخة).
إعادة بناء الفهارس/المواد: إعادة حساب المجاميع/المكعبات/اللفات.
الحجر الصحي/الظل: تعزل الأطراف المشبوهة نفسها ؛ يقرأ المستهلكون خيطًا «نظيفًا».
وساطة المخطط: محدد الإسقاط التلقائي (ملء العملات الافتراضية والأعمدة القابلة للحساب) للتغييرات الطفيفة.

7) حماية التخزين وسلامته

تحقق من المبالغ والتحقق من صحة الكتلة (CRC، التكافؤ).
تخزين النصاب (أنظمة RAFT/Paxos المتوافقة، النصاب يقرأ/يكتب).
محو الترميز من أجل التكرار الفعال من حيث التكلفة.
إصدار متجر الكائنات (غير ممسوح).
Atomic commission в Lakehouse (سجل المعاملات، ACID- таблицы: Delta/Iceberg/Hudi).

8) ترتيب الأحداث و «الواقع القذر»

الأحداث المتأخرة: إبقاء النافذة متأخرة، واستخدام العلامات المائية ؛ إعادة حساب النوافذ.
إعادة التسليم: التخلص من «event _ id» العالمي، جداول مفاتيح الخصوصية.
وقت التعويض: تطبيع TZ، وتخزين "ingest _ at' و" event _ time ".
خارج النظام: event_time-based مجاميع مع تعديل العلامة المائية.

9) منطق القرار (محرك السياسة)

القاعدة: «أي شذوذ → أي فعل → أي عتبات → من هو المالك».

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) إمكانية الرصد و SLO للبيانات

• نضارة علب العرض ≤ 15 دقيقة.
• الاكتمال> 99. 5٪ في المجالات الرئيسية.
• التفرد: مكرر <0. 01%.
• زمن الحساب: p95 <5 دقيقة.
• استقرار الإصلاح: MTTR-data <30 دقيقة.

المقاييس والإنذارات: معرض في بروميثيوس/غرافانا ؛ بناء شريط أولوية من حوادث البيانات.

11) المصالحة (الممارسات)

تحقق من المجاميع: «العد/المجموع/الحد الأقصى» بين الطبقات/الأنظمة على النافذة المنزلقة.
التسوية الرئيسية: الفرق المتماثل بين المجموعات 'Δ = (A\B) ∪ (B\A)'.
«وظيفة مراجعة الحسابات» الدورية: مقارنة مع المصدر، التحقق الانتقائي من المصدر.
المدفوعات/التمويل: القيد المزدوج، والتسويات اليومية، وسجل التسوية.

12) إدارة الدوائر وتطورها

SemVer للمخططات: MAJOR (breaks )/MINOR (adds )/PATCH (fixes).
العقود في CI/CD: مخطط diff، التوافق، التوليد الذاتي للهجرات.
خطاف الردم: مع إضافة MINOR الافتراضات/الحقول المحسوبة، أعد حساب العروض.
الإسقاطات المرنة: يقرأ القراء مجموعات فرعية من الأعمدة ؛ حظر "SELECt'.

13) الأمن والخصوصية والامتثال

RLS/CLS: مرشحات الصف/العمود، وخاصة في فروع الإصلاح والصادرات.
ترميز قائم على PII للتفريغ المستدام.
مراجعة الدخول/التصدير: من رأى ما يصدره إليه، وأين أرسله.
DSAR/الاحتفاظ: الحذف التلقائي/إخفاء الهوية في عمليات الإصلاح ؛ تراعي الرشاوى المتطلبات القانونية.

14) التكلفة والأداء

الردم المدرك للتكلفة: الحد من عرض النوافذ (على سبيل المثال، الانزلاق 3-7 أيام).
المواد والمخابئ: إعادة حساب الدفعات المتغيرة فقط (تدريجي).
تحديد الأولويات: العروض الحرجة الأولى (المالية، المخاطر)، ثم التحليلية.
الإصلاحات خارج أوقات الذروة: النوافذ الليلية/الأولوية المنخفضة في الجدول الزمني.

15) الاختبار ومحاكاة الحوادث

اختبار بيانات الفوضى: كسر الانقسامات/الدوائر عن عمد على المسرح.
التأخيرات المزيفة: دفعات مزيفة، خارج النظام، مكررة.
مجموعات البيانات الذهبية: معايير التسوية اللاحقة للإصلاح.
GameDays: تدريب منتظم للفريق على كتب التشغيل.

16) أنتيباترن

إصلاحات «غير مرئية»: تعديلات صامتة دون تدقيق أو إبلاغ.
ردود غير مختبرة: لا يوجد مصدر الحقيقة/نسخة الصيغة.
طلبات حية ثقيلة إلى OLTP أثناء الإصلاحات: تنهي الحث.
حدد في المستهلكين: فترات راحة مع أي تغيير طفيف.
المفتاح الوحيد للتفريغ هو عدم وجود مفاتيح احتياطية/توقيعات التجزئة.

17) خارطة طريق التنفيذ

1. الاكتشاف: مجموعات/مقاييس حرجة، مخاطر، مالكون ؛ خريطة التبعية.
2. العقود والاختبارات: إضفاء الطابع الرسمي على المخططات/القواعد في جزر كايمان ؛ نشر مسرد المصطلحات.
3. الخصوصية: إعادة كتابة خطوط الأنابيب الرئيسية في الاندماج/الاندماج، الحوض الذري.
4. السجل الخام والنسب: طبقة ثابتة، بيانات وصفية كاملة، علامة مائية و.
5. ميكانيكا الإصلاح: الردم/إعادة التشغيل، التخلص، الضغط، الحجر الصحي ؛ محرك السياسة العامة.
6. إمكانية الرصد و SLO: لوحات القيادة عالية الجودة، التنبيهات، شريط الأولوية.
7. بيانات الفوضى والتدريب: تمارين منتظمة + دفتر تشغيل و.
8. تحسين التكاليف: إعادة الحساب التدريجي، وتحديد أولويات النوافذ.

18) القائمة المرجعية السابقة للإفراج

• تغطي عقود البيانات واختبارات الجودة المجموعات الحرجة.
• خطوط الأنابيب خفية ؛ هناك ارتكاب ذري وسحب.
• يتم تشكيل الملء/إعادة التشغيل والحجر الصحي، ويتم توضيح سياسات التصعيد.
• النضارة/الاكتمال/التفرد/مقاييس الكمون والتنبيهات في الحث.
• شملت مراجعة عمليات التحرير/الإصلاح ؛ تخزن إصدارات من الصيغ وواجهات المحلات.
• تتبع DSAR/الاحتفاظ للإصلاحات والتراجع.
• هناك كتيب تشغيل، وتم إجراء تمارين، تم تحديد هدف MTTR.
• تكلفة الردم محدودة من قبل حراس الميزانية.

19) أمثلة على الإجراءات الذاتية (النماذج)

«فشل نضارة النوافذ X» → ردم (last_2h) → إن لم يكن على ما يرام في 30 دقيقة → صفحة الحجر الصحي + عند الطلب.
يتضمن «الارتفاع المكرر txn_id» → التخلص الصارم + التسوية المصدرية → تقرير السبب.
«تغيير مخطط MINOR» → يولد مجالًا افتراضيًا محسوبًا → إعادة بناء المجاميع.
«فقدان الدفعات» → → استعادة التحقق من كمية الشيك من الجسم المتحرر.

خلاصة القول: بيانات الشفاء الذاتي ليست «سيناريو إصلاح» واحد، ولكنها بنية نظام: العقود الرسمية، وخطوط الأنابيب الخفية، وقطع الأشجار الموثوق به، وميكانيكا الإصلاح الآلية، وقابلية المراقبة الشفافة مع SLOs الصارمة. مثل هذا النظام لا يصلح نفسه فحسب، بل يحول أيضًا الحوادث إلى أحداث يمكن التحكم فيها بتكلفة مفهومة ووقت استرداد.