دمج البيانات من دوائر مختلفة

(القسم: النظام الإيكولوجي والشبكة)

1) لماذا تحتاج إلى اندماج

• مصدر واحد للحقيقة (حقائق قانونية) في وجود جذوع الأشجار المتنوعة.
• مقاومة إعادة التنظيم والتأخير: الانتهاء الصحيح وإعادة الحساب.
• إمكانية مقارنة المقاييس بين الشبكات والأصول.
• شفافية النسب ومراقبة الجودة لعمليات مراجعة الحسابات والجهات التنظيمية.

2) مصادر البيانات والفئات

1. Onchain: الكتل والمعاملات وسجلات العقود والرؤوس والدول.
2. الجسور/المقطورات: الطلبات والإيصالات والأدلة وحالات الانتهاء.
3. طبقات L2/DA: دفعات، منشورات، براهين، نوافذ التحدي.
4. PSP/KYC/KYB/AML: حالات الدفع والشيكات والعقوبات.
5. أحداث المنتج: الاستقبال والودائع/المدفوعات والألعاب والأحداث السلوكية.
6. الدلائل: الشبكات، الأصول، الأرقام العشرية، معرف السلسلة، العناوين، إصدارات SDK.

بالنسبة لكل مصدر، يتم تسجيل المالك والمخطط وسجل التحديث ونافذة الانتهاء وتنسيق الأدلة و SLO.

3) بنية خط أنابيب الاندماج

→ الخام/البرونز (مواد خام غير قابلة للتغيير) → نظيف/فضي (تطبيع وتسريح) → دمج/نواة/ذهب (حقائق ووصلات قانونية) → مارتس (التمويل/المنتج/المخاطر/نظام التشغيل) → خدمة (OLAP/API/البحث).
الخصائص الرئيسية: الخصوصية، وإصدار المخطط، وإعادة التشغيل/الردم، والتعامل المتأخر مع البيانات.

4) المخططات الكنسية (مبسطة)

4. 1 أحداث (YAML)

yaml event:
id: uuid observed_at: timestamp # when saw event_at: timestamp # when happened (by source)
chain_id: string       # 'eth-mainnet'    'polygon'...
block_height: long tx_hash: string log_index: int type: string         # transfer    bridge. lock    bridge. mint...
status: string        # observed    confirmed    finalized    invalid src: string # address/peer-id/org _ id dst: string asset: string # canonical character (USDC)
amount: decimal usd_value: decimal # normalization at the rate on the meta observed_at: object # gas, fee, contract, sdk_version...
idempotency_key: string    # chainId    block    tx    logIndex    type proof_ref: string # proof/anchor reference

4. 2 ترجمة وجسور (SQL)

sql
CREATE TABLE bridge_transfers (
id TEXT PRIMARY KEY,
src_chain TEXT, dst_chain TEXT,
asset TEXT, amount NUMERIC,
created_at TIMESTAMPTZ,
finalized_at TIMESTAMPTZ,
status TEXT,          -- requested    inflight    finalized    failed    reversed src_tx TEXT, dst_tx TEXT,
proof_ref TEXT, meta JSONB
);

4. 3 دليل الأصول/الشبكة (YAML)

yaml catalog:
assets:
- symbol: USDC decimals: { eth-mainnet: 6, polygon: 6 }
contracts: { eth-mainnet: "0xA0b8...", polygon: "0x2791..." }
networks:
- id: eth-mainnet k_confirmations: 12
- id: polygon k_confirmations: 256

5) الانتهاء وإعادة التنظيم والأوضاع

Состояния: «لوحظ → تم تأكيد (K) → وضع اللمسات الأخيرة → (إعادة التنظيم)» (+ «تحدي» для متفائل).

• تأكيدات K حسب الشبكة/الأصول/المخاطر.
• تأخر وضع الصيغة النهائية لمبالغ كبيرة.
• إعادة التعامل: الإعاقة التلقائية وإعادة التشغيل.
• تغطية الإثبات: النسبة المئوية للسجلات التي تحتوي على قضبان/مراسي ≥ الهدف SLO.

6) تطبيع الوقت والعملات

الوقت: جميع الطوابع الزمنية في التوقيت العالمي المنسق، تخزين «ملاحظة _ at' و» حدث _ at'.
أسعار العملات الأجنبية/الأصول: تحويل 'قيمة عادية' بمعدل 'ملاحظة' (أو 'حدث _ at' - للإبلاغ، تحدده السياسة).
الأرقام العشرية/المقياس: التقديس الصارم للكميات لأغراض المقارنة.
المناطق الزمنية في التقارير: تم حلها أثناء الاختيار (عرض)، وليس في الأساس.

7) الهوية والتفريغ

• 'ideputency _ key = chainId' block _ height' tx _ hash' log _ index 'type'

• مكررة من فهارس متعددة - مزعجة حسب idempotency_key.
• وفي حالة تنازع الحمولات، تنشأ سياسة الحقيقة (أولوية المصدر/النسخة/الوقت).
• يتم تخزين نافذة التفريغ ≥ 48-72 ساعة للتكرار «المتجول».

8) قرار الكيان

عناوين الجهات الفاعلة →: المحفظة/العقد → المستخدم/المنظمة/الدور.
روابط عبر السلسلة: رابط صلب (توقيع/kyc)، رابط ناعم (سلوك/رسم بياني).
الاسم المستعار: PID/ORG_ID مستقر ؛ يتم تخزين PII بواسطة وحدة التحكم في البيانات.

9) قواعد وأولويات الاندماج (السياسة)

1. مصدر الحقيقة في حقيقة الترجمة هو الحدث «النهائي» على الإنترنت + الدليل.
2. مصدر الحقيقة للمجموعات هو جوهر جدول «جسر النقل»، وليس «المادة الخام».
3. تضارب الوقت (event_at مقابل observed_at) - حسب سياسة الإبلاغ (المالية - event_at ؛ نظام التشغيل - observed_at).
4. الكمية/تضارب الأصول - أوقف الاحتجاز والحجر الصحي حتى يتم تسوية كتالوج الأصول.
5. حزم الجسر - كلا الإيصالات الجانبية (src/dst) + اقتران الإيصال مطلوب.

10) استفسارات وخوارزميات زائفة

10. 1 تجميع الأحداث في «عملية» قانونية

sql
WITH base AS (
SELECT e.,
CONCAT(e. chain_id,'    ',e. block_height,'    ',e. tx_hash,'    ',e. log_index,'    ',e. type) AS idem
FROM raw_events e
)
INSERT INTO core_events AS c (id, observed_at, event_at, chain_id, block_height,
tx_hash, log_index, type, status, src, dst, asset, amount, usd_value, meta, idempotency_key, proof_ref)
SELECT gen_random_uuid(), observed_at, event_at, chain_id, block_height,
tx_hash, log_index, type, status, src, dst, asset, amount, usd_value, meta, idem, proof_ref
FROM base
ON CONFLICT (idempotency_key) DO UPDATE
SET status = EXCLUDED. status,
usd_value = COALESCE(EXCLUDED. usd_value, core_events. usd_value),
proof_ref = COALESCE(EXCLUDED. proof_ref, core_events. proof_ref),
meta   = core_events. meta          EXCLUDED. meta;

10. 2 تطابق أزواج الجسر (istochnik↔tsel)

sql
INSERT INTO bridge_transfers (id, src_chain, dst_chain, asset, amount, created_at, status, src_tx, proof_ref)
SELECT
CONCAT('br:', e. tx_hash) AS id,
e. chain_id, b. dst_chain, e. asset, e. amount, e. event_at, 'inflight', e. tx_hash, e. proof_ref
FROM core_events e
JOIN bridge_book b ON e. type='bridge. lock' AND e. asset=b. asset AND e. chain_id=b. src_chain
ON CONFLICT (id) DO NOTHING;

UPDATE bridge_transfers bt
SET finalized_at = e. event_at,
dst_tx    = e. tx_hash,
status    = 'finalized'
FROM core_events e
WHERE e. type='bridge. mint'
AND bt. status='inflight'
AND bt. asset=e. asset
AND bt. src_chain=bridge_book. src_chain
AND bt. dst_chain=bridge_book. dst_chain
AND abs(e. amount - bt. amount) < 1e-9;

10. 3 إعادة تجهيز

sql
UPDATE core_events
SET status='invalidated'
WHERE chain_id=$1 AND block_height BETWEEN $2 AND $3
AND status IN ('observed','confirmed','finalized');

-- Reassembly of aggregates (example)
CALL recompute_materialized_views($1, $2, $3);

11) إدارة الدائرة والتطور

الإصدار: «مخطط _ إصدار» في رأس مجموعة البيانات، يتم تسجيل الهجرات.
سياسة التوافق «متخلفة» للأحداث (أضف الحقول فقط).
Data Contracts with sources: tests of contracts in CI, linters of planes.

12) جودة البيانات: SLI/SLO

• Nurhness p95: lag ingest→Gold (min).
• نسبة الإنجاز هي النسبة المئوية للسجلات التي وصلت إلى «اللمسات الأخيرة» داخل النافذة.
• التصحيح%: مخططات/توقيعات/براهين صالحة.
• تغطية الإثبات٪: حصة السجلات القانونية مع الإثبات/المرساة.
• كفاءة التخلص: نسبة الأخذ التي يتم استيعابها بشكل غبي.
• Reorg Handling Success%: معاق بشكل صحيح وإعادة التشغيل.

SLO (معالم): نضارة ≤ 3 دقائق (تيار )/15 دقيقة (دفعة) ؛ الاكتمال ≥ 99. 7%; الصواب ≥ 99. 9%; تغطية الإثبات ≥ 99. 0%; Reorg Success ≥ 99. 9%; دمج MTTR (حادث) ≤ 30 دقيقة.

13) لوحات القيادة (تخطيطات)

عمليات الدمج (реал- тайм/час): النضارة، تأخر قائمة الانتظار، معدل التخلص، النسبة النهائية، ارتفاع Reorg، حرق ميزانية الخطأ.
Proof & Finality: provide coverage, p95 finality لكل سلسلة, challenge/reorg события.
صحة الكتالوج: التناقضات بين رسم خرائط الأصول والأرقام العشرية وإصدارات SDK.
الجودة والانجراف: الاكتمال/الصواب، انجراف المخطط، البيانات المتأخرة.
عدسة التمويل: GTV، Net Flow، TVL حسب الدائرة/الجسر («نهائي» فقط).

14) التشكيلات (YAML)

النوافذ النهائية

yaml finality:
eth-mainnet: { k: 12, delayed_for_usd_gt: 100000 }
polygon:   { k: 256 }
optimistic-L2:
k: 0 challenge_minutes: 20 delayed_for_usd_gt: 50000

سياسة الدمج والأولويات

yaml merge_policy:
source_priority: [onchain, bridge, psp, product]
conflict:
time: { prefer: "event_at" }
amount: { action: "quarantine" }
proof_required_for: ["bridge_transfers", "payouts"]
quarantine_topics: ["asset_mismatch", "decimals_mismatch", "time_skew_gt_5m"]

الخدعة/التخلص

yaml dedup:
key_template: "${chain_id}    ${block_height}    ${tx_hash}    ${log_index}    ${type}"
ttl_hours: 72

15) الخصوصية والامتثال

تقليل PII: PID/ORG_ID، حظر PII في المقاييس/الملصقات.
الإقامة في البيانات: فصل المنطقة (EU/ROW)، والتشفير «في الراحة/على الطريق».
الحق في حذف: أحداث شاهد القبر/التنقيح مع تطبيق يمكن إثباته.
التدقيق: سجلات ثابتة، تثبيت التجزئة، فحص الوصول إلى الأدوار.

16) لوائح التشغيل

يوميا: تسوية تغطية الإثبات، ووضع الصيغة النهائية للسلسلة، وتسجيل الجسور، وانجراف التكوين.
أسبوعياً: مراجعة كتالوج الأصول/الأرقام العشرية، صحة تطبيع العملات الأجنبية.
شهريًا: اختبارات إعادة الإرشاد/إعادة التشغيل وفحص SLO واختبار إجهاد الأداء.
إدارة التغيير: الجدول الزمني لدمج تغييرات السياسات، سجل القرارات.

17) حوادث قواعد اللعبة

ألف - الأصول/الأرقام العشرية

توقف عند الأصول المقابلة، دحرج الكتالوج، أعد حساب النوافذ، أبلغ ≤ 24 ساعة.

ب. سقوط تغطية الإثبات

إعادة إطلاق Merclization/Anchoring, Log Up, Manual Sampling of 100 Cases, Report.

C. Reorg/Challenge Peaks

توسيع 'k '/نافذة المنازعات، وتمكين التأخر في وضع الصيغة النهائية لمبالغ كبيرة، وإخطار الأطراف المهتمة.

دال - انفجار اللقطات/التكرارات

شد TTL dedup/key، والحد من المصادر «الصاخبة»، وتمكين دائرة الحجر الصحي.

هاء. انحراف الوقت

مزامنة NTP/PTP، إعادة حساب النوافذ، "prefer: observed_at' تحول السياسة.

18) قائمة التنفيذ المرجعية

1. مصادر الالتقاط ونوافذ الانتهاء والأدلة.
2. تنفيذ مخطط الأحداث القانونية ومفتاح الخصوصية.
3. تهيئة التخلص ودمج السياسة مع محيط الحجر الصحي.
4. رفع سجل الأصول/الشبكة وتطبيع العملات الأجنبية.
5. تنفيذ إعادة التشغيل/الردم المتأخر ومعالجة البيانات المتأخرة.
6. حدد SLI/SLO ولوحات القيادة عالية الجودة.
7. قم بتشغيل سجلات الإرساء والتدقيق العادية.
8. إجراء تجربة تجريبية مع عمليات محاكاة تأخير إعادة التنظيم/الجسر والتقاط MTTR.

19) مسرد

النهاية - عدم الرجوع عن الدولة/الحدث.
Reorg - إعادة تجميع السلسلة مع إلغاء جزء من الكتل.
الفراغ - مقاومة إعادة التسليم.
تغطية الإثبات - نسبة السجلات ذات الأدلة الصحيحة.
قرار الكيان - عنوان الكيان الواحد/رسم خرائط الحساب.
تأخر الانتهاء - تأجيل القبول إلى مجاميع للمبالغ عالية الخطورة.
الحجر الصحي هو تيار منعزل لسجلات الصراع/المشبوهة.

خلاصة القول: الدمج الصحيح للبيانات بين السلاسل هو نظام يمكن التحكم فيه: مخطط قانوني، ووضع اللمسات الأخيرة وإثباتها، وفطنة صارمة، وسياسة اندماج شفافة، وجودة يمكن ملاحظتها. من خلال اتباع هذا الإطار، يتلقى النظام البيئي طبقة واحدة قابلة للتحقق ومستدامة من البيانات - أساس التدقيق والتحليلات والتوسع الآمن للمنتجات.