مقاييس التحليلات التلوية والمقاييس

1) ما هي التحليلات التلوية

التحليلات التلوية هي إدارة القياس نفسه: الصيغ والمصادر والنضارة والاستقرار وتكلفة الحصول على المقاييس. الهدف هو أن يكون كل مقياس وحدة معرفة قابلة للاختبار: قابلة للتكرار، وفي الوقت المناسب، وقابلة للمقارنة بين الفرق، واقتصادية.

2) الهيكل العظمي المتري (نموذج الكيان المتري)

• معرف: «metric _ key»، المالك (المنتج/مالك البيانات)، الحرجية (الذهب/الفضة/البرونز).
• المعنى: التعريف والوحدات والتجميع والنوافذ (اليوم/واو/أمي/رولينج).
• الصيغة والطبقة: SQL/DSL، طبقة دلالية (أبعاد، مرشحات)، شرائح صالحة.
• المصادر والأنساب: الجداول والنسخ والتبعيات (السمات/المعارض/النماذج).
• SLO метрики: الكمون p95، النضارة، التغطية، الدقة، الاستقرار.
• إشارات الثقة: الفحوصات الأخيرة، حالة DQ، اختبارات الصيغة CI.
• الاقتصاد: تم مسح البايت، التكلفة لكل مخطط (CPC)، التكلفة لكل رؤية (CPI)
• التحكم في الوصول: RLS/CLS، الحساسية.
• Versioning: semver formulas ('ggr @ 2. 3. 0 ')، سجل التغيير.

3) «مقاييس المقاييس»: ماذا تقيس

الجودة والثقة

الدقة: التناقض مع المرجع/المحاسبة (MAE/APE).
الاتساق: مصادفة بين المصادر/لوحات القيادة (صيغة قانونية).
النضارة: عمر البيانات مقابل SLO (ثانية/دقيقة).
الإنجاز: نسبة الأجزاء/التواريخ المنجزة.
الاستقرار: التباين/التقلب في ظل ظروف ثابتة (نسبة ليفين/التباين).
إمكانية التفسير: وجود صيغة/روابط/CI/نطاقات في البطاقة.

الأداء والتكلفة

الكمون p95/p99 حساب/عرض.
بايتس مسح ضوئي/استفسار.
CPC/CPI: تكلفة الرسم البياني/البصيرة.
معدل إصابة المخبأ وتحقيقه.

المخاطر والاستخدام

الاعتماد: نسبة لوحات المعلومات/الحلول باستخدام المقياس.
معدل الكسر: معدل انخفاض الاختبار/أعطال النضارة.
توزيعات Drift score-Shifts بعد تغييرات الصيغة/المصدر.
عبء الدعم: الحالات/الحوادث حسب المقياس.

4) طبقة دلالية و «متجر متري»

القواعد النحوية الموحدة: المقاييس والأبعاد والمرشحات وقواعد التجميع والتوافق.
API/كتالوج المقاييس: البحث، البطاقات، الإصدار، الرسم البياني للنسب.
الحسابات المتوسطة: التحولات (اليومية/الأسبوعية)، العواصف الثلجية القانونية.
سياسة النشر: فقط من متجر Metric إلى مجالس الإنتاج/تصور الذكاء الاصطناعي.

5) الحرث والتوافق

SemVer للمقاييس: 'MAJOR' - كسر التغيير في المعنى/التجميعات ؛ 'MINOR' - قسم/سمة جديدة ؛ «التصحيح» - التحسينات دون تغيير القيمة.
تدفق الاكتئاب: تحذير، الوضع الموازي v1/v2، تاريخ الإغلاق، دليل الهجرة.
اختبارات العقد: المساواة/عدم المساواة، الثوابت (مجموع الأقسام الفرعية = عدد صحيح).

6) مراجعة النسب والمقاييس

المنبع: المصادر، قواعد DQ، الإصدارات.
تحويل: عقدة SQL/DBT/DAG، فحوصات توافق المخطط.
المصب: لوحات القيادة/النماذج/التقارير التي تستهلك المقياس.
التدقيق: من قام بتغيير الصيغة ومتى، أي حادث أو إطلاق يؤثر.

7) القابلية للرصد المتري

ملامح الوقت: الموسمية، تأثيرات التقويم، الترويج.
التشوهات: STL/ESD/BOCPD ؛ التنبيهات مع الحساسية الحرجة.
تحقق من البوابات: قبل الإصدار - مقارنة الصيغة القديمة/الجديدة على الشريحة «الذهبية».
رصد الانجراف: المبادرة الأمنية لمكافحة الانتشار/الاستراتيجية المشتركة حسب القطاع ؛ علامات تغيير المصدر.

8) اقتصاديات المقاييس و FinOps

الحصص/الحدود: ماكس بايت مسح ضوئي، وقت التشغيل، إعادة البناء خارج الذروة.
رد التكاليف: تدفع الفرق «تقريبًا» مقابل التقارير الصعبة.
المخبأ/المواد: ملفات تعريف البلاط و TTL.
التحسين: تنسيقات الأعمدة، ZSTD، الفرز/التجميع، preaggregates.

9) تغيير Mgmt

مقاييس RFC: الهدف، المخاطر، التحول المتوقع، خطة التراجع.
صيغ A/B: حساب متوازي ومقارنة مقاييس v1 مقابل v2.
الاتصال: changelog في البطاقة، لافتة على لوحات القيادة المرتبطة.
التراجع: التحول السريع إلى التجسيد السابق.

10) الأدوار

المالك المتري: المعنى، الصيغة، الإصدارات، الاتصالات.
مهندس بيانات: موثوقية خط الأنابيب، الأداء.
محلل/عالم: الصلاحية والتفسير السببي.
FinOps: التكلفة والحصص.
الامتثال/الخصوصية: الوصول والإخفاء والإبلاغ.

11) أنتيباترن

اختر في الصيغة المترية.
صيغتان «رسميتان» لنفس المقياس.
تعديلات يدوية في لوحة القيادة بدلاً من التغيير في متجر Metric Store.
لا توجد نافذة/أساس للمقارنة.
صفر النسب ولا مالك.
المرشحات المخفية (بلدان/عملات مختلفة) → أرقام متباينة.

12) خارطة طريق التنفيذ

1. قائمة الجرد: قائمة بأفضل 50 مقياسًا، المالكين، الحرجية، الصيغ الحالية.
2. Metric Store MVP: بطاقات، SemVer، API، سلالة، اختبارات CI.
3. إمكانية الملاحظة: النضارة/زمن الكمون/البايت الممسوح ضوئيًا/الشذوذ، لوحات SLO.
4. FinOps: حدود، مخبأ، مواد، تقارير قيمة.
5. الحوكمة: RFC/التدهور/الرشاوى، سياسة الاستنكار.
6. المقياس: «مقاييس» تلقائية، التكامل مع تصور/سياق الذكاء الاصطناعي.

13) القائمة المرجعية المترية (قبل النشر)

• البطاقة المترية ممتلئة (التعريف والوحدات والقطاعات والنافذة).
• الصيغة محفورة ؛ الاتساق/الاختبارات الثابتة خضراء.
• يتم ضبط ورصد نضارة/Latency SLOs.
• مصادر DQ خضراء ؛ النسب شفاف.
• طلب التكلفة ضمن الحدود ؛ تم تكوين مخبأ/تجسيد.
• تطبيق سياسات الوصول (RLS/CLS) والإخفاء.
• يتم إعداد إبلاغ التغييرات ؛ هناك خطة للتراجع.

14) قوالب مصغرة

14. 1 بطاقة مترية (YAML)

yaml metric:
key: ggr version: 2. 3. 0 owner: "product-data@company"
definition: "Bet amount minus win amount"
unit: "currency"
aggregation: "sum"
window: ["day","wow","mom"]
dims_allowed: ["country","device_os","provider","game"]
lineage:
sources: ["fact_bets","fact_payouts"]
transforms: ["ggr_daily. sql"]
slo:
freshness_s: 600 latency_p95_ms: 1500 accuracy_mae_pct: <=0. 5 finops:
max_bytes_scanned_mb: 2048 cache_ttl_min: 60 access:
sensitivity: "internal"
rls: ["tenant","region"]

14. 2 اختبارات الصيغة (نمط dbt)

sql
-- invariant: GGR = bets - wins select count () as violations from (
select bets - payouts as ggr_calc, ggr from mart_daily
) t where abs(ggr_calc - ggr) > 1e-6;

14. 3 سياسة المقاييس التنبيهية

yaml alerts:
- name: ggr_freshness when: freshness_s > 600 severity: high action: [page:oncall-data, degrade:use_last_materialization]
- name: ggr_stability when: variance_ratio_week > 2. 5 severity: medium action: [open:investigation, add:banner_on_dashboards]

14. 4 مقارنة صيغ الصيغة

sql select dt, country,
ggr_v1, ggr_v2,
(ggr_v2 - ggr_v1) as delta,
100(ggr_v2 - ggr_v1)/nullif(ggr_v1,0) as delta_pct from compare_ggr_v1_v2 order by dt desc, abs(delta_pct) desc limit 100;

14. 5 تقرير «مقاييس المقاييس» للوحة القيادة

yaml meta_dashboard:
tiles:
- metric: freshness_s target: <=600
- metric: latency_p95_ms target: <=1500
- metric: bytes_scanned_mb target: <=2048
- metric: anomaly_rate_7d target: <=0. 5%
- metric: adoption_rate target: >=80%

15) خلاصة القول

تجعل التحليلات التلوية المقاييس كائنات هندسية موثوقة: لديها مالكون وإصدارات و SLOs واختبارات وتكلفة. عندما تعمل البطاقات المترية والطبقة الدلالية وقابلية الملاحظة و FinOps معًا، تحصل المنظمة على أرقام قابلة للمقارنة وقابلة للتحقق وفعالة من حيث التكلفة بدلاً من "حقائق مختلفة. "هذا هو الأساس للتحليلات السريعة والحلول الصحيحة والنمو القابل للتطوير.