هندسة المقاييس

هندسة المقاييس

هيكل المقاييس هو نظام من القواعد والقطع الأثرية والخدمات التي توفر تعريفات لا لبس فيها، والحساب القابل للتكرار، والوصول الشفاف والتشغيل الموثوق للمؤشرات في جميع أنحاء المنظمة. الهدف هو اعتبار «MAU» أو «D30 الاحتفاظ» أو «ARPPU» كما هو في جميع لوحات القيادة والتجارب والتقارير.

1) المبادئ

1. المصدر الوحيد للحقيقة للصيغ والكتب المرجعية.
2. فصل الدلالات عن التنفيذ: يعيش تعريف العمل في طبقة دلالية، وليس في كل SQL/كمبيوتر محمول.
3. إصدار المقاييس والمخططات والصيغ (v1→v2) مع هجرة التاريخ المدارة.
4. قابلية التكاثر والاختبار: الحسابات حتمية، تغطيها الاختبارات.
5. إمكانية الملاحظة: النضارة والامتلاء والاتساق والانجراف - مع SLOs والتنبيهات.
6. الأمان والخصوصية: تقليل PII، RLS/CLS، التدقيق.
7. نظام التشغيل كرمز: التعاريف والتحولات والسياسات - في المستودع مع CI/CD.

2) طبقات العمارة

المصدر: الأحداث/المعاملات، الكتب المرجعية، سجلات النماذج/أدناه.
التكامل والتنظيف: CDC/التحميل التدريجي، التخلص، توحيد المناطق الزمنية.
نموذج البيانات (DWH): نجمة/ندفة ثلجية، قياسات متغيرة ببطء (SCD)، مفاتيح بديلة.
الطبقة الدلالية من المقاييس: تعاريف موحدة، تجميعات، مرشحات، حبوب زمنية، منطق رولب.
طبقة التصميم: دفعة/ميكروباتش/تيار ؛ النوافذ، علامات الماء، المفاتيح.
فهرس وقاموس: «مقاييس جواز السفر»، النسب، المالكين، الحقوق.
الوصول والاستهلاك: BI/لوحات القيادة، مقاييس API، التحميلات، التجارب/AB.

3) عقود البيانات والمقاييس

عقد المصدر (الأحداث/الجداول)

المخطط: المجالات، الأنواع، البطلان، المفتاح الأساسي.
SLA: النضارة (على سبيل المثال، «تأخر ≤10 دقائق»)، التردد، تأخر الوصول الأقصى.
الجودة: التفرد الرئيسي، مجالات القيمة الصحيحة، المنطقة الزمنية، الخصوصية.
التغييرات: سياسة تطور المخطط (إلى الخلف/إلى الأمام)، خطة الانحراف.

العقد المتري

الاسم/المعرف: 'RET _ D30 _ v2'

دومين/المالك: تحليلات المنتج

التعريف (باللغة البشرية)

الصيغة: SQL/pseudocode + واجهات محلات الإدخال/الكائنات الدلالية

الحبيبية/المنطق الزمني: يوم/أسبوع ؛ قواعد نقطة زمنية، منطقة زمنية

القطاعات/المرشحات الافتراضية

الوحدات والعملات (سعر التحويل/التاريخ)

SLO: النضارة ≤ X، الدقة ≥ Y، التوافر ≥ Z

الإصدار/تغيير التاريخ/التاريخ الفعلي

حواجز الحماية: نطاقات صالحة، قواعد Winzorization p1/p99

4) طبقة دلالية من المقاييس

• العناصر: الأبعاد (التاريخ، البلد، المنصة)، الحقائق (الأحداث، الإيرادات)، المقاييس (ARPU، الاحتفاظ D30)، الحقول المحسوبة، التقويم (العمل/عطلة نهاية الأسبوع، العطلات).
• سلوك الوقت: جداول التقويم، التأخيرات، الأفواج، النوافذ «المنزلقة» (7/30/90).
• Rollup والاتساق: الكمية حسب اليوم = الشهر، مع استبعاد العد المزدوج (المستخدمون المتميزون).
• تعديل المزيج: التطبيع إلى مزيج ثابت من القنوات/البلدان لسنة السنة الصادقة.
• تعدد العملات/المناطق الزمنية: عُدلت لتصبح عملة الأساس في تاريخ المعاملة ؛ شرائح التوقيت العالمي المنسق المحلية و «القانونية».

5) الحساب: دفعة، ميكروباتش، تيار

الدفعة: وظائف ليلية/بالساعة، إعادة حساب كاملة/تدريجية، التحكم في الخصوصية.
ميكروباتش: نوافذ من 1 إلى 15 دقيقة للوحات القيادة التشغيلية.
التيار: الأحداث عبر الإطار ؛ النوافذ (الهبوط/الانزلاق/الجلسة)، علامات المياه (البيانات المتأخرة)، دلالات مرة واحدة بالضبط (الجمود + متجر الأوفست).

• «HOP 5M، WINDOW 1h» لمؤشرات الأداء الرئيسية التشغيلية ؛
• 'TUMBLE 1d' للمقاييس اليومية ؛
• «جلسة 30 م» للجلسات.

6) الجودة وإمكانية التحقق

اختبارات البيانات: تخطيطية، نطاق (نطاقات)، وصلات مرجعية.
اختبارات المقاييس: الثوابت (DAU≤MAU)، الأجزاء غير الفارغة، توقعات الرتابة (التراكمية).
التسوية: بين الطبقة الدلالية والتقارير/المحاسبة المرجعية.
صحة البيانات: نضارة، اكتمال، تكرار، كسر NULL، قفزات غير طبيعية.
مقاييس الانجراف: PSI/KL/JS على الميزات الرئيسية، خاصة لمقاييس ML.

7) التحديث والهجرة

إصدار الفورمولا هو «METRIC _ NAME _ vN». يحظر تغيير التعريف «بهدوء» دون تغيير النسخة.

• جنبا إلى جنب: v1 و v2 تحسب بالتوازي ؛ ويجري التوفيق بين المستخدمين وتدريبهم.
• القطع: تحويل المستهلكين إلى v2 في نافذة التحميل المنخفض ؛ archive v1.
• إعادة حساب التاريخ: ردم وفقا للبيانات التاريخية ؛ بروتوكول الاختلاف (diff report).
• الاتصالات: سجل التغيير، تاريخ الدخول، من سيتأثر، التعليمات.

8) نموذج بيانات المقاييس

الحقائق: الحبوب (event_id، transaction_id، user_day)، وقت الحدث، المجموع/القيم.
الأبعاد: المستخدم، الجهاز، الجغرافيا، القناة، المنتج، التقويم ؛ نوع SCD للتاريخ.
المفاتيح: معرفات بديلة، مفاتيح أعمال ثابتة، جداول رسم الخرائط.
مكافحة التكرار: قواعد الهوية (دمج المستخدم)، نوافذ الجلسة «لصق».

9) الوحدات والعملات والموسمية

الوحدات/الشكل: الوحدات الصريحة، التقريب، المقاييس (اللوغاريتم/الخطي).
العملة المتعددة الأطراف: التحويل بسعر الصرف في تاريخ المعاملة ؛ تخزين كل من «الخام» والمبلغ الطبيعي.
الموسمية: سنة السنة والمؤشرات الموسمية ؛ آثار «العطلة» المنفصلة.

10) الأمن والوصول

أمن مستوى الصف (RLS): الوصول إلى المقاييس حسب البلد/العلامة التجارية/الشريك.
الأمن على مستوى العمود - التساؤل عن الأرقام القياسية لأسعار الاستهلاك/المجالات المالية.
مراجعة الحسابات: من طلب المقياس الذي يقوم بتصفية البيانات وتصديرها.
تمايز واجهة برمجة التطبيقات: «المجاميع حسب الدور» مقابل «التحميلات التفصيلية».

11) إمكانية الرصد و SLO

نضارة SLO: على سبيل المثال، «KPI التشغيلي - تأخر ≤ 15 دقيقة، يوميًا - حتى الساعة 06:00 بالتوقيت المحلي».
توافر SLO: ≥ 99. 9٪ لواجهة برمجة التطبيقات/الطبقة الدلالية.
التنبيهات: جنوح SLO، قفزات مترية، نمو NULL/مكرر، تباين v1 مقابل v2> X٪.
دفاتر التشغيل: ماذا تفعل عند التدهور - خطوات RCA، احتياطية (على سبيل المثال، التبديل إلى آخر «مقياس لقطة» صالح).

12) التجارب والمقاييس

مقاييس Guardrail: الكمون والمرونة و FPR/FNR للتسجيل.
التعاريف الموحدة لـ A/B: التحويلات، الاحتفاظ، NSM - من خلال نفس الطبقة الدلالية.
الحد الأدنى من التأثير القابل للتمييز (MDE)، تحليل الطاقة: بارامترات المتجر في بطاقة المقاييس.
الإسناد السببي: السياسات حسب مجموعات التعديل والمراقبة.

13) مقاييس واستهلاك واجهة برمجة التطبيقات

Запросы: 'GET/metrics/{ name} ؟ من = 2025-09-01 وإلى = 2025-10-01 & dims = country, platform & filters = channel: pay'.
السياسات: الحدود، المخبأ، التثبيت، «الصادرات» الحمقاء.
الإصدارات: «X-Metric-Version: v2»، تحذيرات الاستنكار.

14) الأنماط والتحف

جواز السفر المتري (مثال)

الرمز/الإصدار: 'ARPPU _ v3'

التعريف: متوسط الإيرادات لكل مستخدم يدفع للفترة

Формула: 'مجموع (revenue_net )/ count_distinct (user_id حيث paying_flag=1)'

الخصوصية: اليوم ؛ rollup: أسبوع/شهر = مجموع البسط/مجموع المقام

المصادر: «fact _ payments _ v2»، «dim _ users _ scd»

الوحدات: العملة 'أساس العملة' ؛ التحويل بسعر الصرف اعتبارا من

المرشحات الافتراضية: الأسواق النشطة، باستثناء معاملات الاختبار

SLO: النضارة ≤ 1 ساعة ؛ API ≥ 99 توفر. 9%

حواجز الحماية: ARPPU ∈ [0; 10 000]; vinzorization p1/p99

المالكون: تحليلات تحقيق الدخل ؛ تاريخ التنقيح: 2025-10-01

الإصدار المتري لقائمة التحقق

• التعريف والصيغة المتفق عليهما، مشمولان بالاختبارات
• الجسم الدلالي الذي تم إنشاؤه ؛ النسب الموثق
• الردم والمراجع المنجزة
• تم تشكيل SLO/التنبيهات ؛ كتاب تشغيل جاهز
• تكوين الحقوق و RLS ؛ PII مخفي
• استبدال الإصدارات القديمة في لوحات القيادة/التجارب
• تم إرسال Changelog/رسالة

رمز SQL الزائف نقطة في الوقت (مثال D30 الاحتفاظ)

sql
WITH cohort AS (
SELECT user_id, MIN(event_date) AS signup_date
FROM fact_events
WHERE event_type = 'signup'
GROUP BY 1
),
activity AS (
SELECT user_id, event_date
FROM fact_events
WHERE event_type = 'app_open'
),
ret AS (
SELECT c. signup_date,
COUNT(DISTINCT CASE WHEN a. event_date = c. signup_date + INTERVAL '30 day' THEN a. user_id END) AS returned,
COUNT(DISTINCT c. user_id) AS cohort_size
FROM cohort c
LEFT JOIN activity a
ON a. user_id = c. user_id
AND a. event_date BETWEEN c. signup_date AND c. signup_date + INTERVAL '30 day'
GROUP BY 1
)
SELECT signup_date, returned / cohort_size AS retention_d30
FROM ret;

15) الأخطاء المتكررة وكيفية تجنبها

تعديلات الصيغة الهادئة: دائمًا عبر الإصدار والتغيير.
مقاييس «مختلفة في كل كمبيوتر محمول»: القوة على الطبقة الدلالية/واجهة برمجة التطبيقات.
عدم اتساق المناطق الزمنية/العملات: الجدول الزمني المركزي وجدول العملات الأجنبية.
محاسبة المستخدم المزدوج: قواعد rollup والمفاتيح الفريدة.
نضارة غير شفافة: أظهر بوضوح وقت التأخير/التحديث.
الاعتماد على مهندس واحد: كل شيء يشبه الرمز، مع مراجعة ومباشرة.

المجموع

بنية المقاييس هي قاموس + طبقة دلالية + حساب قوي + حوكمة و SLO. من خلال اتباع المبادئ الموصوفة (العقود والاختبارات والإصدارات وقابلية الملاحظة والسلامة)، فإنك تحول المقاييس من «نزاعات الأرقام» إلى آلية إدارة منتجات وأعمال مستدامة.