تجزئة البيانات

تجزئة البيانات

التجزئة هي تقسيم العديد من الأشياء (المستخدمين والمعاملات والمنتجات والأحداث) إلى مجموعات متجانسة للاستهداف والتخصيص والتحليل وإدارة المخاطر. يؤدي التقسيم الجيد إلى زيادة الهوامش وتقليل التكاليف وجعل القرارات قابلة للتفسير.

1) الأهداف والغايات

التسويق والنمو: العروض الشخصية، وتواتر الاتصال، وسياسة مكافحة البريد العشوائي.
تحقيق الدخل: التمييز في الأسعار، والحزم، وخدمة كبار الشخصيات.
المخاطر والامتثال: مستويات التحكم، ومسببات KYC/AML، وتسجيل الأنماط المشبوهة.
المنتج والخبرة: التشغيل بواسطة النصوص، توصيات المحتوى/اللعبة، الحدود الديناميكية.
العمليات: تحديد أولويات الدعم وتوزيع الحدود والحصص.

نقوم بصياغة وحدة التجزئة (المستخدم/الجلسة/التاجر)، والأفق (7/30/90 يومًا)، وتواتر التحويل (عبر الإنترنت/اليومي/الأسبوعي) واستهداف مؤشرات الأداء الرئيسية.

2) تصنيف القطاع

التركيبة السكانية/الجغرافيا: البلد، اللغة، المنصة.
السلوك: النشاط، التردد، العمق، الوقت من اليوم، الفئات المفضلة.
قائم على القيمة: ARPU/ARPPU، كميات LTV، الهامشية.
المرحلة: عاد الصعود، الناضج، «النوم».
RFM: Recency, Freedency, Monitary with bins/quantiles.
المجموعة: حسب تاريخ التسجيل/الدفعة الأولى/المصدر.
قطاعات المخاطر: مخاطر استرداد التكاليف، ومخاطر إساءة استخدام المكافآت، والنشاط غير الطبيعي.
دورة الحياة: الميل إلى الاضطراب، الميل إلى الشراء، التالي الأفضل.
السياق: قواعد الجهاز/القناة/الإقليمية.

3) البيانات والتحضير

تصحيح النقطة في الوقت المناسب: يتم احتساب العلامات من «الماضي» المتاح.
المجاميع حسب النافذة: 7/30/90 يوم مبالغ/ترددات/كميات.
التطبيع: قياس الروباست (متوسط/MAD)، تحولات السجل للذيول الطويلة.
الفئات: واحد ساخن/هدف/هاش ؛ السيطرة على القيم «النادرة».
الجودة: الإغفالات، التكرارات، انجراف الدوائر، تزامن المناطق الزمنية.
الدلالات: قواعد العمل الصريحة (على سبيل المثال، ≥1 الإيداع) قبل تجزئة ML.

4) طرق التجزئة

4. 1. قواعد وعتبات الصندوق الأبيض

الشروط البسيطة: «VIP if LTV ≥ X and referency ≥ Y».
الإيجابيات: مفهوم، يتم تنفيذه بسرعة كسياسة.
السلبيات: الهشاشة عند الانجراف، وتعقيد الدعم عندما يزداد عدد القواعد.

4. 2. التجميع (بدون إشراف)

k-means/k-medoids: خط أساس سريع للخصائص الرقمية.
GMM: ملحقات ناعمة، شرائح احتمالية.
HDBSCAN/DBSCAN: مجموعات حرة الشكل + «ضوضاء» كحالات شاذة.
طيف/EM على أنواع مختلطة: للهندسة المعقدة.
ميزة التعلم → المجموعة: التضمين الأول (التشفير التلقائي/المحول)، ثم التجمع في الفضاء الكامن.

4. 3. الإشراف - التقسيم (المستهدف)

نقوم بتدريب النموذج على مؤشر الأداء الكوري المستهدف (على سبيل المثال، LTV/risk)، وبناء أجزاء وفقًا لكميات التنبؤ وملفات تعريف SHAP وأشجار القرار.
الإيجابيات: القطاعات «مرتبطة» بهدف تجاري، ومن السهل التحقق من الارتفاع.
السلبيات: خطر «الملاءمة» ؛ هناك حاجة إلى التحقق الصارم.

4. 4. زخارف وقواعد التردد

مصفوفات RFM، القواعد الترابطية (الدعم/الرفع)، التسلسلات المتكررة (PrefixSpan) - خاصة لملاحة المنتج والحزم.

4. 5. الرسم البياني/قطاعات الشبكة

أوساط الاتصال (الأجهزة وطرق الدفع والإحالات) ؛ GNN لإثراء السمات.

5) اختيار النهج: مصفوفة سريعة

6) تقييم جودة التجزئة

• Silhouette/Davies-Bouldin/Calinski-Harabasz: الانضغاط والقابلية للانفصال.
• الاستقرار: Jaccard/ARI بين إعادة التشغيل/أحذية التمهيد.
• المعلوماتية: تباين تقاطع السمات الرئيسية.

• التجانس من قبل مؤسسة KPI: الاختلافات في LTV/التحويل/المخاطر بين القطاعات.
• إمكانية العمل: نسبة الأجزاء التي تختلف فيها الاستجابة للتدخلات.
• Uplift/A/B: قطاع يستهدف المكاسب مقابل الاستهداف الإجمالي.
• التغطية: النسبة المئوية للمستخدمين في القطاعات «الحية» (وليس فقط «الضوضاء»).

7) التحقق والقوة

السيرة الذاتية الزمنية: التحقق من ثبات المقاطع بمرور الوقت (النوافذ المتدحرجة).
التحقق من صحة المجموعة: لا تخلط المستخدمين/الأجهزة بين القطار/val.
التكرار - تشغيل في الأسواق/القنوات المجاورة.
الانجراف: PSI/JS-div حسب الميزات وتوزيع القطاعات ؛ عتبات التنبيهات.
الجوانب المستقرة/الاستهلال: لمقارنة نسخ التجزئة.

8) قابلية التفسير

جوازات السفر القطاعية: وصف القواعد/الطرق المركزية، الميزات الرئيسية (أعلى SHAP/تبديل)، صورة الجمهور، ملف تعريف KPI.
التصور: UMAP/t-SNE بألوان المقطع، «شبكة» المقاييس حسب القطاع.
قواعد التنشيط: علامات تبويب بشرية ("High-Value Infrequent"، "Risky Newcomers').

9) التنفيذ التنفيذي

Fichestor: وظائف حساب الميزة الموحدة عبر الإنترنت/غير متصلة بالإنترنت.
الإنقاذ: SLA والتردد (عبر الإنترنت عند الدخول، مرة واحدة يوميًا، في الحدث).
تصدير واجهة برمجة التطبيقات/الدفعة: معرف المستخدم → قطاع/احتمال/طوابع زمنية.
الإصدار: «SEG _ MODEL _ vX»، عقد البيانات، تاريخ تجميد مجموعة التدريب.
السياسات: لكل جزء - قواعد العمل (أولوية العرض/الحدود/الدعم).
Fail-safe: الجزء الافتراضي عند التحلل (لا توجد ميزة/مهلة).

10) التجريب وصنع القرار

A/B/n حسب القطاع: نختبر العروض/الحدود المختلفة على نفس شبكة القطاع.
الرفع: تأثير الاستهداف مقابل التحكم (Qini/AUUC، uplift @ k).
تخصيص الميزانية: نوزع الميزانية حسب القطاعات حسب حدود الهامش/المخاطر.
حواجز الحماية: FPR/FNR لقطاعات المخاطر ومعدل الاتصال وإرهاق الجمهور.

11) الأخلاق والخصوصية والامتثال

تقليل البيانات: نستخدم الحد الأدنى المطلوب، الاسم المستعار.
الإنصاف: مقارنة الأخطاء و «جمود» السياسات من جانب القطاعات الحساسة ؛ يستبعد الخصائص المحمية من القواعد، أو يطبق تصحيحات الإنصاف.
الحق في الشرح: منطق تعيين قطاع المستندات.
مراجعة الحسابات: سجل النسخ، وميزات المدخلات، والقرارات ونتائج الحملات حسب القطاعات.

12) أنماط القطع الأثرية

جواز سفر مقطع

Code/Version: 'SEG _ HVIF _ v3'

الوصف: «نشاط نادر عالي القيمة»

المعايير/المركز: 'LTV _ quantile ≥ 0. 9 ',' Recency _ days ∈ [1545] ',' Freedency _ 30d ∈ [1.3] '

الحجم/الوصول: 4. 8٪ من المستخدمين (آخر 30 يومًا)

ملف تعريف KPI: ARPPU ↑ 2. 4 × من متوسط مخاطر Churn

التوصيات: عروض إعادة المشاركة اللينة، والبيع المتبادل للمنتجات المتميزة، وحد التردد 1/7 د

المخاطر: الخصومات المفرطة → «الإدمان»

المالك: CRM/تحقيق الدخل

التاريخ/الصلاحية: 2025-10-15 ؛ تنقيح ربع سنوي

عقد التجزئة

ميزة المصدر: 'fs. user_activity_v5'

الجدول الزمني: الدفعة الليلية 02:00 بالتوقيت العالمي المنسق ؛ تحديث عبر الإنترنت لحدث «الشراء»

الخدمة: 'segmentor. api/v1/score '(p95 ≤ 120 мс)

السجلات: «seg _ scoring _ log» (تجزئة ميزة، إصدار، سرعة، قطاع)

التنبيهات: حصة «غير معروفة»> 2٪ ؛ PSI حسب الميزات الرئيسية> 0. 2; اختلال التوازن القطاعي> 10 صفحة في اليوم

13) القائمة المرجعية السابقة للإفراج

• أهداف تأثير التجزئة ومؤشرات الأداء الرئيسية المتفق عليها
• الوحدة والنوافذ وتواتر التحويل المحددة
• هناك خط أساس (قائم على القواعد) وبديل ML ؛ مقارنة الارتقاء
• وثائق القطاع + التصور وعلامات التبويب البشرية
• ضبط A/B، حواجز الحماية وتنبيهات الانجراف
• إصدار البيانات، عقود البيانات، جداول الحوادث
• سياسات العمل لكل قطاع والاحتياطي الافتراضي

المجموع

التجزئة ليست «تجميع لمرة واحدة» ولكنها حلقة تحكم: البيانات والنوافذ الصحيحة، والقطاعات الشفافة، والارتباط بمؤشرات الأداء الرئيسية، والتحقق الصارم، والمسؤوليات التنفيذية، ورصد الانجراف. أضف التعقيد (التضمين والرسوم البيانية ونهج الإشراف) فقط عندما يعطي ارتفاعًا قابلاً للقياس ويظل قابلاً للتفسير للأعمال والامتثال.