التدريب النموذجي

1) الغرض والمبادئ

الهدف من التدريب هو الحصول على نموذج مستدام وقابل للتكرار وفعال من حيث التكلفة يحسن مقاييس الأعمال (صافي الإيرادات، churn↓، fraud↓) مع الامتثال لـ RG/AML/Legal.

• Problem→Metric→Data: المهمة الأولى وتكلفة المقياس/الخطأ التشغيلي، ثم مجموعة البيانات.
• نقطة زمنية: لا توجد ميزة/ملصق يستخدم المستقبل.
• قابلية التكاثر: البذور/الإصدارات الثابتة، التحكم في القطع الأثرية.
• البساطة أولاً: البدء بالنماذج/الميزات الأساسية ؛ لا تتعقد إلا بفائدة مثبتة.
• الخصوصية حسب التصميم: تقليل PII، الإقامة، التدقيق.

2) إضفاء الطابع الرسمي على المهام والمقاييس

التصنيف: churn/deposit/fraud/RG → PR-AUC, F1 @ operas. عتبة، KS، التكلفة المتوقعة.
الانحدار/التنبؤ: LTV/GGR → WAPE/SMAPE، خطأ P50/P90، تغطية PI.
الترتيب/التوصيات: NDCG @ K، MAP @ K، التغطية/التنوع.
المقاييس عبر الإنترنت: رفع صافي الإيرادات، CTR/CVR، وقت المقابلة (RG)، معدل إساءة الاستخدام.

python best_thr = argmin_thr(cost_fp FPR(thr) + cost_fn FNR(thr))

3) مجموعات البيانات والفواصل

الانضمام في الوقت المناسب والقياسات المتوافقة مع SCD.
اختلال التوازن الطبقي: أخذ العينات الطبقية، class_weight، فقدان البؤرة، الإفراط في تضخيم الأحداث النادرة.
الوقت/السوق/تقسيمات المستأجر: train↔val↔test الفجوة للتسريبات.

sql
SELECT FROM ds WHERE event_time < '2025-07-01'     -- train
UNION ALL SELECT FROM ds WHERE event_time BETWEEN '2025-07-01' AND '2025-08-15' -- val
UNION ALL SELECT FROM ds WHERE event_time > '2025-08-15' -- test

4) إعداد الميزات

النوافذ والوحدات: 10 م/1 ساعة/1 د/7 د/30 د، R/F/M، السرعات/الكسور.
الفئات: التجزئة/الساخنة الواحدة ؛ ترميز الهدف (مع العلم بالوقت).
التطبيع/التحجيم: بارامترات من القطار، باستثناء القطع الأثرية.
الرسم البياني/NLP/geo: قم ببناء دفعة، انشر في متجر الميزات (عبر الإنترنت/غير متصل بالإنترنت).

5) الخوارزميات الأساسية

GBDT: XGBoost/LightGBM/CatBoost هي قاعدة بيانات قوية للبيانات المجدولة.
الانحدار اللوجستي/ElasticNet: قابل للتفسير/رخيص.
استشاري: LambdaMART، عامل، seq2rec.
الشذوذ: Isolation Forest، AutoEncoder.
السلسلة الزمنية: ميزات التقويم النبوي/ETS/GBDT-by.

6) تسوية ومنع إعادة التدريب

GBDT: «max _ depth»، «num _ leaves»، «min _ data _ in _ leaf»، «colsample _ bytree»، «lambda _ l1/l2».
NN: التسرب/تسوس الوزن/التوقف المبكر.
التوقف المبكر: عن طريق المقياس على val مع الصبر والحد الأدنى من التحسين.

7) اختيار hyperparameters

الشبكة/العشوائية للبحث في المسودة ؛ Bayesian/Hyperband للضبط الدقيق.
القيود: ميزانية التكرار/الوقت/التكلفة، «عدم وجود تجهيزات زائدة» على val (التحقق المتبادل من الانقسامات الزمنية المتعددة).

python for params in sampler():
model = LGBMClassifier(params, random_state=SEED)
model. fit(X_tr, y_tr, eval_set=[(X_val, y_val)],
eval_metric="aucpr", early_stopping_rounds=200)
log_trial(params, pr_auc=pr_auc(model, X_val, y_val), cost=cost())

8) معايرة الاحتمال

Platt/Isotonic на lobdout; تخزن وظيفة المعايرة كقطعة أثرية.
التحقق من اللجنة الاقتصادية لأوروبا/قابلية الارتباط ؛ إعادة التفاوض بشأن العتبات حسب التكلفة المتوقعة.

9) قابلية التفسير والإيضاحات

على الصعيد العالمي: أهمية السمات/برنامج عمل شاب والمساهمة في التباديل.
محلي: SHAP لحلول الوحدات (قضايا RG/AML).
توثيق مخاطر ومقبولية استخدام التفسيرات عبر الإنترنت.

10) قابلية الاستنساخ والتحف

البذور في كل مكان: بيانات/نموذج/ملاءمة/تقسيم.
القطع الأثرية: إصدار البيانات، خط الأنابيب المميز، الأوزان، المعايرة، العتبات، التكوينات.
المباني الحتمية: الحاويات الثابتة/التبعيات.

11) تجارب التتبع

نحن نسجل: git-committed، مجموعة البيانات/إصدارات الميزات، إعداد النموذج، المقاييس (خارج/عبر الإنترنت)، القطع الأثرية والتعليقات.
قواعد تسمية التجارب، العلامات (المجال/السوق/النموذج).

12) النقل عبر الإنترنت → غير متصل بالإنترنت

رمز التحويل الموحد (متجر المميزات) ؛ اختبار التعادل عبر الإنترنت/خارج الإنترنت.
التقديم: REST/gRPC، المهلة/إعادة الطباعة/المخبأ ؛ الكناري/عمليات السحب على مراحل.
العتبة/السياسة: قابلة للتكوين (أعلام الميزات)، مراجعة الحسابات والتراجع.

13) الرصد والانجراف

البيانات/المعدل: PSI/KL ؛ عند تجاوز العتبات.
المعايرة والمقاييس: اللجنة الاقتصادية لأوروبا، PR-AUC/KS على ملصقات البث.
مقاييس الأعمال: رفع صافي الإيرادات، الاحتيال المحفوظ، تدخلات RG، SLA.
مشغلات إعادة التدريب: حسب الانجراف/الموسمية/الإصدارات/تاريخ انتهاء الصلاحية.

14) الخصوصية والإقامة والإنصاف

تقليل PII: أسماء مستعارة، CLS/RLS، رسم خرائط فردية.
الإقامة: الأدلة/المفاتيح الفردية (EEA/UK/BR) ؛ حظر الانضمام عبر الأقاليم دون سبب.
الإنصاف: تحليل الشرائح (عصر السوق/الجهاز/الحساب)، تأثير متباين، احتمالات متساوية ؛ تصحيح الخصائص/العتبات/الأوزان.

15) هندسة التكاليف

تكلفة التدريب: ساعات وحدة المعالجة المركزية/وحدة معالجة الرسومات، عدد الأشواط.
تكلفة الاستدلال: الوقت/التكلفة لكل طلب ؛ على الميزات على الإنترنت وحجم النموذج.
التجسيد: سمات ثقيلة - غير متصلة بالإنترنت ؛ عبر الإنترنت - سريع، مخبأ.
رد التكاليف: الميزانيات التجريبية/إعادة التشغيل.

16) أمثلة (شظايا)

python params = dict(
objective="binary", metric="average_precision",
num_leaves=64, learning_rate=0. 05, feature_fraction=0. 8,
bagging_fraction=0. 8, lambda_l1=1. 0, lambda_l2=2. 0
)
model = lgb. train(params, train_data,
valid_sets=[valid_data],
early_stopping_rounds=200, verbose_eval=100)
save_artifacts(model, scaler, feature_spec, cal_model)

sql
SELECT a. user_pseudo_id, a. asof, f. dep_30d, f. bets_7d, lbl. churn_30d
FROM features_at_asof f
JOIN asof_index a USING(user_pseudo_id, asof)
JOIN labels lbl USING(user_pseudo_id, asof);

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_val, y_proba >= t, cost_fp, cost_fn) for t in thr_grid]
t_best = thr_grid[np. argmin(costs)]

17) العمليات و RACI

R (مسؤول): علوم البيانات (النماذج/التجارب)، Data Eng (مجموعات البيانات/الميزات/متجر الميزات)، MLOps (خدمة/رصد/CI-CD-CT).
ألف (مسؤول): رئيس قسم البيانات/المدير التنفيذي.
جيم (استشاري): الامتثال/إدارة الشؤون السياسية (PII/RG/AML/DSAR)، الأمن (KMS/secrets/audit)، SRE (SLO/value)، المالية (ROI).
I (معلومات): المنتج/التسويق/العمليات/الدعم.

18) خارطة طريق التنفيذ

1. دليل المهام والمقاييس (التكلفة المتوقعة)، ومجموعات البيانات المحددة زمنيا.

2. النماذج الأساسية (LogReg/GBDT) + بطاقات المعايرة + الطراز.

3. تجارب التتبع، البذور الثابتة/القطع الأثرية، البناء القابل للتكرار.

4. ركوب الأمواج عبر الإنترنت الكناري، عتبات مثل التهيئة، مقاييس التنبيه/الانجراف.

• اختيار Bayesian/Hyperband، تحليل الشريحة/الإنصاف، محفزات إعادة التدريب.
• ميزة/استنتاج الاقتصاد، ذاكرة التخزين المؤقت/TTL، رد التكاليف.
• توثيق الصيغ المترية/العتبة، محاكاة ماذا لو.

• خطوط أنابيب متعددة المناطق، DR/تمارين، أرشيف WORM للإطلاقات.
• التوليد التلقائي لتقارير الجودة/المعايرة، والتدريب التلقائي الزائد حسب الأحداث.
• تجارب A/B/n مع الاختبار المتسلسل والإغلاق التلقائي.

19) قائمة مرجعية قبل البيع

• مواءمة المهام والمقاييس التجارية ؛ حساب تكلفة الأخطاء.
• نقطة زمنية للبيانات ؛ تقسيم الوقت/السوق بدون ابيضاض.
• الاختيار/التسوية، التوقف المبكر، معايرة الاحتمالات.
• بطاقة النموذج: البيانات والميزات والمقاييس والمخاطر والإنصاف والمالك.
• القطع الأثرية المحفوظة (الأوزان، خط الأنابيب المميز، المعايرة، العتبات).
• اجتاز اختبار المعادلة عبر الإنترنت/خارج الإنترنت ؛ ركوب الأمواج بعلم مميز.
• رصد مقاييس الانحراف/المعايرة/الأعمال التجارية ؛ خطط إعادة التدريب/التراجع.
• يتم اتباع سياسات PII/DSAR/RTBF والإقامة ومراجعة الوصول.
• تكاليف التدريب/الاستدلال مدرجة في الميزانية ؛ تنبيهات جيش تحرير السودان.

20) الأنماط والمخاطر المضادة

Lakage: ميزات/ملصقات من المستقبل، SCD غير منسقة.
ضبط «إلى الأزرق» على عينة عمود واحدة: لا انقسامات مؤقتة/فحص متقاطع.
لا عتبات المعايرة والتكلفة.
ميزة عدم التطابق عبر الإنترنت/غير متصل بالإنترنت: نتائج مختلفة على الدفع.
يتجاهل الإنصاف/الشرائح: الإخفاقات الخفية في الأسواق/الأجهزة.
الإعادة غير المحدودة والميزات باهظة الثمن: ارتفاع القيمة بدون فائدة.

21) خلاصة القول

التدريب النموذجي هو عملية يمكن التحكم فيها: مهمة واضحة ومقاييس، وانضباط نقطة في الوقت المناسب، وضبط ذكي مع التسوية، والمعايرة وقابلية التكاثر، والنقل الشفاف إلى الإنترنت، والرصد المستمر للجودة والتكلفة والمخاطر. من خلال اتباع دليل اللعبة هذا، تحصل على نماذج تعمل بشكل متوقع على تحسين المنتج والاحتفاظ به والامتثال - بسرعة وأخلاقية وموثوقة.