نشر نماذج ML

(القسم: التكنولوجيا والهياكل الأساسية)

موجز موجز

نشر إنتاج ML الموثوق هو مجموعة من: القطع الأثرية القابلة للتكرار (نموذج/توكينيزر/كونفيج)، وركوب الأمواج الموحد (Triton/KServe/vLLM)، وعملية إطلاق آمنة (كناري/أزرق أخضر/ظل)، وقابلية الملاحظة (الكمون والجودة والانجراف) وكتيبات على الحوادث. يعد الكمون المنخفض (مكافحة الاحتيال/التخصيص)، و SLO الصارم، و PII/الامتثال والتحكم في التكلفة أمرًا بالغ الأهمية لـ iGaming.

1) أنماط النشر

الدفعة (غير متصلة بالإنترنت): مهام ليلية/ساعة (تسجيل مقاطع بأثر رجعي وتحديث). رخيص، يمكن التنبؤ به.
عبر الإنترنت (API المتزامن): مكافحة الاحتيال، والتخصيص، والتوصيات، ونصائح LLM. يتطلب p95 SLA (على سبيل المثال، ≤ 100-300 ms).
التدفق (في الوقت الفعلي تقريبًا): نوافذ من 1 إلى 60 ثانية (Flink/Spark/Kafka Streams) لإشارات ومشغلات CRM.
الهجين: النتيجة التقريبية السريعة عبر الإنترنت + إعادة الحساب/المعايرة في وضع عدم الاتصال.

2) القطع الأثرية والتغليف

القطع الأثرية النموذجية: الأوزان، الرموز، تكوينات المعالجة المسبقة/المعالجة البعيدة، مجموعة البيانات/إصدار الرموز.
التنسيقات: PyTorch/TF SavedModel، ONNX للتوافق، محرك TensorRT للتسارع، GGUF/awq/gptq لتكميم LLM.
الحاويات: صور Docker OCI مع تبعيات مثبتة ؛ العلامات متعددة المنصات (وحدة المعالجة المركزية/وحدة معالجة الرسومات).
الإصدارات غير القابلة للتغيير: نموذج العلامات: الاحتيال v3. 2. 1 '،' الصورة: الاحتيال: 3. 2. 1`.

3) منصة الخدمة

خادم Triton Inference: طراز متعدد، جزار ديناميكي، مجموعة أنابيب.
KServe (K8s-native): مقياس تلقائي (HPA/KPA)، كناري/ظل، وقت التشغيل الخاص.
vLLM/TGI (LLM): دفعة مستمرة، مخبأ KV، فك تشفير المضاربة.
Fichestor: عبر الإنترنت (ms-SLA) + غير متصل بالإنترنت لتكافؤ الميزات.

yaml apiVersion: serving. kserve. io/v1beta1 kind: InferenceService metadata: { name: fraud }
spec:
predictor:
canaryTrafficPercent: 15 model:
modelFormat: { name: triton }
storageUri: s3://models/fraud/v3. 2. 1/
resources: { limits: { nvidia. com/gpu: "1" } }

4) استراتيجيات الإصدار

الأزرق الأخضر: كومتان متطابقتان، تبديل حركة المرور الفوري، التراجع البسيط.
الكناري: زيادة حركة المرور بشكل تدريجي (1٪ → 5٪ → 25٪ → 100٪) عبر بوابات SLO/الجودة.
الظل: يحصل الطراز الجديد على نسخة من حركة المرور، والاستجابات لا تؤثر على أي شيء - تقدير آمن.
اختبارات A/B: نقيس مقاييس الأعمال (التحويل، الاحتفاظ)، الأهمية الإحصائية.

map $request_id $route {
default old;
"~ canary" new; # 5-15% by flag/cook/feature-toggle
}

5) SLOs وميزانيات التشغيل

مكافحة الاحتيال/التخصيص عبر الإنترنت: p95 ≤ 100-150 ms، p99 ≤ 250-400 ms.
تلميحات LLM (128-512 رمزًا): p95 ≤ 300-800 ms جيل من الرموز المميزة الأولى، الرموز/s ≥ الهدف.
التوافر: ≥ 99. 9٪ للمسارات الحرجة.
الجودة: AUC/PR-AUC/Top-K @ N ≥ العتبة،% استجابات سامة/غير صحيحة ≤ X.
التكلفة: طلبات $/1 ألف أو رموز $/1 ألف - ضمن الميزانية.

6) CI/CD للنماذج

1. نموذج → التدريب/finetune في السجل (البيانات الوصفية: البيانات/الرموز/المقاييس/التراخيص).

2. الحزمة والتحقق: اختبارات الوحدة قبل/بعد، توافق واجهة برمجة التطبيقات، اختبارات التحميل (زمن الوصول/الرموز المميزة/s).

3. نشر الكناري: 1-5٪ حركة المرور ؛ إمكانية الرصد (SLO/الجودة/التكلفة).

4. تعزيز/التراجع عن طريق بوابات المعايير.

yaml jobs:
build-serve:
steps:
- run: make export_onnx && make docker_build
- run: pytest tests/serve --maxfail=1
- run: python perf_check. py --p95 120 --fail-on-regress
- run: kubectl apply -f kserve-canary. yaml

7) التأخير وتحسين الإنتاجية

Triton/vLLM، طلب التزامن، المعالجة السابقة/اللاحقة على وحدة المعالجة المركزية.
الكمية (INT8/FP8/INT4) مع المعايرة ؛ TensorRT/ONNX Runtime compilation.
Caching: feature (online-feature/Redis), results and KV cache for LLM.
الإحماء: تسخين المقاييس/المخابئ أثناء الإغراق ؛ المواقد الذاتية «الدافئة».
الميزانية الزمنية: توقف مبكر، حد رمزي/شعاع، تكيف درجة الحرارة.

8) إمكانية الرصد: القياس عن بعد، الانجراف، الجودة

مقاييس SRE: RPS، p50/p95/p99، الأخطاء (5xx/4xx)، وحدة معالجة الرسومات/وحدة المعالجة المركزية util، الذاكرة، قائمة الانتظار، ملء الدفعات.
ML metrics: AUC/PR-AUC, calibration خطأ, category, tokens/s, response length, cache hit.
الانحراف: تباين المبادرة المشتركة/الاستراتيجية المشتركة حسب المدخلات/الخصائص، ورصد نوبات التوزيع ؛ تنبيهات.
الجودة عبر الإنترنت: حالات الاختبار الذهبي، وأخذ عينات الإجابة، وسمية RAG-Score/LLM التلقائية.
قطع الأشجار: سرعة/استجابة (مجهولة المصدر)، trace_id، نسخة نموذجية.

inference_latency_ms_bucket{model="fraud-v3. 2. 1",le="100"} 12345 inference_qps{model="fraud-v3. 2. 1"} 450 tokens_per_second{model="llm-help-v1"} 210

9) إدارة الميزات والاتساق

التكافؤ بين المميزات: نفس التحولات خارج الإنترنت/عبر الإنترنت ؛ ميزات النسخة كرمز.
fichestor online: ms-SLA, TTL, upsert, idempotency; مخبأ أقرب إلى ركوب الأمواج.
الردم/التحديث: خطة لمنع التسجيل عبر الإنترنت من الاختلاف عن المقاييس غير المتصلة بالإنترنت.

10) الأمن و PII والتراخيص

PII: الترميز/الإخفاء، التقسيم حسب المنطقة (EU/TR/LATAM)، التشفير عند الراحة/أثناء العبور.
الأسرار/المفاتيح: KMS/مدير الأسرار، لا أسرار في الصور.
سياسات LLM: مرشحات المحتوى، السدادات الآمنة، الفريق الأحمر.
التراخيص: التحقق من شروط مجموعات البيانات/الأوزان، وحظر إعادة التوزيع/التجارة.
العزلة: مساحة الاسم - RBAC، والحصص، والشروط/التسامح لمجمعات وحدة معالجة الرسومات.

11) المقياس التلقائي و QoS

القياس التلقائي: بواسطة RPS/quelue/latency/GPU-util ؛ القرون الجاهزة للخطوط الساخنة.
فصول QoS: نقدية عبر الإنترنت (ضد الاحتيال)> دردشة LLM> تجارب. الاستباق لصالح الحاسم.
مناطق متعددة: التوجيه القائم على زمن الكمون، مخابئ الوزن الدافئة، تتميز بالتكرار.

12) كتيبات التشغيل والحوادث

نمو p99: فحص دفعة التعبئة، قائمة الانتظار، GPU-util، cache miss ؛ تمكين الجزار العدواني/الحزمة السفلية/الرموز.
انخفضت الجودة: التراجع عن الإصدار السابق، وتشغيل الظل، وإصلاح مصادر الانجراف.
التكلفة آخذة في الازدياد: تمكين التكميم/TensorRT، وزيادة الدفعة، وتحسين الميزة/ذاكرة التخزين المؤقت، وتقليل تردد أجيال LLM عبر RAG/مخبأ النتائج.
حادثة PII: إيقاف الخط الفوري، واستدعاء القطع الأثرية، وتدقيق الوصول، وتقرير الإجراءات إلى المنظم.

13) نماذج العينة

text dynamic_batching { preferred_batch_size: [4, 8, 16, 32]
max_queue_delay_microseconds: 2000 }
instance_group { kind: KIND_GPU count: 2 }

--tensor-parallel-size 2
--max-num-seqs 512
--gpu-memory-utilization 0. 9

python resp = client. score({"features": f}) # v3. 2. 1 assert set(resp. keys()) >= {"score","version","latency_ms"}

14) قائمة التنفيذ المرجعية

1. تحديد الكمون/التوافر/الجودة/التكلفة.
2. توحيد القطع الأثرية والسجل النموذجي (النسخ والبيانات الوصفية).
3. اختر كومة التقديم (Triton/KServe/vLLM) و fichester.
4. قم بإعداد الكناري/الأزرق الأخضر/الظل والبوابات التلقائية.
5. بناء CI/CD: اختبارات التوافق، انحدار perf، الترويج الآمن.
6. تشمل إمكانية الرصد (مقاييس SRE + ML) ومراقبة الانجراف والتنبيهات.
7. تقديم رخص/رخص أمنية/ومراجعة حسابات.
8. تهيئة المستوى الذاتي/QoS والسياسات متعددة المناطق.
9. قم بإعداد كتاب التشغيل واستمتع بيوم المباراة.
10. أدخل إدارة التكلفة: الجزر، التكميم، ذاكرة التخزين المؤقت، RAG.

15) أنتيباترن

نشر «كما هو» بدون كناري/يمكن ملاحظته → حوادث غير متوقعة.
ميزات غير متسقة غير متصلة بالإنترنت/عبر الإنترنت → التناقض المتري.
عدم وجود اختبارات perf والحدود → p99 «عوامات».
مطالب/استجابات تسجيل الدخول دون إخفاء الهوية → مخاطر PII.
يعاني تجمع واحد مشترك لوحدة معالجة الرسومات لكل شيء بدون QoS → الحرجة عبر الإنترنت.
لا يوجد تراجع ولقطات من القطع الأثرية → فترة التوقف الطويلة.

موجز

النشر الناجح لنماذج ML هي القطع الأثرية المعبأة في حاويات، والخدمة الموحدة، وعملية إطلاق آمنة (الكناري/الأزرق الأخضر/الظل)، ومنظمات SLO الصلبة، والجودة/الانجراف/إمكانية رصد التكلفة. أضف fichestore و CI/CD مع بوابات perf ونظافة PII و autoscale و QoS - وستحافظ خدمات مكافحة الاحتيال/التخصيص/LLM باستمرار على ذروة أحمال iGaming بينما تظل متوقعة في p99 والميزانية.