الكشف عن الشذوذ

الكشف الشاذ هو تحديد الملاحظات أو الأنماط أو التغييرات غير العادية في البيانات التي تنحرف عن «القاعدة» ويمكن أن تشير إلى الإخفاقات أو الاحتيال أو الحوادث الأمنية أو أخطاء البيانات أو أحداث الأعمال النادرة. وفيما يلي عرض منتظم: من صياغة المهام إلى تشغيل وإدارة التنبيهات.

1) أنواع الشذوذ والبيانات

النقطة الشاذة: ملاحظات واحدة خارج القاعدة (زيادة في الرواسب لمستخدم واحد).
السياق: الانحرافات الحساسة للسياق (الحمل العالي في الليل - حسنًا، أثناء النهار - الشذوذ).
جماعي: مجموعة من النقاط العادية في تسلسل غير عادي (سلسلة من المعاملات الصغيرة).
الهيكلية: نقطة التغيير ؛ موسمية جديدة).
شذوذ جودة البيانات: الإغفالات، التكرارات، الغراء، عدم محاذاة الطوابع الزمنية، أجهزة الاستشعار «المسطحة».

أنماط التدريب:

الإشراف: هناك حالات شاذة ملحوظة (نادرة ومكلفة).
شبه إشرافي (فئة واحدة): نعلم «القاعدة»، كل شيء آخر غير طبيعي.
غير إشرافي: نحن نبحث عن «نادر/بعيد» بدون علامات.

2) البيانات والتحضير

الحدود العادية: الآفاق والموسمية (ساعة/يوم/أسبوع)، الأحداث التقويمية، عطلات نهاية الأسبوع، العروض الترويجية.
الميزات: التأخير، الإحصاءات المنزلقة (المتوسط/المتوسط/EMA)، الميزات الكمية، ترميزات الفئة، العدادات النادرة، مجاميع النوافذ 7/30/90.
التنظيف: التفريغ، تصحيح المنطقة الزمنية، معادلة التردد، تجاوز المناولة (نماذج الاستيفاء/التعبئة الأمامية/الاسترداد).
التوحيد القياسي/المتانة: FourtustScaler/ranks/vinzorization لمقاومة الانبعاثات.
تصحيح النقطة في الوقت المناسب: لا توجد تسريبات مستقبلية عند إنشاء الميزات.

3) طرق الكشف

3. 1. الإحصاءات والقواعد

z-score/strust z (متوسط، MAD)، IQR/box plot، تنعيم أسي مع ممرات الثقة.
بطاقات التحكم (Shewhart، CUSUM، EWMA): لعمليات الإنتاج ومقاييس التدفق.
عتبات كمية (ديناميكية بواسطة النوافذ)، عتبات كمية موسمية.

3. 2. المسافات والكثافة والتجمعات

مسافة kNN، عامل Outlier المحلي (LOF) هو نادر محلي.
DBSCAN/HDBSCAN - نقاط ضوضاء خارج المجموعات.
الأنيسول الخماسي الكلور/الأنيسول الخماسي الكلور القوي - حالات شاذة → ارتفاع إحصاءات الأخطاء المتبقية/الأنيسول الخماسي الكلور ؛ هوتيلينغ تي ².

3. 3. المجموعات والأشجار

غابة العزل - تعزل النقاط النادرة بطرق قصيرة.
العتبات/التعبئة العشوائية على القواعد الأساسية - خطوط الأساس السريعة للطعام.

3. 4. التعمير والاحتمالات

Autoencoder/VAE (بما في ذلك LSTM/Transformer for sequences): الشذوذ = خطأ إعادة البناء العالي.
التنبؤ الاحتمالي: تجاوز الفترات المتوقعة - الإشارة.
نماذج/تيارات بايزية لتطبيع التحولات - عدم يقين صريح.

3. 5. السلسلة الزمنية وتغييرات الوضع

ARIMA/ETS/Prophet/TBATS - توقع + انحراف.
كشف نقطة التغيير: BOCPD، RuLSIF/Divergence standards، Cruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - ابحث عن «أكثر متتالية متباينة».

3. 6. رسم بياني متعدد الأبعاد

TS multivariate: VAR, TCN/TFT, LSTM-VAE; العلاقات المتبادلة وفترات الثقة المشتركة.
الأعمدة: مسارات فرعية/عقد غير طبيعية (على سبيل المثال، في حركة المرور الشبكية أو سلاسل الدفع).

4) اختيار الطريقة: مصفوفة عملية

السيناريو	البيانات	توصية
مقاييس المبيعات والقياس عن بعد	التدفق، الموسمية	ممرات EWMA/CUSUM + الكمية ؛ ثم عزل الغابة كطبقة ثانية
الغش/المعاملات	لوحة عدم التوازن	LOF/Isolation Forest كخط أساس → Autoencoder/VAE ؛ إضافة قواعد المجال
المبيعات/السوق	صفوف يومية	نبي/TBATS + فترات كمية ؛ نقطة التغيير للتعديلات
جودة البيانات	جذوع الأشجار الخام	قواعد الجودة + الإحصاءات ؛ تنبيهات إلى المخططات/NULL/مكررة
تدفقات الأحداث	الوقت الحقيقي	الإصدارات الإلكترونية من طرازات فئة واحدة خفيفة الوزن CUSUM/EWMA + ؛ حد التأخير

5) تقييم الجودة للحالات الشاذة النادرة

عدم التوازن: قد تكون جمهورية الكونغو الديمقراطية - مفوضية الاتحاد الأفريقي مضللة ؛ التركيز على PR-AUC، precision @ k، recall@FPR≤x٪، F1، Matthews CC.
مقياس الوقت: متوسط وقت الكشف (ATTD)، نسبة «الاكتشافات المبكرة».
الاستقرار: النسبة المئوية للرفرفة (التنبيه المتكرر عند التشغيل/الإيقاف)، متوسط طول الفترات «الهادئة».
على أساس التكلفة: مصفوفة التكاليف (الإيجابية الخاطئة/السلبية الخاطئة)، قيمة الحوادث التي تم تجنبها.
التحقق: الانقسامات الزمنية، النوافذ خارج الوقت، الانقسامات الجماعية (حسب المستخدم/الجهاز)، الاختبارات الخلفية.

6) استراتيجيات العتبة والمعايرة

العتبات الثابتة: بسيطة، لكنها تنكسر عندما تكون موسمية.
ديناميكية: كمية لكل جزء/في الساعة، تتكيف مع الأحمال وساعات الهدوء.
النسبة المئوية بالسرعة: 99. 5/99. والتاسعة للدقة العالية ؛ لكل دلو حسب الفئة.
معايرة الدرجات: متساوي التوتر/درجة الحرارة للاحتمالات ؛ تنبيه تنعيم (debounce، «N of M»).
Hysteresis: عتبات مختلفة لدخول/الخروج من الحالة الشاذة.

7) قابلية التفسير و RCA (تحليل السبب الجذري)

العالمية: الكسب/التباديل، أحمال الأنيسول الخماسي الكلور، ملامح القطاعات، مساهمة المكونات في خطأ إعادة الإعمار.
محليًا: SHAP/LIME على المنحدرات أو على النماذج المساعدة.
إسناد السلسلة: مساهمة الاتجاه/الموسمية/regressors (العطلات، الحملات).
التفاصيل: «جزء غير طبيعي → ميزة غير طبيعية → كائنات غير طبيعية».
السببية: الفرق في differences/контрфакты لمكتب التأثير التسويقي للشذوذ «الحقيقي».

8) الإنتاج و MLOps

التقديم: متزامن (زمن انتقال منخفض، gRPC/REST) وغير متزامن (دفعة/ميكروباتش).
Fichestor: اتساق عبر الإنترنت/غير متصل، نقطة زمنية، SLA لتوليد الميزات.
النسخ: نماذج، عتبات، مخططات، تشكيلات ؛ تخزين القطع الأثرية والبيانات «قوالب».
التنبيه: تحديد الأولويات (P1-P3)، والتفريغ، وقمع النوافذ (ليلاً/عطلات)، والإغلاق التلقائي أثناء التطبيع.
آمن من الفشل: التحلل التلقائي للقواعد/أجهزة الكشف البسيطة، والمهلة، والحد من QPS.
الظل/الكناري: مقارنة الكاشف الجديد بالكاشف الحالي، خارج الخط - →shadow - →canary - →full.
حلقة التغذية الراجعة: واجهة وضع علامات التنبيه والترحيل شبه التلقائي والتدريب.

9) تقليل التعب من الإنذار

التجميع: تنبيهات المجموعة قريبة من الوقت/الجزء في حادثة واحدة.
SLO على التنبيهات: الهدف للدقة/عدد التنبيهات لكل نوبة.
سياسة التصعيد: نمو الأولوية على أساس المدة/الجدول.
تحديد المعدل: ليس أكثر من إنذارات N لكل نافذة ؛ «فترة هادئة» بعد التشغيل.
مخطط من مستويين: كاشف خشن رخيص (استدعاء عالي) + مدقق دقة باهظ الثمن.

10) قائمة التنفيذ المرجعية

أنواع الشذوذ والقيمة التجارية للكشف عنها
مراعاة الموسمية/الجدول الزمني ؛ خصائص السياق المبنية
خط الأساس السريع + طريقة محتملة أكثر تعقيدًا مختارة
استراتيجية العتبة (ديناميكية/لكل قطاع) والهستيريا
المقاييس: PR-AUC، ATTD، مقاييس التكلفة، تقارير القطاعات
خطة التفسير و RCA ؛ لوحات القيادة
سياسات التنبيه والقمع والتفريغ
تسجيل النقاط والنسخة وميزات المدخلات ؛ إعادة تشغيل الاختبارات
إجراءات إعادة التدريب ومراقبة الانجراف (PSI/JS-div)
الوثائق: عقود البيانات، SLOs، Runibooks

11) الأنماط النموذجية

«التنبؤ + الانحراف»: نقوم بتدريب التوقعات الاحتمالية (الكميات 5-95٪)، الإشارة عند تجاوز الفاصل الزمني.
«Reconstructor»: تنبيه → التشفير التلقائي/PCA القوي لخطأ إعادة الإعمار العالي.
«Insulator»: Isolation Forest for tabular/multific; بسرعة، عدد قليل من الإعدادات.
«الندرة المحلية»: LOF/kNN-المسافة - جيدة للقطاعات ذات الكثافات المختلفة.
«تغيير النظام»: تسبب BOCPD/PELT + في التحقق من الصحة (الإفراج والترويج والحادث).
«مرحلتان»: مرشح قائم على القواعد → ML-verifier (تخفيض خاطئ).

12) مراقبة الكاشف

الجودة: PR-AUC/precision @ k/ATTD في النافذة المنزلقة، حصة التنبيهات المؤكدة.
البيانات: الإغفالات، التأخيرات، الكاردينالية غير العادية، اندفاعات الأحداث.
الانجراف: PSI/KL/JS حسب الميزات الرئيسية والسرعة، انجراف الهدف (إذا تم وضع علامة عليه).
نظام التشغيل: التأخير في الاستدلال، QPS، تحمل الأخطاء، حصة التحلل.

13) وضع العلامات والتدريب النشط

استراتيجيات وضع العلامات: أعلى مستوى في السرعة، والتنوع في المجموعات، وحالات «الحدود».
المواد التركيبية: الحقن الشاذة (الخاضعة للرقابة) لاختبارات الإجهاد.
التعلم النشط: نطلب من المحللين تسميات للحوادث المثيرة للجدل.
ضعف الإشراف: القواعد/الاستدلال كملصقات ضعيفة + مجمعات ملصقات.

14) السلامة والأخلاق والامتثال

الخصوصية: تقليل المجالات، تسمية مستعارة، الوصول إلى الأدوار.
الشفافية: إمكانية تفسير أسباب التنبيه وإجراءات التشغيل الآلي.
مراجعة الحسابات: سجل القرارات، قابلية استنساخ العتبات/النسخ/البيانات.
الإنصاف: التحكم في التحيز حسب القطاع (خاصة لمكافحة الاحتيال/التسجيل).

مسرد مصغر

نقطة التغيير: لحظة التوزيع/تغيير الوضع.
PR-AUC: منطقة تحت منحنى الاستدعاء الدقيق، مستقرة عند موجب نادر.
PSI: مؤشر استقرار السكان، مقياس انحراف التوزيع.
Matrix Profile/Discord: طريقة للعثور على «الأكثر اختلافًا».

المجموع

حلقة الكشف عن الشذوذ الفعالة ليست خوارزمية «ذكية» واحدة، ولكنها مزيج: السياق الصحيح (الموسمية/التقويم)، والميزات القوية، وسياسة الحد الأدنى المدروسة جيدًا التي فسرها RCA، ونظام تشغيل صارم (SLO/سياسات التنبيه) ودورة من التحسينات من خلال التعليقات. يقلل هذا النهج من الإنذارات الكاذبة ويزيد من الفوائد الحقيقية للحالات الشاذة - من الاكتشاف المبكر للفشل إلى الوقاية من الخسارة.

الكشف عن الشذوذ