الاستفادة المثلى من الاستفسارات التحليلية

1) لماذا تحسين (سياق iGaming)

سرعة العمل: تقارير GGR/NET، مزودي/ألعاب، RG/AML والتسويق في p95 SLA.
التكلفة: بايت وشفل أقل → دولار/طلب.
الموثوقية: ساعات الذروة المستقرة، لا تتجمد BI.
المقياس: عشرات العلامات التجارية/الأسواق، مليارات الخطوط، دقائق من النضارة.

2) ملف تعريف التحميل و SLO

وصف «أول 90٪» من الطلبات: النوافذ (7/28/90 د)، المرشحات («العلامة التجارية، البلد، المزود، psp، الحالة»)، سمات الانضمام، سمات JSON، أعلى K والمئوية.
أمثلة SLO: p95 ≤ 1. 2 ثانية للوحة القيادة، بايت مسح ضوئي ≤ 256 ميجابايت/طلب، نضارة ≤ 5 دقائق.

3) تشريح الخطط: ما الذي تبحث عنه

ضغط التنبؤ/الإسقاط - يتم حذف المرشحات وقائمة الأعمدة إلى المصدر.
تقليم التقسيم وتخطي البيانات (min-max/bloom/manifest).
مسح نقلي/تجسيد متأخر: يقرأ العمود مؤجلاً بواسطة JOIN/PROJECT.
انضم إلى الإستراتيجية: Broadcash Hash (BHJ)، Sort-Merge (SMJ)، Nested Loop (NLJ - избегать).
الانسكاب والخلط: حجم الخلط والانسكاب على القرص هو العدو الرئيسي لجيش تحرير السودان.
تنفيذ الاستعلام التكيفي: تغيير الإستراتيجية في وقت التشغيل (التبديل BHJ↔SMJ، الفحم الديناميكي).

يجب أن تظهر الخطة: كم بايت نقرأها، وأين الشافليم، وما نخبئه.

4) الأطراف، الفرز، حالات المجموعات

الأطراف: حسب 'التاريخ' + أبعاد الوصول 1-2 (على سبيل المثال، 'العلامة التجارية، البلد').
الفرز/التجميع: "ترتيب حسب الترتيب/الترتيب العنقودي/Z" بواسطة مرشحات/انضمام متكررة ("موفر، game_id، occurred_at').
إعادة التصنيف والضغط: النقل المنتظم لتخطي البيانات ؛ حجم الملف المستهدف هو 128-1024 ميجابايت.

5) أنماط الانضمام

Broadcast Hash Join (BHJ): ≤ بث بُعد صغير (→ مئات MB) حتى الواقع.

sql
/ hint if engine supports/
SELECT /+ BROADCAST(dim_provider) /...

Sort-Merge Join (SMJ): مجموعات كبيرة، حالات فرز/مجموعات مفاتيح متوافقة → الحد الأدنى من العمود.
الانضمام المسبق/إلغاء التطبيع: نقل السمات المستقرة من 'dim _' إلى اللقطة الفعلية (عرض الإسقاط/التجسيد) - ناقص انضم إلى المسار الحرج.
Anti/semijoins: أعد كتابة «غير موجود/موجود» في خطط صريحة شبه/مانعة للانضمام.
القضاء على الانفجار الكاردينالي: تحقق من المفاتيح المكررة في الأبعاد، واستخدم المفاتيح البديلة.

6) المجموعات والتجمعات وعمليات ما قبل التطبيق

مجموعات Rollup/Cube/Grouping: مرحلة واحدة بدلاً من التجميعات المتعددة.

sql
SELECT brand, country, DATE(ts) d, SUM(amount)
FROM gold. payments
WHERE ts >= NOW() - INTERVAL '7 days'
GROUP BY GROUPING SETS ((brand,country,d),(brand,d),(d));

الآراء المجسدة (MV )/التوقعات: «المدفوعات _ 7d _ by _ brand _ psp»، «الجولات _ 1d _ by _ provider _ game».
التجميع الجزئي → النهائي: السماح للمحرك بالتجمع جزئيا على العمال (المحليين) وأخيرا على المنسق.
تقريبي: HLL لـ «COUNT (مستخدم متميز)»، TDiest للمئوية - أرخص بعدة مرات وكاف لـ BI.

7) وظائف النافذة (أنيق)

التقسيم بالضبط على المفاتيح بانتقائية عالية ؛ الطلب حسب - فرز العمود.
يستعاض عن النوافذ الثقيلة بنوافذ مسبقة وشبه انضمام حيثما أمكن ذلك.

sql
-- Instead of window distinct
SELECT brand, COUNT() users
FROM (SELECT DISTINCT brand, user_id FROM gold. sessions WHERE d>=CURRENT_DATE-7) t
GROUP BY brand;

8) المرشحات والتجميع و TOP-K

ترتيب التصفية ليس مهمًا للمكتب المركزي العماني، ولكن الانتقائية والفهارس/الفرز.
حد... مع ربطات العنق/تقريبًا TOP-K - اختصر الفحص.
Pagination: «keyset pagination» بدلاً من «OFFSET/LIMITE» للجداول الكبيرة.

sql
-- keyset
SELECT FROM t WHERE (date, id) > (:last_date,:last_id) ORDER BY date, id LIMIT 1000;

9) JSON/شبه منظم

تجسيد المسارات الساخنة في الأعمدة ('الجهاز. os'، 'psp. ').
استخدم فهارس معكوسة/GIN على مسارات JSON إذا كان المحرك يدعم.
تجنب UDF حسب السطر: إسقاط أفضل مع السمات المميزة.

10) أخذ العينات تقريبًا

HLL/Theta Sketch: رخيص «COUNT DISKINCT».
TDiest/KLL: مئوية p95/p99 بدون نوع كامل.
الخزان/أخذ العينات الطبقية: البحوث والمعاينات التفاعلية.

11) الذاكرة والمضيق والكونكارينسي

حراسة الانسكاب: حدود الذاكرة للانضمام/agg ؛ عند الانسكاب - تقليل الدفعة/التوازي، زيادة الفرز حسب المفتاح.
Concurrency & QoS: تجمعات للوحات القيادة «الساخنة» والمخصصة للجحيم الثقيل ؛ والمسح/الحدود الزمنية ؛ التحول إلى طلبات «منسية».
ذاكرة التخزين المؤقت للنتائج/ذاكرة التخزين المؤقت: تمكين لتكرار قوالب BI، التعطيل بواسطة رمز النضارة.

12) اختبارات الانحدار و «الجري المزدوج»

تخزين ملفات تعريف مرجعية (تخطيط/مسح بايت/وقت) لأفضل استفسارات N.
قبل إصدار الفهارس/المجموعات - تشغيل A/B: قارن p95، بايت ممسوح ضوئيًا، حصة مقطوعة، خلط.
إنشاء عتبات «فشل سريع»: إذا ارتفع p95> X٪ - التراجع.

13) إمكانية الرصد و SLO

• p50/p95/p99 زمن الوصول، بايت/استعلام مسح ضوئي، تخطي بايت٪، لمس الملفات ؛
• بايت خلط، بايت منسكب، ذروة الذاكرة ؛
• ومعدل إصابة المخبأ ؛ مجاميع نهج الدقة.

التنبيهات: ارتفاع في البايت الممسوح ضوئيًا، وانخفاض في الحصة التي تم تخطيها، و NLJs المتكررة، والانسكاب> العتبات.

14) حالات iGaming (وصفات)

14. 1 المدفوعات/PSPs: «ذروة الإعفاء»

أين: «بين الآن () -7D والآن ()»، «العلامة التجارية، البلد، psp، الحالة».
الطرف: يوم ؛ ORDER/Z-order: '(العلامة التجارية، البلد، ts)' ؛ bitmap: 'psp, status'; ازدهار: «معاملة _ هوية».
MV: «المدفوعات _ 7d _ by _ brand _ psp (الحالة)».
النتيجة: p95 → ~ 1s، البايت الممسوح ضوئيًا ↓ 5-10 ×، صفر مضيق.

14. 2 جولات اللعبة: أفضل ألعاب K/ساعة

النظام حسب по/المجموعة '(مقدم الخدمات، game_id، occurred_at)' ؛ إسقاطات لمرحلة ما قبل الدراسة.
تقريبًا Top-K + TDiest لمدة جولة p95.
خلاصة القول: الرسوم البيانية الثانية الفرعية على المخبأ الساخن.

14. 3 حدود نشطة RG/AML

JSON 'reason' → العمود ؛ bitmap 'rg _ state', 'kyc _ level'; شبه الانضمام مع الولاية الأخيرة.
النتيجة: تقرير «لمدة 30 يومًا» - ثانية، بدون فحص كامل.

15) القائمة المرجعية للتحسين (يوميا)

1. جمع أهم طلبات N وملامحها (الخطة/البايت/الشفل).
2. الدفعات حسب التاريخ + حالات الفرز/المجموعات المتفق عليها.
3. التحقق من تقليم الضغط والإسقاط (الأعمدة المطلوبة فقط).
4. استراتيجية الانضمام: بث صغير، فرز لـ SMJ، لا NLJ.
5. قبل التجميع/MV للوحات القيادة الساخنة.
6. تقريبًا حيث يكون صحيحًا (متميز/مئوي/أعلى ك).
7. JSON → أعمدة و/أو مؤشرات مقلوبة.
8. الضغط/إعادة التصنيف ؛ تم تخطي هدف البايت ≥ 70٪.
9. تخزين مؤقت للنتائج ومجمعات قماش منفصلة.
10. المراقبة: p95، بايت ممسوح ضوئيًا، خلط، انسكاب، معدل إصابة.

16) النماذج (جاهزة للاستخدام)

16. 1 سياسة التحسين (YAML)

yaml workload: bi_hot slo:
p95_latency_ms: 1200 scanned_bytes_max_mb: 256 skipped_bytes_share_min: 0. 70 storage:
partition_by: ["date"]
cluster_by: ["brand","country","occurred_at"]
indexes:
bloom: ["transaction_id","user_surrogate_id"]
bitmap: ["psp","status","rg_state"]
aggregation:
mv:
- name: mv_payments_7d_brand_psp window: "7d"
group_by: ["brand","psp","status"]
approx:
count_distinct: "hll"
percentile: "tdigest"
concurrency:
pools: {bi_hot: 50, adhoc: 10}
timeout_s: 120

16. 2 اختبار انحدار الاستعلام (زائف SQL)

sql
-- baseline: p95<=1200ms, scanned_bytes<=256MB
EXPLAIN ANALYZE
SELECT brand, psp, status, COUNT() cnt, SUM(amount) amt
FROM gold. payments
WHERE ts >= NOW() - INTERVAL '7 days'
AND brand =:brand AND country =:country
GROUP BY brand, psp, status;

16. 3 إعادة كتابة متميزة

sql
-- Bad: Heavy COUNT (DISTINCT user_id)
SELECT COUNT(DISTINCT user_id) FROM gold. sessions WHERE d>=CURRENT_DATE-7;

-- Better: HLL sketch/preaggregate
SELECT hll_union(user_hll) FROM agg. sessions_7d_user_hll WHERE d>=CURRENT_DATE-7;

16. 4 استدعاء Keyset

sql
SELECT
FROM gold. game_rounds
WHERE (occurred_at, round_id) > (:ts,:rid)
AND brand=:brand AND country=:country
ORDER BY occurred_at, round_id
LIMIT 1000;

17) الأنماط المضادة

«SELECT» في الحث ؛ الافتقار إلى تقليم الإسقاطات.
التعويض عن الاستعداد لملايين الخطوط.
COUNT DISTINCT بدون رسومات ؛ المئوية من خلال النوع الكامل.
NLJ على مجموعات كبيرة ؛ تنضم إليها تعبيرات JSON.
دفعات صغيرة وملفات مبعثرة (عاصفة البيانات الوصفية).
سلاسل UDF في WHERE بدلاً من تجسيد الأعمدة.
تجاهل الإحصائيات/ANALYZE - محسن أعمى ومسح كامل.
لا اختبارات تراجع ولا عتبات التراجع.

18) خارطة طريق التنفيذ

0-30 يومًا (MVP)

1. قياس أعلى الطلبات على الشبكة العالمية وتركيب SLO/SLI.
2. الدفعات حسب التاريخ + حالات الفرز/المجموعة ؛ تمكين تخطي/ازدهار البيانات.
3. سيارة واحدة لكل تقرير دفع ساخن ؛ HLL/TDiest в BI.
4. تقسيم برك الاستعلام، وتمكين مخبأ النتيجة.

30-90 يومًا

1. تعداد النوافذ الثقيلة/JSON → preagregation/أعمدة.
2. أبعاد صغيرة للانضمام إلى البث ؛ SMJ لكبار ؛ القضاء على الجبهة القومية للتحرير.
3. ضغط الجدول الزمني وإعادة التصنيف ؛ مستشار رئيسي.
4. إمكانية الرصد والإنذارات بالتدهور، الخطط ألف/باء، التراجع التلقائي.

3-6 أشهر

1. كتالوج الإسقاط/MV مع إصدار و SLA.
2. تقريبًا نواة مميزة/مئوية/أعلى k على جميع لوحات القيادة.

3. نماذج موحدة لاختبارات الانحدار والميزانيات

4. JSON و UDF النظافة الدائمة: التجسيد والمؤشرات.

19) RACI

منصة البيانات (R): التقسيمات/التجميع/الضغط، MV/الإسقاطات، المخابئ، الرصد.
التحليلات/BI (R): إعادة كتابة SQL، تقريبًا التجميعات، اختبارات الانحدار.
مالكو النطاقات (C): متطلبات الأقسام والدقة.
الأمن/DPO (A/R): الخصوصية/PII، عدم الكشف عن هوية المجاميع.
SRE/Observability (C): SLO/allerting, concarrency and capacity.
التمويل (جيم): ميزانيتا الدولار/الطلب والأثر الاقتصادي.

20) الأقسام ذات الصلة

فهرسة التخزين التحليلي، مخططات البيانات والتطور، التحقق من صحة البيانات، ممارسات DataOps، تجميع البيانات، تقليل الأبعاد، التحليلات والمقاييس واجهة برمجة التطبيقات، MLOps: استغلال النموذج.

المجموع

إن تحسين الاستعلام ليس «تلميحًا سحريًا»، ولكنه نظام: ترميز البيانات المختصة (التقسيمات/التجمعات)، والترميز المسبق والخوارزميات التقريبية، واستراتيجيات الانضمام الصحيحة، والمخبأ/العملة المتقنة، والرصد المستمر لـ p95 والبايت الممسوح ضوئيًا. بالنسبة إلى iGaming، هذا يعني مقاييس سريعة ومستقرة للمدفوعات والألعاب والامتثال - ضمن SLA والميزانية.