قابلیت مشاهده و تله متری

(بخش: تکنولوژی و زیرساخت)

خلاصه ای کوتاه

قابلیت مشاهده توانایی پاسخ دادن به «چرا این کار را انجام می دهد ؟» بدون ایجاد ساختارهای جدید. در iGaming، این مهم است: مسابقات اوج، قله پرداخت، چند منطقه ای و قمار مسئول/PII مورد نیاز است. اساس - معیارها، سیاهههای مربوط، ردیابی، متحد شده توسط شناسه ها و استانداردهای مشترک (OpenTelemetry)، با قراردادهای SLO، هشدار مقاوم در برابر سر و صدا و کنترل هزینه.

1) چارچوب قابل مشاهده: آنچه در آن تشکیل شده است

معیارها (اعداد بر اساس زمان): RED/USE، KPI کسب و کار، SLI. ذخیره شده در TSDB

سیاهههای مربوط (حوادث در متن/JSON): حسابرسی، خطاها، حقایق کسب و کار، امنیت.
ردیابی (دهانه): درخواست مسیر از طریق خدمات، تاخیر، علل تاخیر.
پروفایل: جریان CPU/حافظه/eBPF، محتوای هیپ/قفل.
RUM و synthetics: کاربران واقعی (وب/برنامه) + بررسی ربات.
کاتالوگ تله متری: طرح ها، سیاست های PII، دوره های نگهداری، برچسب های هزینه.

2) طبقه بندی و اصول سیگنال

RED для API: نرخ، خطا، مدت زمان.
استفاده برای زیرساخت: استفاده، اشباع، خطاها (CPU، دیسک، شبکه، صف).
SLI/SLO: شاخص های قابل اندازه گیری (به عنوان مثال درخواست های موفقیت آمیز/همه، تاخیر p95)، اهداف دسترسی (به عنوان مثال "99. 9٪ در 30 روز")، خطا → بودجه باعث روند.
بالا cardinality عاقلانه: برچسب باید در کاهش (منطقه/مستاجر/ارائه دهنده) مفید باشد، اما منفجر کردن TSDB.

3) استانداردها و همبستگی پایان به پایان

OpenTelemetry (OTel): یک SDK/پروتکل برای معیارها، سیاههها و ردیابیها.
شناسه ها: 'trace _ id'، 'span _ id'، 'correlation _ id'، 'player _ id' (pseudonymised)، 'payment _ route'.
شناسه جریان: دروازه ورود → تمام خدمات میکروسرویس → پرداخت/PSP → صف/شغل → سیاهههای مربوط/متریک/دهانه.

مثال: هدرهای همبستگی

traceparent: 00-<trace_id>-<span_id>-01 x-request-id: <correlation_id>

4) معیارها: چه چیزی و چگونه اندازه گیری می کنیم

نامگذاری/برچسب ها

'service =' payments-api '', 'env =' prod '', 'region =' eu-west '', 'tenant', 'provider =' pspX ''.

نمونه های پرومتئوس

prometheus
RED http_requests_total{service="api",route="/deposit",method="POST",status="200"}
http_request_duration_seconds_bucket{service="api",le="0. 25",route="/deposit"} 1234 http_request_errors_total{service="api",route="/deposit"}

USE cpu_utilization_ratio{node="n1"} 0. 71 queue_depth{queue="withdrawals"} 128

Бизнес payments_success_total{psp="X",currency="EUR"} 4521 payment_conversion_ratio{route="pspX"} 0. 948

هیستوگرام ها و نمونه ها

هیستوگرام های تأخیر (هیستوگرام های بومی/ β uckets) را ذخیره کنید و نمونه را با «trace _ id» پیوند دهید تا از «سطل آهسته» به یک مسیر خاص پرش کنید.

5) سیاهههای مربوط: ساختار یافته و امن

فقط JSON (بدون «فرم آزاد» در تولید).
Поля: 'مهر زمان'، 'شدت'، 'سرویس'، 'ردیابی _ id'، 'همبستگی _ id'، 'player _ id _ hash'، 'رویداد'، 'مقدار'، 'ارز'، 'ip _ hash'.
PII masking/hashing، شاخص های جداگانه/نگهداری برای حساس.
خطوط لوله ورود به سیستم: تجزیه → نرمالیزاسیون → غنی سازی (جغرافیایی/ASN) → ویرایش PII → نمایه سازی.

نمونه ای از یک رویداد JSON

json
{
"ts":"2025-11-05T10:42:31Z",
"sev":"ERROR",
"service":"payments-api",
"event":"psp_timeout",
"trace_id":"9c5e...e2",
"route":"pspX",
"duration_ms": 3100,
"attempt":2,
"player_id_hash":"p:1b7f...",
"pii_redacted":true
}

6) ردپاها: جایی که زمان از دست رفته است

محدوده: درخواست ورودی، تماس های ارائه دهنده (PSP/ارائه دهندگان بازی)، پایگاه داده/کش، RPC های interservice.
ویژگی ها: db. سیستم '،' شبکه. همکار. نام، پیام. سیستم '،' PSP. مسیر '،' بازی. ارائه دهنده ".

• مبتنی بر سر برای حجم،
• مبتنی بر دم (بر اساس شرایط: خطاها، p95 +، VIP-بخش)،
• تضمین شده برای پرداخت/PII بحرانی نگه دارید.

7) قابلیت مشاهده جلو و موبایل

RUM: TTFB، FCP/LCP/CLS/INP، خطاهای JS، شبکه ها و مسیریابی SPA.
گزارش سقوط: نمادگرایی، deobfuscation، ساخت نسخه، دستگاه/سیستم عامل.
مصنوعی: سناریوهای ورود/سپرده/نرخ ؛ جغرافیایی توزیع چک.

8) SLO، SLI و بودجه خطا

مثال SLO (شبه YAML)

yaml service: payments-api sli:
- name: availability expr: sum(rate(http_requests_total{status=~"2..    3.."}[5m]))
/ sum(rate(http_requests_total[5m]))
- name: latency_p95 expr: histogram_quantile(0. 95, rate(http_request_duration_seconds_bucket[5m]))
targets:
availability: "99. 9%/30d"
latency_p95: "<=250ms/30d"
error_budget_policy:
fast_burn: 5% for 1h -> page, freeze deploy slow_burn: 20% for 24h -> incident, improvement plan

هشدار با بودجه خطا، نه «هر متریک».
روش های انجماد برای احتراق بودجه: انتشار محدود/قناری ها.

9) هشدار بدون سر و صدا

چند پنجره، قوانین چند سوختگی: پنجره کوتاه/بلند.
Deduplication/rooting: توسط سرویس/منطقه/بحرانی در تماس.
URL Runbook و جمع آوری خودکار متن (آخرین ارسال ها، تغییرات پیکربندی، نمودار وابستگی).
ساعات آرام و سرکوب در طول کار برنامه ریزی شده.

قانون مثال (ایده PromQL)

promql alert: PaymentsSLOFastBurn expr: slo_error_rate_5m > 2 slo_budget_rate for: 15m labels: { severity="page", service="payments-api" }
annotations:
summary: "SLO fast burn"
runbook: "https://runbooks/payments/slo"

10) پروفایل و eBPF

eBPF/پروفایل: نمودار CPU/شعله، تاخیر I/O، قطره شبکه، ناهنجاری Syscall.
مفید برای تنگناها p99، jitter و یخ نادر است.

11) قابلیت مشاهده کسب و کار (محصول و ریسک)

امور مالی/کسب درآمد: تبدیل سپرده، TTW (زمان به کیف پول)، نویسنده ./حل و فصل، لغو/بازپرداخت.
فعالیت بازی: حفظ/خط, سهم از شرط زندگی می کنند, «چسبندگی» از ارائه دهندگان.
ضد جعل/سوء استفاده: سرعت عمل، دستگاه/IP مسابقات، همبستگی.
شاخص RG: جلسات طولانی، «dogon»، رشد استیک.
معیارهای تجاری با معیارهای فنی و رویدادهای حاشیه نویسی مرتبط هستند.

12) ایمنی، PII و انطباق

Data-zones: مجموعه داده/log tags ('pii = true', 'region = EU').
ماسک قبل از نمایه سازی، aliasing شناسه ها.
فروشگاه های WORM برای ممیزی ؛ مبتنی بر نقش دسترسی ورود به سیستم.
دوره های نگهداری: متفاوت برای techlogs/ممیزی/کسب و کار.
ممنوعیت اسرار خام در سیاهههای مربوط ؛ چک اسکن در CI.

13) مدیریت ارزش (FinOps)

محدودیت کاردینالیتی: مراقب 'user _ id', 'session _ id' باشید.
مشارکت/نگهداری: گرم (7-14 روز)، گرم (30-90)، سرد (آرشیو).
معیارهای نمونه برداری و downsampling مبتنی بر دم.
صورتحساب توسط برچسب ها «تیم»، «خدمات»، «مستاجر»: گزارش «که می سوزاند قابل مشاهده است».

14) ابزار (پشته مرجع)

معیارها: Prometheus/lake برای معیارها، داشبورد Grafana.
سیاهههای مربوط: Loki/ELK ؛ قوانین مصرف، کاهش/تجزیه.
مسیرهای پیاده روی: جمع کننده تمپو/Jaeger/OTel ؛ exemplars-links از متریک.
مصنوعی: صادر کننده جعبه سیاه، روبات های مرورگر.
هشدار: ادغام Alertmanager/چت، چرخش در تماس.
پروفایل: eBPF/پروفایل مداوم.

15) نمونه: پیاده سازی بنیاد به سرعت

python from prometheus_client import Counter, Histogram, start_http_server reqs = Counter('http_requests_total','', ['route','method','status'])
lat = Histogram('http_request_duration_seconds','', ['route'])
def handle(req):
with lat. labels(route=req. route). time():
status = app(req)
reqs. labels(route=req. route,method=req. method,status=str(status)). inc()

go tid:= ctx. Value("trace_id")
logger = logger. With("trace_id", tid)
logger. Info("deposit-accepted", "amount", amt, "route", route)

prometheus http_request_duration_seconds_bucket{..., le="0. 25"} 1023 # exemplar: trace_id=9c5e...

16) فرآیندها و سیستم عامل

فرهنگ لغت یکپارچه از متریک/برچسب (نامگذاری راهنمای) و قالب داشبورد.
حاشیهنویسیهای انتشار به طور خودکار در ستونها.
حوادث: کارت، جدول زمانی، RCA بدون اتهام، موارد اقدام.
آموزش آلارم («بازی روز»): قطره شبیه سازی شده، تاخیر PSP، بیش از حد کش.
Runbooks: دستورالعمل های گام به گام و لینک های خودکار از هشدارها.

17) چک لیست بلوغ

1. OTEL SDK/collector → صادرات واحد متریک/سیاهههای مربوط/مسیرهای پیاده روی.
2. RED/USE تمام خدمات + SLI/SLO توسط API کلیدی را پوشش می دهد.
3. همبستگی 'trace _ id' ⇄ سیاهههای مربوط ⇄ معیارها (نمونه ها، پیوندهای پرش).
4. هشدار در مورد خطاهای بودجه با لینک های چند رایت و runabook.
5. RUM + مصنوعی برای «سپرده/نرخ/خروج».
6. پروفایل (eBPF) در فروش لیست سفید.
7. سیاست های PII: پوشش، مناطق، دسترسی، دوره های نگهداری.
8. گزارش مالی در مورد هزینه تله متری (برچسب های تیم/خدمات).
9. «آمادگی برای بار پیک»: طرح تست، گرم کردن انبارها، قالب های هشدار.
10. RCA های منظم و تجدید نظر SLO/آستانه.

18) ضد گلوله

سیاهههای مربوط «ورق» بدون ساختار و «ردیابی _ id».
هشدار برای هر متریک → هشدار FAT.
هیستوگرام بدون سطل صحیح → «مسطح» p95.
cardinality نامحدود برچسب → انفجار ارزش.
فقدان RUM/synthetics «همه خوب» است، اما کاربر نیست.
مخلوط کردن PII با تکنولوژیست ها، نگهداری نامحدود.
جداسازی تله متری از KPI های تجاری - «تأخیر در حال سقوط است، درآمد نیز هست».

خلاصه

قابلیت مشاهده قوی یک زبان مشترک بین محصول، SRE، امنیت و پرداخت است. با اتصال معیارها، سیاههها، مسیرها برای OTel، معرفی SLO با بودجه خطاها، ایجاد هشدار هوشمند و قابل مدیریت هزینه، سیستمی را دریافت می کنید که مشکلات را زودتر متوجه می شود، سریعتر بهبود می یابد و به طور قابل پیش بینی از قله های ترافیک و بارهای مسابقات عبور می کند.