Ümumi şəbəkə bençmarkları

1) Niyə «ümumi bençmarklar» lazımdır

• domenləri/qovşaqları/provayderləri vahid SLO ilə müqayisə edin;
• faktlara əsaslanaraq şəbəkə parametrlərini (tariflər, kvotalar, limitlər) idarə etmək;
• prodda hadisələrdən əvvəl reqressiyaları aşkar etmək;
• şəffaf stimullar etmək (bonuslar/cərimələr) və etimad.

2) Metrik taksonomiya

2. 1 Məhsuldarlıq

Latency: p50/p95/p99, quyruqlar, «cold-start».
Throughput: msgs/s, tx/s, GB/s (DA/saxlama), RPS (API).
Availability: SLO-uğur, time-out/retrains payı.
Ordering & Exactly-Once: out-of-order %, duplicate ratio.

2. 2 Etibarlılıq və davamlılıq

SLA fasilələri/1k hadisələr, MTBF/MTTR, QoS deqradasiya.
Backpressure-səmərəliliyi: sıçrayışdan sonra stabilizasiya vaxtı.

2. 3 Təhlükəsizlik

Bütövlük/oğurluq hadisələri (bridge, x-domain).
Autentifikasiya/avtorizasiya keyfiyyəti: rədd edilmiş/saxta icazələrin payı.
Anti-frod siqnalları: TPR/FPR davranış modelləri.

2. 4 İqtisadiyyat

Cost-to-Serve/sorğu, marja/mesaj, gəlir/DA bayt.
Resurs səmərəliliyi: CPU/GPU-util, IOPS/GB, egress/sorğu.
Ədalət: «noisy neighbor» indeksi, kvota bölgüsü.

2. 5 və proseslər

Parametrlərin konvergensiyasının sürəti, geri qaytarılmayan buraxılışların uğuru,

prozalların emal vaxtı, R-modifikatoru ilə səslərin nisbəti.

3) Trafik profilləri və QoS sinifləri

Q4 (kritik komandalar): kiçik mesajlar, ciddi son tarixlər.
Q3 (nizamlı axınlar): açar-partizan, sifariş zəmanəti.
Q2 (exactly-once effektiv): idempotentlik + dedup.
Q1 (at-least-once): telemetri, kütləvi hadisələr.
Hər bir sinif üçün istinad profilləri təyin edirik: mesajların ölçüsü, tezliklər, sinxron/asenxron zənglərin payı, spikes (burst), korrelyasiya.

4) Etalon ssenariləri (Bench Suite)

1. Messaging Core: 1→N и N→1; doyma qədər RPS artım; ölçülməsi p95 və duplicate ratio.
2. API Low-Latency: oxu/qeyd qarışığı, soyuq/isti cache, limitlər və deqradasiya.
3. DA/Depolama: yayım batches, Throughput/GB və son ölçülür.
4. X-Domain/Bridge: sübut, son, challenge-periodlar, itkilər/təkrar çatdırılma.
5. ML-Inference Edge: gecikmə/POP-da keçid, həddindən artıq yükləmə zamanı deqradasiya.
6. Batch & Stream: ETL pəncərələri, istehlakçı lag, backpressure səmərəliliyi.
7. Təhlükəsizlik və Abuse: sintetik frod nümunələri, anti-frod yükü, FPR/TPR.
8. Failover/Chaos: AZ/hovuz, stop kranları, SLO qaytarma vaxtı.

5) Ölçmə metodologiyası

5. 1 Replikabillik

Sxemlərin/SDK/konfiqurasiyaların sabit versiyaları; «seeded» yük generatorları.
Warm-up ≥ N dəqiqə; sabit fazada ölçmə ≥ M dəqiqə.
Trace/span və log korrelyasiyası.

5. 2 Dürüstlük və anti-oyun

setup-faza və blind-run ayrılması (gizli yükləmə profili).
Gizli nəzarət tapşırıqları (nişanlar üçün cache/xüsusi optimallaşdırma «fırlanma» yoxlama).
Qara testlər dəsti: gözlənilməz sahələr, mikrospleslər, «nadir» ölçülər.

5. 3 Düsturlar

SuccessRate = 1 − (timeouts + errors)/requests

TailAmplification = p99/p50, Headroom = (cap − current)/cap

Cost/Req = Σ (resurs dərəcəsi )/uğurlu _ sorğular

FairnessIndex (Jain) üçün kvota/zolaqlar.

6) SLO və istinad hədəfləri

Q4 API: p95 ≤ 200 ms, uğur ≥ 99. 99%, səhvlər ≤ 1/10 ⁴.
Messaging Q3: 10 ≤/saat ⁻⁶ pozulması, p95 ≤ 500 ms.
DA nəşrlər: son ≤ 3 × T _ block, Throughput ≥ X GB/saat.

Bridge: yanlış təsdiqlər = 0; MTTR anomaliyalar ≤ 1 saat

Stream: lag ≤ 2×window; kritik topiklər üçün drop = 0.
Batch: Pəncərə jobları 20% -dən ≥ ehtiyatla T_window.

7) Artefaktlar və hesabat formatı

Qeydiyyat pasportu: versiyalar, konfiqlər, tarix/vaxt, geo.
Qrafiklər: latency (pXX), throughput, lag, resurs-utilizasiya.
SLO uyğunluq cədvəlləri: pass/fail + delta etalonuna.
Kapital reqressiya: RCA və fiks planı ilə bir siyahı.
İqtisadiyyat: Cost-to-Serve, marja/mesaj, hotspot-düyünlər.
Nəticə: «Buraxılışa hazır/Sazlama lazımdır/Bloker» statusu.

8) Tariflər və limitlərlə əlaqə

TailAmplification artırsa → avtomatik olaraq kvotaları aşağı salırıq və ya «səs-küylü» kirayəçilərin qiymətini artırırıq.
SLA fasilələri olan qovşaqlar bərpa olunana qədər mükafat payını itirirlər.
Davamlı keyfiyyətli domenlər aşağı keyfiyyətli take-rate (keyfiyyət bonusu) alır.

9) Bençmarkların müşahidə edilməsi

Bütün bench yükü tələblərinin izi.
Uğursuz hadisələr üçün DLQ/Replay və idempotentlik təsdiqi.
Дашборды: BenchRun Live, Tail Heatmap, Backpressure Monitor, Bridge Risk, DA Throughput.

10) Proseslər

Pre-release gate: buraxılış yalnız 'SLO _ pass> = hədəf eşik' və təhlükəsizlik blokerlərinin olmaması ilə mümkündür.
Change Impact: Hər bir əhəmiyyətli konfiqurasiya/versiya qısa «smoke-bench» keçir.
Sunset-SLO: pilotlar üçün müvəqqəti olaraq artan tələblər; avtomatik geri dönüş.
R-səs modifikatoru: Metrika mübahisələrində yüksək keyfiyyətli R-nüfuzu olan iştirakçılar arasında daha çox çəki var.

11) Playbook başlanğıc işarələri

1. Tələblərin toplanması: kritik trakt zəncirləri, QoS sinifləri, biznes SLO.
2. Profil dizaynı: mesaj ölçüləri, R/W qarışığı, sıçrayışlar, x-domain payı.
3. Yük alətləri: generatorlar, məlumat fiksturları, sintetik frod nümunələri.
4. Müşahidə: izləmə, metrika, siyasət qeydləri, səhv büdcəsi.
5. Etalon hədəfləri: SLO, iqtisadi hədlər, fairness dəhlizləri.
6. Pilot qaçış: kalibrləmə, dar yerlərin aşkarlanması, fiks.

7. Müntəzəm: nightly/weekly benci + Xəzinədarlığa hesabat

8. Hadisələr: chaos əlavələr, post-mortemlər, testlərin yenilənməsi.

12) Anti-oyun və ölçmə etikası

Real prod trafikini yaxşılaşdırmadan «bench işarəsi altında xüsusi optimallaşdırmaların» qadağan edilməsi.
Kor yüklər, təsadüfi «səs-küy» parametrləri, nəzarət hadisələri.
Metodologiyası ilə ictimai hesabatlar; mübahisəli hallar üçün arbitraj komitəsi.

13) Tipik «qırmızı bayraqlar»

p95 normal, lakin p99 sabitdir. 9 kəskin artır → resurslar üçün gizli rəqabət.
Throughput yüksək, lakin duplicate ratio ↑ → yanlış idempotentlik.
Yaxşı gecikmə, lakin Cost/Req uyğun deyil → cross-asılılıq/ikiqat qeyd.
Aşağı lag, lakin DLQ depth artır → retras/karantində səhvlər.

14) KPI bençmarkinq proqramları

Örtük: X% ≥ müntəzəm qiymətlərlə kritik yolların payı.
Vaxtında: ≤ Y saat sonra hesabat.
Keyfiyyət: Prod hadisəsindən əvvəl tutulan reqressiyaların sayı; fiks sonra SLO orta delta.
İqtisadiyyat: Cost-to-Serve/sorğu və «səs-küylü qonşuların» sayının azaldılması.
: bench-reqressiya reaksiyalarının sürəti; ictimai hesabatların şəffaflığı.

15) Hazırlıq yoxlama siyahısı

• Yükləmə profilləri və QoS sinifləri
• Xüsusi izləmə, metrika, DLQ/Replay
• Müəyyən SLO/eşik dəyərləri və fairness dəhlizləri
• Anti-oyun qorunması və «kor» testlər daxildir
• Hesabat formatı və buraxılış-geyt prosesi təsvir edilmişdir
• Müntəzəm (nightly/weekly) qaçışlar
• Integrated chaos/failover-blok
• İctimai post-mortemlər və nəticələr üzrə testlərin təkmilləşdirilməsi

16) Sözlük

Bench Suite: istinad ssenariləri və yükləmə profilləri.
TailAmplification: p99/p50 nisbəti (quyruq gücü).
FairnessIndex (Jain): resursların vahid paylanması metrikası.
DLQ/Replay: karantin və hadisələrin yenidən işlənməsi.
SLO/SLA: məqsədli xidmət səviyyələri/müqavilə zəmanətləri.
Blind-run: anti-oyun qarşı gizli qaçış.

Nəticə: Ümumi bençmarklar şəbəkənin performansını və sabitliyini idarə olunan parametrlərə çevirir, texnika, iqtisadiyyat və birləşdirir. Standartlaşdırılmış ssenarilər, şəffaf hesabatlar və anti-oyun siyasəti nəticələrin müqayisə olunmasını, iştirakçıların etimadını və ekosistemin təkamülünü təmin edir.