PSP-X latency & loss

(Bo’lim: Texnologiyalar va infratuzilma)

Qisqacha xulosa

Chaos Engineering - bu ishlab chiqarish uchun ilmiy usul: siz barqarorlik haqidagi gipotezani shakllantirasiz, atrofni nazorat ostida buzasiz va foydalanuvchi qiymati (SLO/biznes metrikasi) saqlanib qolishini isbotlaysiz. iGaming uchun bu to’lovlarni tekshirish (PSP), o’yinlarni boshlash, chiqish navbatlari, multiregion va eng yuqori yuklamalar - kechikishlar, nosozliklar va retraylarning «bo’roni» sharoitida - bu tirik foydalanuvchilar bilan sodir bo’lishidan oldin.

1) Xaos-injiniring prinsiplari

1. Steady-state dan gipotezaga. Quyidagi normani aniqlang: Availability, p95/p99, TTW, to’lovlar konversiyasi.
2. Kichik blast radius. Tajriba avval staging/kanarda, 1-5% trafik/1-2 pod/bitta mintaqada.
3. Kuzatish darajasi birinchi navbatda. Metrika/logi/treys + eksperiment izohlari.
4. Guardrails и abort. Avtomatik to’xtash uchun qattiq SLO/biznes-KPI chegaralari.
5. Takrorlash va avtomatlashtirish. Kod sifatida tajribalar (IaC/GitOps), game-day rejasi.
6. Blameless madaniyati. Tajriba aybdorlarni emas, zaif tomonlarni qidirishdir.

2) Steady-state va muvaffaqiyat metrikasi

TexSLI: p95/p99 API, error-rate, saturation (CPU/IO), queue lag (withdrawals/deposits), latency provayderlar.
Biznes-SLI: konvertatsiya’attempt → success’, TTW p95, muvaffaqiyat’game init’, kodlar bo’yicha PSP rad etish ulushi.

3) Eksperimentlar klasslari («buzish»)

Tarmoq: latency/jitter/packet loss/blackhole, DNS muvaffaqiyatsizliklari, MTU anomaliyalari.
Ресурсы: CPU throttle, memory pressure/OOM, disk IOPS/space, file-descriptor exhaustion.
Jarayonlar va maydonlar: kill/evict podov, node failure, zone/region failover.
Bog’liqlik: PSP taymautlari/xatolari, o’yin provayderining mavjud emasligi, CDN/kesh degradatsiyasi.
Navbatlar/striming: Kafka lag balandligi, konsumerlarning pauzasi, partiyalar/etakchilarning uzilishi.
Ma’lumotlar/DB: replikatsiya kechikishlari, indekslarning degradatsiyasi, read-only rejimi.
Relizlar/ficheflaglar: migratsiya xatolari, xato konfiglari, kill-switch.
Old/RUM: LCP/INP pasayishi, mijozni cho’qqiga bo’yash.
Data/ML: chichlarning qarishi, modelning latency ko’payishi, tokens/s pasayishi, sifat degradatsiyasi.

4) Jarayon: gipotezadan yaxshilashgacha

1. Farazni shakllantirish (aniq SLO/biznes-KPI + kutilayotgan himoya harakati).
2. Tajribani loyihalash: nosozlik turi, davomiyligi, blast radius, guardrails/abort.
3. Kuzatishni tayyorlash: «release/experiment compare» dashbordlari, izohlar.
4. IM/TL nazorati ostida ishga tushirish, on-call/biznesni xabardor qilish (agar taʼsir qilsa).
5. Natijani o’lchash: SLO, p95/p99, TTW, konversiya, laglar, retralar.
6. Action items: limitlar, taymautlar, jitter retraylari, outlier-ejection, PDB/HPA/KEDA, qaytish flowlarini shakllantirish.
7. Avtomatlashtirish (reg-paketga infratuzilmani game-day/CI-tekshirishlarni kiritish).

5) Guardrails va to’xtash mezonlari

• SLO fast-burn aktivlashtirilgan (masalan, 1 soat uchun 14 × budjet),
• to’lovlar konvertatsiyasi ↓ 0 dan ortiq. 3-bandning
• TTW p95> 3 daqiqa ketma-ket 10-15 daqiqa,
• error-rate > 1. 5% va ikkita derazada o’sadi.
• Kommunikatsiyalar: oldindan tasdiqlangan maqom kanali/namunasi, ChatOps’dagi «qizil tugma» (’/experiment abort’).

6) Tajriba namunalari (Kubernetes/bulut)

6. 1 PSP tarmog’idagi kechikishlar

Maqsad: retraj/taymaut/marshrutni tekshirish.
Inyeksiya: + 200 ms RTT va 3% packet loss faqat’payments-api’→’pspX’uchun.

yaml apiVersion: chaos/v1 kind: NetworkChaos metadata: { name: psp-latency-canary }
spec:
selector: { labelSelectors: { app: payments-api, track: canary } }
direction: to target:
selector: { namespace: prod, ipBlocks: ["10. 23. 0. 0/16"]} # addresses pspX egress action: delay delay:
latency: "200ms"
jitter: "50ms"
correlation: "0. 5"
loss:
loss: "3"
correlation: "0. 3"
duration: "10m"
mode: one # minimum blast radius

Kutilayotgan: p95 ’/deposit’<250 ms, error-rate <1%, konversiya ≥ baseline − 0. 3 band; yomonlashganda - PSP yo’nalishini avto-almashtirish.

6. 2 Uzel va PDB nosozligi

Maqsad: PDB/anti-affinity/HPA ni tekshirish.
Inyeksiya:’games-api’podalari bilan bitta nod drain/terminate.

Kutish: foydalanish imkoniyatini yoʻqotish yoʻq, eng yuqori p99 SLOdan tashqariga chiqmaydi, autoscaler replikalarni oladi, PDB «ikki marta zarbani» oldini oladi.

6. 3 Kafka lag и KEDA

Maqsad: xabarlarni to’plashda mablag’larni olib chiqishning barqarorligi.
Inyeksiya: konsumerlarni 5-10 daqiqa muzlatib qo’ying, so’ngra yoqing.

Kutish: KEDA vorkerlarni kattalashtiradi, TTW p95 so’ngra 3 daqiqadan ≤ qoladi, dublikat yo’q (idempotentlik, kalitlar).

6. 4 o’yin provayderining DNS muvaffaqiyatsizligi

Maqsad: fallback/keshlash/retraj.
Inyeksiya:’providerA domeni uchun NXDOMAIN/timeout. example`.

Kutish: tezkor folbek’providerB’, UI - degradatsiya rejimi va maqom banneri;’game init success’≥ 99. 5%.

6. 5 Read-only DB

Maqsad: yozuvni yoʻqotishda xatti-harakatlar.
Inyeksiya: replikani 10-15 daqiqa davomida read-only ga o’tkazish.

Kutish: kod xatolarni to’g’ri qayta ishlaydi, tanqidiy yo’nalishlar cheklangan, navbatlar talabnomalarni ushlab turadi, yo’qotishlar/ikki marta hisobdan chiqarilmaydi.

7) Avtomatlashtirish va GitOps

Tajribalar kod sifatida: skriptlarni/parametrlarni/guardrails Git’da saqlang, PR orqali revyu.
Game-day rejasi: jadval, egalari, metrika, abort shartlari, kommunikatsiya chek-varaqasi.
Grafanadagi izohlar: eksperimentning boshlanishi/yakuni, yakuniy SLO.

8) Tartibsizlik paytida kuzatish

Exemplars: p95/p99 dan aniq’trace _ id’ga.
Логи: поля `experiment_id`, `fault_type`, `retry_attempt`, `degrade_mode=true`.
Treyslar: Tashqi qoʻngʻiroqlar’fault’bilan belgilangan. injected = true’, retrai/taymautlar koʻrinadi.
Dashbordlar: «SLO-karta», release/experiment compare, Payments/Game init/Queues.

9) iGaming xususiyatlari: birinchi navbatda nimani tekshirish kerak

1. To’lovlar va TTW: PSP taymautlari, yo’nalish folbeki, idempotentlik.
2. Oʻyinlarni boshlash: studiyalarning yetarli emasligi/sekinligi, CDN uzilishlari.
3. Natijalar/bonuslar navbati: lag o’sishi, qayta ishlash.
4. Multiregion: zonaning rad etilishi/XTR, rahbarning o’zgarishi, DB replikatsiyasi.
5. Cho’qqilar: avto-skeyl, rate-limit, circuit-breaker, keshni isitish.
6. RG/Compliance: muvaffaqiyatsizliklarda noto’g "ri loging, telemetriyada PII yo’qligi.

10) Tavakkalchilikni boshqarish (governance)

Kalendar va derazalar: eng yuqori darajadagi turnirlardan tashqari tajribalar, biznes bilan kelishish.
Роли: Experiment Lead, Observer (SRE), Business Rep; IM ishonch telefonida.
Ma’lumotlar siyosati: artefaktlarda PII yo’q; Audit uchun WORM ombori.
Yuridik chegaralar: SLAni buzuvchi stsenariylarni kelishmasdan chiqarib tashlash.

11) Game-day: skript namunasi

12) Tipik topilmalar va harakatlar

Juda tajovuzkor retrajlar → boʻron soʻrovlari → taymaut/jitter/limitlarni qoʻshish.
Yo’q outlier ejection → «zaharli» instansiya buzadi p99 → ishga tushirishni yoqish.
Nozik migratsiyalar → read-only oqimni buzadi → expand → migrate → contract + ficheflaglar.
Noto’g’ri HPA signali → kech tugadi → RPS/lag metriklariga o’tish.
Versiyalar uchun umumiy kesh → qaytishlar maʼlumotlarni buzadi → versiya kalitlari.

13) Xaos-amaliyot yetukligining chek-varaqasi

1. Steady-state va SLO tavsiflangan, dashbordlar tayyor.
2. Git’da kod, revyu/audit kabi tajribalar.
3. Guardrails/abort avtomatlashtirilgan (Alertmanager/ChatOps).
4. Kuzatilishi: exemplars, trace/log correlation, annotatsiyalar.
5. Game-day har chorakda, ssenariylar to’lovlar/o’yinlar/navbatlar/multiregionni qoplaydi.
6. Post-eksperimental action items sprint rejasiga kiradi; bajarilishini nazorat qilish.
7. Retray/taymaut/circuit-breaker ning retraj siyosati
8. Sekyuriti/PII-siyosatga rioya qilingan, sezgir ma’lumotlarga ega bo’lmagan artefaktlar.
9. SLO (rollback/scale/reroute) bo’yicha avto-remediatsiyalar xaos bilan sinovdan o’tkazildi.
10. Jarayon metrikasi: abortsiz o’tganlar%, mashqlarda MTTR, sinf hodisalarini kamaytirish.

14) Anti-patternlar

SLO/guardrails/kuzatilmasdan hamma narsani buzamiz.
Gipotezasiz va o’lchanadigan maqsadlarsiz eksperimentlar.
Katta blast radius birinchi marta ishga tushiriladi.
Taymaut/jittersiz retrajlar → kaskadli nosozliklar.
Profilaktika o’rniga tartibsizlik: biz alomatlarni davolaymiz, ildiz sabablarini e’tiborsiz qoldiramiz.
Mashqlardan keyin RCA/action items yo’qligi.
Tajribalar biznes bilan kelishmasdan eng yuqori soatlarda.

Yakunlar

Xaos-injiniring - bu barqarorlikning uslubiy dalilidir: siz haqiqiy nosozliklarni oldindan takrorlaysiz, SLO va biznes metrikalarga ta’sirni o’lchaysiz va arxitekturani mustahkamlaysiz - retray va circuit-breakerdan tortib ko’p mintaqaviy orkestratsiya va auto-remediatsiyagacha. Muntazam game-day va guardrails intizomida iGaming platformasi p95/p99, konversiya va TTWni hatto eng issiq davrlarda ham saqlab qoladi.