PSP-X latency & loss

(Бөлім: Технологиялар және Инфрақұрылым)

Қысқаша түйіндеме

Chaos Engineering - бұл шығаруға арналған ғылыми әдіс: сіз тұрақтылық туралы гипотезаны тұжырымдайсыз, қоршаған ортаны бақыланатын түрде бұзасыз және пайдаланушының құндылығы (SLO/бизнес-метрика) сақталатынын дәлелдейсіз. iGaming үшін бұл төлемдерді тексеру (PSP), ойындарды бастамалау, шығару кезектері, мультирегион және ең жоғары жүктемелер - кешіктірулер, істен шығулар және ретрациялардың «дауылы» жағдайында - бұл тірі пайдаланушылар алдында.

1) Хаос-инжиниринг қағидаттары

1. steady-state-тен гипотезаға дейін. Норманы анықтаңыз: Availability, p95/p99, TTW, төлем конверсиясы.
2. Кіші blast radius. Эксперимент алдымен staging/канарда, 1-5% трафик/1-2 пот/бір өңір.
3. Бақылау ең алдымен. Метрика/логи/трейстер + эксперимент аңдатпалары.
4. Guardrails и abort. Автоматты тоқтату үшін SLO/бизнес-KPI қатаң шегі.
5. Қайталану және автоматтандыру. Эксперимент ретінде код (IaC/GitOps), жоспар game-day.
6. Blameless мәдениеті. Эксперимент - кінәлі адамдарды іздеу емес, әлсіз жерлерді іздеу.

2) Steady-state және жетістік метрикасы

TexSLI: p95/p99 API, error-rate, saturation (CPU/IO), queue lag (withdrawals/deposits), latency провайдерлері.
Бизнес-SLI: конверсия 'attempt → success', TTW p95, табыстылық 'game init', кодтар бойынша PSP істен шығу үлесі.

3) Эксперименттер сыныптары («сынамыз»)

Желі: latency/jitter/packet loss/blackhole, DNS-іркілістер, MTU-аномалиялар.
Ресурсы: CPU throttle, memory pressure/OOM, disk IOPS/space, file-descriptor exhaustion.
Процестер мен алаңдар: kill/evict podov, node failure, zone/region failover.
Тәуелділіктер: PSP-таймауттар/қателер, ойын провайдерінің қолжетімсіздігі, CDN/кэштің тозуы.
Кезектер/стриминг: Kafka lag өсуі, консьюмерлер үзілісі, партия/көшбасшы үзілісі.
Деректер/ДҚ: репликалаудың кідіруі, индекстердің тозуы, read-only режимі.
Релиздер/фичефлагтар: көші-қон қателіктері, қате конфигалар, kill-switch.
Фронт/RUM: LCP/INP құлдырауы, клиенттің бояуы шыңында.
Data/ML: фичтердің қартаюы, модельдің latency ұлғаюы, tokens/s құлдырауы, сапаның төмендеуі.

4) Үдеріс: гипотезадан жақсартуға дейін

1. Гипотезаны тұжырымдау (нақты SLO/бизнес-KPI + күтілетін қорғаныс тәртібі).
2. Экспериментті жобалау: ақау түрі, ұзақтығы, blast radius, guardrails/abort.
3. Байқауды дайындау: «release/experiment compare» дашбордтары, аннотациялар.
4. IM/TL бақылауымен іске қосу, on-call/бизнеске хабарлау (егер қозғаса).
5. Нәтижені өлшеу: SLO, p95/p99, TTW, конверсия, лагтар, ретра.
6. Action items: лимиттер, таймауттар, джиттермен ретрайлер, outlier-ejection, PDB/HPA/KEDA, қайтару флоу.
7. Автоматтандыру (reg-game-day/CI-инфрақұрылымды тексеру пакетіне енгізу).

5) Guardrails және тоқтату критерийлері

• SLO fast-burn белсендірілген (мысалы, 1 сағат үшін 14 × бюджет),
• төлемдердің конверсиясы ↓ 0-ден астам. 3 ш.б.,
• TTW p95> 3 мин қатарынан 10-15 мин,
• error-rate > 1. 5% және екі терезеде өседі.
• Қатынас: алдын ала бекітілген мәртебе арнасы/үлгісі, ChatOps ('/experiment abort ') «қызыл түймешігі».

6) Эксперимент үлгілері (Kubernetes/бұлт)

6. 1 PSP желілік кідірістер (канареялық деплой)

Мақсаты: ретраларды/таймауттарды/маршрутизацияны тексеру.
Инъекция: + 200 мс RTT және 3% packet loss тек 'payments-api' → 'pspX' үшін.

yaml apiVersion: chaos/v1 kind: NetworkChaos metadata: { name: psp-latency-canary }
spec:
selector: { labelSelectors: { app: payments-api, track: canary } }
direction: to target:
selector: { namespace: prod, ipBlocks: ["10. 23. 0. 0/16"]} # addresses pspX egress action: delay delay:
latency: "200ms"
jitter: "50ms"
correlation: "0. 5"
loss:
loss: "3"
correlation: "0. 3"
duration: "10m"
mode: one # minimum blast radius

Күтілетін: p95 '/deposit '<250 мс, error-rate <1%, конверсия ≥ baseline − 0. 3 ш.б.; нашарлаған кезде - PSP бағытын автоматты түрде ауыстырып қосу.

6. 2 Түйін мен PDB істен шығуы

Мақсаты: PDB/anti-affinity/HPA тексеру.
Инъекция: 'games-api' подтарымен бір тұнбаның drain/terminate.

Күту: қол жетімділікті жоғалтпаңыз, ең жоғары p99 SLO-дан шықпайды, autoscaler репликаларды алады, PDB «қос соққыны» болдырмайды.

6. 3 Kafka lag и KEDA

Мақсаты: хабарламаларды жинақтау кезінде қаражатты шығарудың тұрақтылығы.
Инъекция: консьюмерлерді 5-10 минутқа мұздатып, содан кейін қосыңыз.

Күту: KEDA воркерлерді масштабтайды, TTW p95 сорғаннан кейін 3 минуттан ≤ қалады, телнұсқасы жоқ (идемпотенттік, кілттер).

6. 4 ойын провайдерінің DNS жаңылысы

Мақсат: fallback/кэштеу/ретраялар.
Инъекция: 'providerA домені үшін NXDOMAIN/timeout. example`.

Күту: жылдам фолбэк 'providerB', UI - деградациялық режим және мәртебе баннері; 'game init success' ≥ 99. 5%.

6. 5 Read-only БД

Мақсаты: жазбаны жоғалтқан кездегі мінез-құлық.
Инъекция: 10-15 минутқа read-only репликасын ауыстыру.

Күту: код қателерді дұрыс өңдейді, сындарлы бағыттар шектелген, кезек өтінімдерді кідіртеді, шығындар/екі рет есептен шығару жоқ.

7) Автоматтандыру және GitOps

Эксперименттер код ретінде: сценарийлерді/параметрлерді/guardrails Git-те сақтаңыз, PR арқылы жаңарту.
Game-day жоспары: кесте, иелері, метриктер, аборт-шарттар, коммуникация чек-парағы.
Графанадағы аңдатпалар: эксперименттің басталуы/аяқталуы, , қорытынды SLO.

8) Хаос кезінде бақылау

Exemplars: p95/p99 - нақты 'trace _ id'.
Логи: поля `experiment_id`, `fault_type`, `retry_attempt`, `degrade_mode=true`.
Трейдерлер: сыртқы қоңыраулар 'fault' деп белгіленген. injected = true ', ретрайлер/таймауттар көрінеді.
Дашбордтар: «SLO-карта», release/experiment compare, Payments/Game init/Queues.

9) iGaming ерекшелігі: бірінші кезекте не тексеру керек

1. Төлемдер және TTW: PSP таймауттары, маршрут фолбэкті, теңсіздік.
2. Ойындарды бастамалау: студиялардың қолжетімсіздігі/баяулығы, CDN-іркілістері.
3. Қорытындылар/бонустар кезегі: lag өсуі, қайта өңдеу.
4. Мультиөңір: аймақтың істен шығуы/РОР, көшбасшының ауысуы, ДБ репликациясы.
5. Шыңдар: авто-скейл, rate-limit, circuit-breaker, кэштерді жылыту.
6. RG/Compliance: ақаулықтар кезінде логикалаудың дұрыстығы, телеметрияда PII болмауы.

10) Тәуекелді басқару (governance)

Күнтізбе және терезелер: ең жоғары турнирлерден тыс эксперименттер, бизнеспен келісу.
Роли: Experiment Lead, Observer (SRE), Business Rep; IM жедел желіде.
Деректер саясаты: артефактілерде PII жоқ; Аудит үшін WORM-сақтау орны.
Заңды шекаралар: SLA-ны бұзатын сценарийлерді келісусіз алып тастау.

11) Game-day: сценарий үлгісі

12) Типтік олжалар мен әрекеттер

Тым агрессивті ретрайлер → дауыл сұраулары → таймауттар/джиттер/лимиттер қосу.
Жоқ outlier ejection → «улы» инстанция p99 бүлдіреді → істен шығуды қосу.
Нәзік көші-қон → read-only ағынды бұзады → expand → migrate → contract + фичефлагтар.
Қате HPA сигналы → кеш жабысады → RPS/lag өлшемдеріне ауысу.
Нұсқалар үшін ортақ кэш → кері қайтарулар деректерді бүлдіреді → нұсқалық кілттер.

13) Хаос-практиканың жетілгендігін тексеру-парағы

1. Steady-state және SLO сипатталған, дашбордтар дайын.
2. Git-тегі ревю/аудит сияқты эксперименттер.
3. Guardrails/abort автоматтандырылған (Alertmanager/ChatOps).
4. Бақылануы: exemplars, trace/log correlation, аннотациялар.
5. Game-day тоқсан сайын, сценарийлер төлемдер/ойындар/кезектер/мультирегионды жабады.
6. Эксперименттен кейінгі action items спринт жоспарына кіреді; орындалуын бақылау.
7. Ретрайлардың/таймауттардың/circuit-breaker -реподағы шекті саясаты.
8. Секьюрити/PII-саясат сақталған, сезімтал деректері жоқ артефактілер.
9. SLO (rollback/scale/reroute) бойынша авто-ремедиациялар хаоспен сыналған.
10. Процесс өлшемдері: абортсыз өткен%, жаттығуларда MTTR, сынып инциденттерін азайту.

14) Қарсы үлгілер

SLO/guardrails/бақылаусыз «Сынықтағы бәрін бұзамыз».
Гипотезасыз және өлшенетін мақсаттарсыз эксперименттер.
Бірінші іске қосылғанда үлкен blast radius.
Таймаусыз/джиттерсіз ретрайлер → каскадтық істен шығуға төзімділік.
Алдын алудың орнына хаос: симптомдарды емдейміз, негізгі себептерді елемейміз.
Жаттығулардан кейін RCA/action items болмауы.
Бизнеспен келіспей, ең жоғары сағаттағы эксперименттер.



Хаос-инжиниринг - бұл тұрақтылықтың әдістемелік дәлелі: сіз алдын ала нақты ақауларды ойнатасыз, SLO мен бизнес-метрикаға әсерді өлшейсіз және архитектураны нығайтасыз - ретрадан бастап circuit-breaker бастап мультиөңірлік оркестрге және auto-ремедиацияға дейін. Тұрақты game-day және guardrails тәртібімен iGaming платформасы ең ыстық кезеңдерде де p95/p99, конверсия және TTW сақтайды.