Жүктеме мен тәуекелдерді болжау

1) Бұл не үшін қажет

• сыйымдылықты жоспарлау (capacity planning) және бюджеттеу;
• SLO/SLI баптаулары, қателер бюджеттері мен алертинг саясаты;
• релиздер стратегиясын таңдау (canary, blue-green, dark launch);
• тәуекелдерді басқару: құлдырауларды, кезектерді, транзакциялар дропын, SLA-айыппұлдарды болдырмау.

2) Негізгі ұғымдар

Жүктеме (Load): кіріс оқиғаларының/операцияларының қарқындылығы (RPS, TPS, events/sec), сондай-ақ CPU/RAM/IO/NET тұтынуы.
Сыйымдылық (Capacity): берілген SLO мен құны кезінде тұрақты қол жетімді өнімділік.
Тәуекел: жағымсыз оқиғаның ықтималдығы × әсері (SLA-сәтсіздік, инцидент, артық шығын).
Ерте индикаторлар: оқиғаға дейін өсетін метриктер (latency p95/p99, queue depth, GC pauses, error rate, saturation).
Беріктік қоры (Headroom): қол жетімді сыйымдылықтың ағымдағы жүктемеге қатынасы.

3) Деректер және метрика көздері

Дереккөздер: логи және метрика (Prometheus/OTel), трассировка, бизнес-ивенттер (Kafka), CDN/WAF/ALB логи, маркех-деректер (кампаниялар), оқиғалар күнтізбесі, биллинг/сүйектер (FinOps), фичефлаги/релиздер, кезектер (Kafka/Rabbit), ДҚ/кэштер.

• Трафик: RPS/TPS, белсенді пайдаланушылар (DAU/MAU), сессиялар, қадамдар конверсиясы.
• Өнімділігі: latency p50/p95/p99, throughput, қателер (4xx/5xx), timeouts, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disk IOps/lat, network bw, connection pool usage.
• Кезектер: backlog, lag, consumer lag, time-in-queue.
• БД: QPS, lock waits, slow queries, replication lag.
• Кэши: hit ratio, eviction rate, hot keys.
• Бизнес-деңгей: депозиттер/минутына мөлшерлемелер, төлем істен шығулары, KYC/AML кезегі.
• Сенімділігі: SLI/SLO, error budget burn rate (1h/6h/24h).

4) Болжамдаудың базалық модельдері

1. Детерминирленген және күнтізбелік: белгілі драйверлер бойынша регрессия (күні/уақыты, матчтар, турнирлер, маркет-пулдар, гео, акционерлік пушкалар).
2. Статистикалық: маусымдылық/тренд (ARIMA/ETS), мерекелермен регрессия, Prophet-ұқсас тәсілдер.
3. ML/энсемблдар: градиент бустингі/Random Forest/XGBoost/LightGBM; фич қосамыз: ауа райы, валюта бағамы, спорт жаңалықтары, бәсекелес жандар.
4. Аралас: базалық маусымдылық үшін статистика + экзогенді факторлар үшін ML (науқандар, релиздер).
5. Квоталар/квантилилер: headroom жоспарлауға арналған орташа ғана емес, p90/p95 болжамы.

Модель шығыстары: RPS/TPS болжамы және сенімгерлік аралықтармен T + 1h/T + 24h/T + 7d/T + 30d көкжиектерінде жасырын/қателерді бөлу.

5) Кезектер мен шектер: шағын теория

Литтл заңы: L = λ × W (жүйедегі орташа саны = қарқындылық × орташа уақыт).
Тар жерлер: ДҚ/кэш/шина/қосылыстар пулы/провайдерлердің API лимиттері.
Saturation: жүктеу кезінде> 70-80% жасырындылық сызықтық емес өседі.
Backpressure: тұтынушыларды шамадан тыс жүктемеден қорғау (лимиттер, кезектер, shed-саясат, фич деградациясы).

6) Сыйымдылықты жоспарлау (Capacity Planning)

SLO әдісі: талап етілетін p99-жасырындылық және рұқсат етілген error rate → headroom N% кезінде қандай throughput ұсталады.
«Сценарийден» әдісі: «Матч ЛЧ», «Қара жұма», «Масштабты турнир» → трафиктің жоғарғы квантилі + бір AZ/түйіннен бас тарту.
«cost-aware» әдісі: $/RPS конфигурациясын таңдау, жеңілдіктер, резервтер, spot/жазылымдар, autoscaling.

Артефакттар: Capacity Model per сервис, лимиттер мен квоталар (API, ДБ, кезектер), «тар орын → әрекет» кестесі (шардарлау, кэширлеу, реплика, CQRS, async).

7) Тәуекелдерді басқару

Тәуекелдер тізілімі: сәйкестендіргіш, сипаттама, ықтималдық, әсері (қаржы/SLA/реттеуіш), иелері, профилактика/реакция жоспарлары.
Санаттар: жүктемелік (қайта тиеу), инфрақұрылымдық (AZ/region fail), тәуелділіктер (төлем провайдерлері), релиздік (регресс), өнімдік (науқан күтілгеннен гөрі ұшып кетті), комплаенс (лимиттер/реттеуші).
Матрица: Heatmap (Low/Medium/High × Impact).
KRI (Key Risk Indicators): кезектердің тереңдігі, p99 өсуі, hit-ratio құлдырауы, burn rate> 2 ×, провайдерлердің қателері.

8) Ерте ескерту және алертинг

Early-warning SLIs: p95 өсуі, кэш-хиттердің азаюы, tail latency өсуі, retry/timeout өсуі, consumer lag өсуі.
Burn-rate қателер бюджеті бойынша тәуекелдер: жылдам (1h) және баяу (6-24h) терезелер.
Шекті және аномалия-негізделген алерталар: базалық шектер + аномалия модельдері (IQR, STL, ағынды детекторлар).
Сигналдарды агрегациялау: релиздер/фичефлагтар/деградациямен кампаниялар оқиғаларын корелляциялау.

9) Сценарийлік талдау және «what-if»

«Егер трафик өсімі 10 минут ішінде + 60% болса?»

«Егер CDN/WAF 5% заңды трафикті кессе?»

«Егер төлем провайдері авторизацияның 30% жоғалтса?»

Әрбір сценарий үшін: күтілетін метриктер, тар орындар, тозу қадамдары (toggle off критикалық емес фич), қолмен/авто-скейл, провайдерлерді ауыстырып қосу.

10) Тестілеу және болжамдарды верификациялау

Жүктеме тесттері: синтетикалық трафик (k6/JMeter/Locust), «нақты микс» профильдері.
Game Days/Chaos: AZ өшіру, БД деградациясы, пулдың таусылуы.
Shadow/Dark: жаңа жолдың «көлеңкеге» трафигі.
Дәлдік ретроспективасы: MAPE/SMAPE/RMSE + post-mortem "қайда қате жіберілді? ”.

11) Процестер мен рөлдер

• Responsible: SRE/Platform/DS-талдаулар.
• Accountable: Head of Ops/SRE.
• Consulted: Dev Leads, Marketing, Finance (FinOps).
• Informed: Support/Compliance/Business.
• Каденс: апта сайынғы болжамдар, SLO/Capacity ай сайынғы қайта қарау, алдын ала іс-шаралар.

12) Құралдар мен стек

Деректер: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Мониторинг: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTel.
ML/Болжамдар: Airflow/Argo, feature store, ARIMA/ETS/GBM модельдері, болжамдар сервисі (gRPC/REST).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Басқару: Feature Flags, Autoscaling (HPA/KEDA), Policy-as-Code.
FinOps: cost explorer, showback/chargeback, $/RPS дашбордтар.

13) Практикалық енгізу әдістемесі (roadmap)

1. Өлшемдер мен тәуелділіктерді түгендеу → сындарлы жолдардың картасы (депозит, мөлшерлеме, шығару).
2. SLO/SLI және қате бюджеттері → мақсатты p95/p99, error-rates, burn-alerts.
3. Деректерді жинау және тазалау → оқиғалардың/метрикалардың бірыңғай қабаты, дедупликация, кешігу.
4. Маусымдылықтың базалық болжамы → күндізгі/апталық үлгілер, мерекелер/матчтар.
5. Драйверлермен кеңейту → маркет-науқандар, релиздер, гео, төлем терезелері.
6. Capacity-сервистер бойынша модельдер → headroom, лимиттер, тар орындар, оңтайландыру жоспары.
7. Сценарийлік «what-if» және құлдырау кестесі (kill-switches, read-only, grace).
8. Тесттер/көлеңкелер арқылы тексеру → модельдер мен шектерді түзету.
9. Операциялық рутина → ревьге дейінгі апта сайынғы болжамдар, постивенттік ретро.
10. Автоматтандыру → Болжам бойынша автоскейл, провайдерлерді автоөшіру, авто-фичефлагтар.

14) Антипаттерндер

p95/p99 қалдықтарсыз «тек орташа бойынша» болжамы.
Кезектер мен пулдардың игноры - проблемалар шыңға шығады.
Валидациясыз және дәлдік метрикасыз «қолмен көзге».
Шығындармен байланысы жоқ → артық масштабтау.
Тозу және фичефлагтар жоспарының болмауы.

15) Дашбордтар және есептілік

Exec-дашборд: RPS/TPS (p50/p90/p95) болжамы, headroom, тәуекел-жылу картасы, burn-rate.
Тех-дашборд: сервистер бойынша p95/p99 latency, кезектер/lag, hit-ratio, қосылыстар пулы, БД/кэш, сыртқы API лимиттері.
Қаржылық: $/RPS, шығындар болжамы, оңтайландыру әсері.
Болжамдардың дәлдігі: нақты vs болжам, кезеңдер/гео/арналар бойынша қате.

16) Артефактілердің үлгілері

Risk Register: ID, тәуекел, ықтималдық/әсері, иесі, KRI, алдын алу жоспары, реакция жоспары.
Capacity Sheet: сервис, ағымдағы throughput, лимит, тар орын, headroom, талап етілетін кеңейту, ETA/құны.
What-If Cards: сценарий, кіріс факторлары, күтілетін өлшемдер, әрекеттер, аяқтау өлшемі.
Playbook Degrade: өшіруге арналған парақтар тізімі, QoS деңгейлері, кэш/статик бағыттары, retry/timeout шектері.

17) Негізгі KPI функциялары

SLO орындау (мақсаттағы кезеңдер%), бастапқы индикаторларға реакция уақыты, болжамдардың дәлдігі (MAPE/SMAPE), шамадан тыс жүктемеден болатын оқыс оқиғалардың саны, автоматты масштабтаудың үлесі, SLO деградациясынсыз $/RPS үнемдеу.

Жиынтығы

Жүктеме мен тәуекелдерді жүйелі болжау - бұл байланысу: сапалық деректер → мағыналы өлшемдер → тексерілетін модельдер → сценарийлер мен playbooks → масштабтау мен деградацияны автоматтандыру. Мұндай контур төтенше шыңдарда да орнықтылықты, шығыстардың болжамдылығын және тұрақты пайдаланушы тәжірибесін қамтамасыз етеді.