Жүктү жана тобокелдиктерди болжолдоо

1) Эмне үчүн керек

• жөндөмдүүлүгүн пландаштыруу (capacity planning) жана бюджеттөө;
• SLO/SLI жөндөөлөрү, ката бюджеттери жана алертинг саясаты;
• чыгаруу стратегиясын тандоо (canary, көк-жашыл, dark баштоо);
• тобокелдиктерди башкаруу: деградациялардын, кезектердин, транзакциялардын, SLA-айыптардын алдын алуу.

2) Негизги түшүнүктөр

Жүктөө (Load): кирүүчү окуялардын/операциялардын интенсивдүүлүгү (RPS, TPS, events/sec), ошондой эле CPU/RAM/IO/NET керектөө.
Сыйымдуулугу (Capacity): белгиленген SLO жана наркы менен туруктуу жетишилген аткаруу.
Тобокелдик: каалабаган окуянын ыктымалдыгы × таасири (SLA-ийгиликсиздик, окуя, ашыкча керектөө).
Алгачкы көрсөткүчтөр: окуяга чейин өскөн метриктер (latency p95/p99, queue depth, GC pauses, error rate, saturation).
Коопсуздук маржасы (Headroom): учурдагы жүктү жеткиликтүү кубаттуулугу катышы.

3) Маалымат булактары жана метрика

Sources: Logs & Metrics (Prometheus/OTel), Tracking, Business Events (Kafka), CDN/WAF/ALB Logs, Marktech маалыматтар (кампаниялар), иш-чаралардын календарлары, биллинг/сөөктөр (FinOps), Ficheflags/релиздер, кезек (Kafka/Rabbit), DD/кэш.

• Трафик: RPS/TPS, активдүү колдонуучулар (DAU/MAU), сессиялар, кадамдарды өзгөртүү.
• Performance: latency p50/p95/p99, throughput, каталар (4xx/5xx), timeouts, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disk IOps/lat, network bw, connection pool usage.
• Кезектер: backlog, lag, consumer lag, time-in-queue.
• БД: QPS, lock waits, slow queries, replication lag.
• Кэши: hit ratio, eviction rate, hot keys.
• Бизнес деъгээли: депозиттер/мүнөттө чендерди, төлөм ийгиликсиз, KYC/AML кезек.
• Ишенимдүүлүк: SLI/SLO, error budget burn rate (1h/6h/24h).

4) Негизги болжолдоо моделдери

1. Детерминацияланган жана календардык: белгилүү айдоочулар боюнча регрессия (дата/убакыт, матчтар, турнирлер, базар пулдары, гео, үлүштүк мылтыктар).
2. Статистикалык: сезондук/тренд (ARIMA/ETS), майрам менен регрессия, Prophet окшош ыкмалар.
3. ML/Ensembles: градиент күчөтүү/Random Forest/XGBoost/LightGBM; чач кошуу: аба ырайы, алмашуу курсу, спорт жаңылыктары, атаандаш иш-чаралар.
4. Аралаш: негизги мезгилдүүлүк үчүн статистика + экзогендик факторлор үчүн ML (кампаниялар, релиздер).
5. Квоталар/Квантилилер: headroom пландаштыруу үчүн орточо гана эмес, ошондой эле p90/p95 божомолу.

Модель чыгаруулар: RPS/TPS жана T + 1h/T + 24h/T + 7d/T + 30d горизонтторунда жашыруун/каталарды бөлүштүрүү божомолу.

5) кезек жана чектери: мини-теория

Литтл мыйзамы: L = λ × W (системадагы орточо сан = интенсивдүүлүк × орточо убакыт).
Тар жерлери: DD/кэш/шина/байланыш бассейни/API провайдерлердин лимиттери.
Saturation: жүктөөдө> 70-80% жашыруун сызыктуу эмес өсөт.
Backpressure: керектөөчүлөрдү ашыкча жүктөөдөн коргоо (лимиттер, кезек күтүүлөр, шед-саясат, фич деградациясы).

6) жөндөмдүүлүгүн пландаштыруу (Capacity Planning)

"SLOдан" ыкмасы: талап кылынган p99-латенттүүлүк жана алгылыктуу error rate → кандай throughput headroom N% сакталат.
"Сценарийлерден" ыкмасы: "Чемпиондор Лигасынын беттеши", "Кара жума", "Масштабдуу турнир" → трафиктин жогорку квантилдери + бир AZ/түйүндүн иштебей калышы.
cost-aware ыкмасы: $/RPS боюнча конфигурацияларды тандап, арзандатууларды, резервдерди, spot/жазылууларды, autoscaling.

Артефакттар: Capacity Model per кызматы, лимиттер жана квоталар (API, DD, кезектер), "тар жер → аракет" таблицасы (шардана кылуу, кэштоо, реплика, CQRS, async).

7) Тобокелдиктерди башкаруу

Тобокелдиктердин реестри: идентификатор, сүрөттөлүш, ыктымалдуулук, таасир этүү (финансы/SLA/жөнгө салуучу), ээлери, алдын алуу/жооп берүү пландары.
Категориялар: жүктөө (ашыкча жүктөө), инфраструктуралык (AZ/region fail), көз карандылык (төлөм провайдерлери), релиздик (регресс), азык-түлүк (өнөктүк күтүлгөндөн көбүрөөк көтөрүлдү), комплаенс (лимиттер/жөнгө салуучу).
Matrix: Heatmap (Low/Medium/High × Impact).
KRI (Key Risk Indicators): кезектердин тереңдиги, p99 өсүшү, hit-ratio кулашы, burn rate> 2 ×, провайдерлердин каталары.

8) эрте эскертүү жана alerting

Early-warning SLIs: өсүш p95, кэш-хиттерди азайтуу, tail latency өсүшү, retry/timeout өсүшү, consumer lag жогорулатуу.
Burn-rate ката бюджет Алерт: тез (1h) жана жай (6-24h) терезелер.
Босого жана аномалия негизделген алерталар: негизги босоголор + аномалиялардын моделдери (IQR, STL, агымдык детекторлор).
Сигналдардын агрегациясы: релиздердин/фичефлагдардын/деградациялар менен кампаниялардын окуялары.

9) Script талдоо жана "what-if"

"Эгерде трафиктин өсүшү + 60% 10 мүнөттө?"

"Эгерде CDN/WAF 5% мыйзамдуу жол кесет?"

"Эгерде төлөм провайдери авторизациялардын 30% жоготсо?"

Ар бир жагдай үчүн: күтүлгөн көрсөткүчтөр, тар жерлер, деградация кадамдары (Тоггл өчүрүү маанилүү эмес көрүнүш), кол/авто скейл, жөнөтүүчүлөрдү которуу.

10) тестирлөө жана болжолдоолорду текшерүү

Жүктөө тесттер: синтетикалык трафик (k6/JMeter/Locust), профилдер "чыныгы аралаш".
Game Days/Chaos: АЗ өчүрүү, DD деградациясы, бассейндин түгөнүшү.
Көлөкө/Dark: трафик "көлөкө" жаңы жол эч кандай таасир этпейт.
тактык Retrospective: MAPE/SMAPE/RMSE + post-mortem "ката кайда? ”.

11) Процесстер жана ролдор

• жооп: SRE/Platform/DS-аналитиктер.
• Accountable: Head of Ops/SRE.
• Consulted: Dev Leads, Marketing, Finance (FinOps).
• Informed: Support/Compliance/Business.
• Каденс: жумалык болжолдоолордун жаңылыктары, SLO/Capacity ай сайын кайра карап чыгуу, алдын ала иш-чаралар бар.

12) Аспаптар жана стек

Маалыматтар: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Мониторинг: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTEL.
ML/прогноздору: Airflow/Argo, feature store, ARIMA/ETS/GBM моделдери, болжолдоо кызматы (gRPC/REST).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Башкаруу: Feature Flags, Autoscaling (HPA/KEDA), саясат-as-Code.
FinOps: cost explorer, showback/chargeback, $/RPS dashboard.

13) Практикалык киргизүү ыкмасы (roadmap)

1. Өлчөмдөрдү жана көз карандылыктарды инвентаризациялоо → критикалык жолдордун картасы (депозит, чен, вывод).
2. SLO/SLI жана ката бюджеттери → максаттуу p95/p99, error-rates, burn-alert.
3. Маалыматтарды чогултуу жана тазалоо → окуялардын/метриктердин бирдиктүү катмары, дедупликация, кечигүү.
4. Негизги сезондук прогноз → күндүзгү/жумалык үлгүлөр, майрамдар/матчтар.
5. Драйверлер менен кеңейтүү → базар кампаниялары, релиздер, гео, төлөм терезелери.
6. Capacity-кызматтар боюнча моделдер → headroom, лимиттер, тар жерлер, оптималдаштыруу планы.
7. Сценарийлер "what-if" жана деградация таблицасы (kill-switches, read-only, grace).
8. тесттер/көлөкө аркылуу текшерүү → моделдерди жана босоголорду тууралоо.
9. Операция тартиби → жумалык божомолдор, алдын ала иш-аракет, пост-иш-аракет ретро.
10. Automation → Autoscale алдын ала, Auto өчүрүп провайдерлер, Auto-Ficheflages.

14) Антипаттерндер

p95/p99 куйругу жок "орточо гана".
Ignor кезек жана пулдар - көйгөйлөр туу чокусуна чыгат.
валидация жана тактык метрикасы жок "көзгө кол менен".
Чыгымдар менен эч кандай байланышы жок → ашыкча масштабдоо.
Деградация жана фичефлагдар планынын жоктугу.

15) Дашборддор жана отчеттуулук

Exec-dashboard: RPS/TPS божомолу (p50/p90/p95), headroom, тобокелдик-жылуулук картасы, burn-rate.
Тех-дашборд: p95/p99 latency боюнча кызматтар, кезек/lag, hit-ratio, байланыш бассейни, DD/кэш, тышкы API чектери.
Каржылык: $/RPS, чыгымдарды болжолдоо, оптималдаштыруу таасири.
болжолдоолордун тактыгы: иш жүзүндө vs болжолдоо, мезгилдер/гео/каналдар боюнча ката.

16) Артефакттардын үлгүлөрү

Risk Register: ID, тобокелдик, ыктымалдуулук/таасир, ээси, KRI, алдын алуу планы, жооп планы.
Capacity Sheet: кызмат, учурдагы throughput, лимит, кууш жер, headroom, талап кылынган кеңейтүү, ETA/наркы.
What-If Cards: сценарий, кириш факторлору, күтүлгөн көрсөткүчтөр, иш-аракеттер, аяктоо критерийи.
Playbook Degrade: өчүрүү үчүн fich тизмеси, QoS деңгээл, кэш/статикалык маршруттар, retry/timeout чектери.

17) Негизги KPI өзгөчөлүктөрү

SLO аткаруу (максаттуу мезгилдердин%), алгачкы көрсөткүчтөр жооп убакыт, так болжолдоолор (MAPE/SMAPE), ашыкча окуялардын саны, автоматтык масштабдоо үлүшү, SLO деградациясы жок $/RPS үнөмдөө.

Жыйынтык

Жүктү жана тобокелдиктерди системалуу алдын ала айтуу - бул байламта: сапаттык маалыматтар → маңыздуу метриктер → текшерилүүчү моделдер → сценарийлер жана playbooks → масштабдоону жана деградацияны автоматташтыруу. Мындай контур туруктуулукту, чыгашалардын алдын ала аныктыгын жана экстремалдык чокуларда да туруктуу колдонуучу тажрыйбасын камсыз кылат.