Прогнозирование нагрузки и рисков

1) Зачем это нужно

• планирования емкости (capacity planning) и бюджетирования;
• настройки SLO/SLI, бюджетов ошибок и политик алертинга;
• выбора стратегии релизов (canary, blue-green, dark launch);
• управления рисками: предотвращение деградаций, очередей, дропа транзакций, SLA-штрафов.

2) Основные понятия

Нагрузка (Load): интенсивность входящих событий/операций (RPS, TPS, events/sec), а также потребление CPU/RAM/IO/NET.
Емкость (Capacity): устойчиво достижимая производительность при заданных SLO и стоимости.
Риск: вероятность × влияние нежелательного события (SLA-провал, инцидент, перерасход).
Ранние индикаторы: метрики, растущие до инцидента (latency p95/p99, queue depth, GC pauses, error rate, saturation).
Запас прочности (Headroom): отношение доступной емкости к текущей нагрузке.

3) Источники данных и метрики

Источники: логи и метрики (Prometheus/OTel), трассировки, бизнес-ивенты (Kafka), CDN/WAF/ALB логи, марктех-данные (кампании), календари событий, биллинг/косты (FinOps), фичефлаги/релизы, очереди (Kafka/Rabbit), БД/кэши.

• Трафик: RPS/TPS, активные пользователи (DAU/MAU), сессии, конверсия шагов.
• Производительность: latency p50/p95/p99, throughput, ошибки (4xx/5xx), timeouts, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disk IOps/lat, network bw, connection pool usage.
• Очереди: backlog, lag, consumer lag, time-in-queue.
• БД: QPS, lock waits, slow queries, replication lag.
• Кэши: hit ratio, eviction rate, hot keys.
• Бизнес-уровень: депозиты/ставки в минуту, платежные отказы, KYC/AML очередь.
• Надежность: SLI/SLO, error budget burn rate (1h/6h/24h).

4) Базовые модели прогнозирования

1. Детерминированные и календарные: регрессия по известным драйверам (дата/время, матчи, турниры, маркет-пулы, гео, акционные пуши).
2. Статистические: сезонность/тренд (ARIMA/ETS), регрессия с праздниками, Prophet-подобные подходы.
3. ML/энсемблы: градиентный бустинг/Random Forest/XGBoost/LightGBM; добавляем фичи: погода, курс валют, новости спорта, конкурирующие ивенты.
4. Смешанные: статистика для базовой сезонности + ML для экзогенных факторов (кампании, релизы).
5. Квоти/квантили: прогноз не только среднего, но и p90/p95 для планирования headroom.

Выходы модели: прогноз RPS/TPS и распределения латентности/ошибок на горизонтах T+1h / T+24h / T+7d / T+30d с доверительными интервалами.

5) Очереди и пределы: мини-теория

Закон Литтла: L = λ × W (среднее количество в системе = интенсивность × среднее время).
Узкие места: БД/кэш/шина/пул соединений/лимиты API провайдеров.
Saturation: при загрузке >70–80% латентность растет нелинейно.
Backpressure: защита потребителей от перегруза (лимиты, очереди, shed-политики, деградация фич).

6) Планирование емкости (Capacity Planning)

Метод “от SLO”: требуемая p99-латентность и допустимый error rate → какой throughput выдерживается при headroom N%.
Метод “от сценариев”: “Матч ЛЧ”, “Черная пятница”, “Масштабный турнир” → верхние квантили трафика + отказ одного AZ/узла.
Метод “cost-aware”: выбираем конфигурации по $/RPS, учитывая скидки, резервирования, spot/подписки, autoscaling.

Артефакты: Capacity Model per сервис, лимиты и квоты (API, БД, очереди), таблица “узкое место → действие” (шардирование, кэширование, реплика, CQRS, async).

7) Управление рисками

Реестр рисков: идентификатор, описание, вероятность, влияние (финансы/SLA/регуляторика), владельцы, планы профилактики/реакции.
Категории: нагрузочные (перегруз), инфраструктурные (AZ/region fail), зависимостей (платежные провайдеры), релизные (регресс), продуктовые (кампания взлетела сильнее ожиданий), комплаенс (лимиты/регулятор).
Матрица: Heatmap (Low/Medium/High × Impact).
KRI (Key Risk Indicators): глубина очередей, рост p99, падение hit-ratio, burn rate > 2×, ошибки провайдеров.

8) Раннее предупреждение и алертинг

Early-warning SLIs: рост p95, уменьшение кэш-хитов, рост tail latency, рост retry/timeout, увеличение consumer lag.
Burn-rate алерты по бюджету ошибок: быстрые (1h) и медленные (6–24h) окна.
Пороговые и аномалия-базированные алерты: базовые пороги + модели аномалий (IQR, STL, потоковые детекторы).
Агрегация сигналов: корелляция событий релизов/фичефлагов/кампаний с деградациями.

9) Сценарный анализ и “what-if”

“Если прирост трафика +60% за 10 минут?”

“Если CDN/WAF режет 5% легитимного трафика?”

“Если платежный провайдер теряет 30% авторизаций?”

Для каждого сценария: ожидаемые метрики, узкие места, шаги деградации (toggle off не-критичных фич), ручной/авто-скейл, переключение провайдеров.

10) Тестирование и верификация прогнозов

Нагрузочные тесты: синтетический трафик (k6/JMeter/Locust), профили “реальный микс”.
Game Days/Chaos: отключение AZ, деградация БД, исчерпание пула.
Shadow/Dark: трафик “в тень” нового пути без влияния на прод.
Ретроспектива точности: MAPE/SMAPE/RMSE + post-mortem “где ошиблись?”.

11) Процессы и роли

• Responsible: SRE/Platform/DS-аналитики.
• Accountable: Head of Ops/SRE.
• Consulted: Dev Leads, Marketing, Finance (FinOps).
• Informed: Support/Compliance/Business.
• Каденс: еженедельные апдейты прогнозов, ежемесячное пересмотр SLO/Capacity, пред-ивентные вар-румы.

12) Инструменты и стек

Данные: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Мониторинг: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTel.
ML/Прогнозы: Airflow/Argo, feature store, модели ARIMA/ETS/GBM, сервис прогнозов (gRPC/REST).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Управление: Feature Flags, Autoscaling (HPA/KEDA), Policy-as-Code.
FinOps: cost explorer, showback/chargeback, $/RPS дашборды.

13) Практическая методика внедрения (roadmap)

1. Инвентаризация метрик и зависимостей → карта критичных путей (депозит, ставка, вывод).
2. SLO/SLI и бюджеты ошибок → целевые p95/p99, error-rates, burn-алерты.
3. Сбор и очистка данных → единый слой событий/метрик, дедупликация, опоздания.
4. Базовый прогноз сезонности → дневные/недельные паттерны, праздники/матчи.
5. Расширение драйверами → маркет-кампании, релизы, гео, платежные окна.
6. Capacity-модели по сервисам → headroom, лимиты, узкие места, план оптимизаций.
7. Сценарные “what-if” и таблица деградаций (kill-switches, read-only, grace).
8. Верификация через тесты/тени → корректировка моделей и порогов.
9. Операционная рутина → еженедельные прогнозы, пред-ивентные ревью, пост-ивентные ретро.
10. Автоматизация → автоскейл по прогнозу, автопереключение провайдеров, авто-фичефлаги.

14) Антипаттерны

Прогноз “только по среднему” без хвостов p95/p99.
Игнор очередей и пулов — проблемы всплывают в пик.
“Вручную на глаз” без валидации и метрик точности.
Нет связи с затратами → избыточное масштабирование.
Отсутствие плана деградации и фичефлагов.

15) Дашборды и отчетность

Exec-дашборд: прогноз RPS/TPS (p50/p90/p95), headroom, риск-теплокарта, burn-rate.
Тех-дашборд: p95/p99 latency по сервисам, очереди/lag, hit-ratio, пул соединений, БД/кэш, лимиты внешних API.
Финансовый: $/RPS, прогноз затрат, эффект оптимизаций.
Точность прогнозов: фактическое vs прогноз, ошибка по периодам/гео/каналам.

16) Шаблоны артефактов

Risk Register: ID, риск, вероятность/влияние, владелец, KRI, план превенции, план реакции.
Capacity Sheet: сервис, текущий throughput, лимит, узкое место, headroom, требуемое расширение, ETA/стоимость.
What-If Cards: сценарий, входные факторы, ожидаемые метрики, действия, критерий завершения.
Playbook Degrade: список фич для отключения, уровни QoS, маршруты в кэш/статик, лимиты retry/timeout.

17) Ключевые KPI функции

Выполнение SLO (% периодов в цели), время реакции на ранние индикаторы, точность прогнозов (MAPE/SMAPE), количество инцидентов из-за перегруза, доля автоматических масштабирований, экономия $/RPS без деградации SLO.

Итог

Системное прогнозирование нагрузки и рисков — это связка: качественные данные → осмысленные метрики → проверяемые модели → сценарии и playbooks → автоматизация масштабирования и деградации. Такой контур обеспечивает устойчивость, предсказуемость расходов и стабильный пользовательский опыт даже в экстремальные пики.