Распределение ресурсов

1) Задача и принципы

Распределение ресурсов — это системный способ сопоставить спрос (нагрузка, проекты, инциденты) с предложением (CPU/RAM/IO/сеть, лицензии, люди, бюджеты) под целевые SLO и ограничения FinOps.

• SLO-first: у ресурса есть цель качества; выделение — инструмент ее выдержать.
• Fairness + Priority: справедливая доля для всех, но приоритетным — гарантии.
• Isolation: ограничиваем blast-radius «прожорливых» нагрузок.
• Elasticity: автоматическое расширение/сжатие под фактический спрос.
• Cost-aware: каждый дополнительный ресурс должен иметь понятный эффект на SLO/доход.
• Evidence-based: решения подтверждены телеметрией и экспериментами.

2) Таксономия ресурсов

Вычисления: CPU/Memory/GPU, контейнерные пулы, безсерверные квоты.
Хранилище: IOPS/пропускная, горячие/теплые/холодные слои, кэш.
Сеть: egress/ingress, CDN, приватные каналы, IP-пулы.
Данные: слоты/оконные ресурсы в DWH/стриминге, окна бэкфиллов.
Люди: on-call слоты, IC/Release, время SRE/Dev (часы/спринт).
Вендоры: лимиты провайдеров (PSP/KYC/CDN), rate-limits и коннекты.

3) Модель приоритизации (портфель)

Tier-0: жизненно важные флоу (логин, платежи). Гарантированные ресурсы, отдельные пулы.
Tier-1: бизнес-критично (кор-продукт, отчеты D-1). Предпочтительные квоты.
Tier-2/3: вспомогательные/исследовательские. Burstable, бюджетные лимиты.
Проекты: оценка Impact × Urgency × Confidence × Cost → ранг; согласование в CAB/портфеле.

4) Политики распределения (гарантии, квоты, лимиты)

Guaranteed (dedicated): фикс-доля/резерв; для Tier-0/1.
Burstable: базовая квота + право занимать свободное до лимита.
Best-effort: без гарантий, может быть вытеснено.
Quota/Limit-as-Code: все квоты и пределы описаны декларативно (репозиторий политик).
Preemption/Pod Disruption Budget: кого можно вытеснить и с какой скоростью.
Сетевые квоты: egress/tenant, лимиты на соединения к провайдерам.

5) Многотенантность и изоляция

Namespace/Account per tenant: отдельные лимиты, бюджет, аудит.
Шумные соседи: cgroups/requests/limits/IO-throttling; отдельные ноды для «тяжелых» задач.
P95-изоляция: SLO рассчитывается по перцентилям, не по средним; burst не должен ломать p95 соседей.
Data tenancy: раздельные пулами слои хранения и кэши для VIP/регионов.

6) Авто-масштабирование и эластичность

HPA/VPA/Cluster-autoscaler: масштаб по SLI/SLI-прокси (latency p95, queue depth), а не только CPU.
Scheduled scaling: заранее под пиковые окна/события.
Warm pools: прогретые узлы/подключения для быстрых скейлапов.
Сеть/CDN: автоматический ребаланс по RUM/Anycast/POP-нагрузке.

7) Очереди, классы сервисов и SLA

Классы: `gold/silver/bronze` с целевыми временем ожидания и бюджетом ошибок.
Очереди/шины: приоритизация, отдельные партиции для Tier-0, DLQ.
Backpressure: дисциплины drop/shape/slow для защиты ядра.
Адаптивные таймауты/ретраи: под класс сервиса и текущее состояние.

8) Людские ресурсы

Смены и покрытие: соответствие трафику (follow-the-sun), дубли P1+P2 на пике.
Фокус SRE/Dev: процент времени на реактив/проактив (например, 50/50) с KPI.
Запрос ресурсов: шаблоны RFC на часы/спринт, прозрачная очередь приоритета.

9) Финансовая модель (FinOps)

Unit-экономика: $/1k запросов, $/успешный платеж, $/GiB логов.
Бюджеты и алерты: квоты по аккаунтам/тенантам, предупреждения о перерасходе.
Оптимизация: горячее/теплое/холодное хранение, лог-семплинг, спотовые пулы для non-critical.
Showback/Chargeback: отчеты затрат по командам/тенантам мотивируют эффективность.

10) Управление провайдерами

Лимиты и окна: контрактные TPS и очереди у PSP/KYC/CDN; плановые окна в календаре.
Failover-профили: веса и маршрутизация между несколькими провайдерами.
Пульс-метрики: время ответа, отказоустойчивость, стоимость/успешную операцию.

11) Метрики зрелости распределения

SLO Adherence по классам: % соблюдения в gold/silver/bronze.
Resource Efficiency: утилизация CPU/RAM/IO (медиана/p95), доля idle.
Cost per SLO-point: изменение затрат за удержание цели SLO.
Throttling/Preemption rate: как часто и кого вытесняем.
Hotspot MTTA: время реагирования на перегревы пулов/тенантов.
Fairness Index: разброс задержек/квот между тенантами (джини/вариация).

12) Чек-листы

Перед изменением распределения

• Определены цели SLO и класс сервиса.
• Есть телеметрия по нагрузке (p95/p99, рост, сезонность).
• Квоты/лимиты описаны в Git и прошли ревью.
• Проверены эффекты на соседей (изолирующие тесты).
• План отката и guardrails готовы.

Еженедельный операционный

• Heatmap утилизации пулов и hotspot-отчет.
• Отчет FinOps: $/ед., перерасходы, аномалии.
• Провайдерские лимиты и SLA выполнены.
• Очереди: задержка в пределах классов, нет голодания.
• CAPA по выявленным узким местам в работе.

13) Шаблоны (идеи)

13.1 Политика квот (YAML)

yaml tenant: vip-eu class: gold compute:
cpu:
request: "8000m"
limit: "12000m"
memory:
request: "16Gi"
limit: "24Gi"
storage:
tier: hot iops_min: 8000 network:
egress_mbps_cap: 500 slo:
latency_p95_ms: 250 preemption:
protected: true burst:
allowed: true max_factor: 1.5

13.2 Профиль авто-масштабирования (фрагмент)

yaml autoscaling:
metric: "queue_depth"   # или biz_sli.payment_latency_p95 target: 200 min_replicas: 6 max_replicas: 60 warm_pool: 4 cooldown_sec: 120

13.3 Класс сервиса и очереди

yaml class: gold sla:
wait_p95_ms: 150 queue:
partition: "gold-eu"
retry_policy:
attempts: 2 backoff_ms: 200 backpressure: "shape" # иначе drop/slow

13.4 Заявка на ресурс (люди)

RFC: RES-OPS-2025-11
Цель: усилить on-call P2 на пике ноябрьских промо (EU)
Период: 2025-11-25..2025-12-05
Обоснование: прогноз трафика +30%, прошлогодний p95 MTTA ↑
Запрос: +1 P2 слот/сутки, +IC в prime-time

14) Процедуры и автоматизация

Planner-бот: расчет квот из истории трафика и целей SLO, PR в репозиторий политик.
Guardrails-бот: стоп-сигнал деплоям при нехватке квоты/oversubscription.
Коммс-бот: уведомления команд о перерасходе/вытеснении/смене класса.
Аннотации: релизы/окна обслуживания меняют веса/квоты на время работ (снятие suppression после).

15) Анти-паттерны

Выделять «по ощущениям», без SLO и телеметрии.
Один большой пул для всех без изоляции «шумных соседей».
Бесконтрольные burst без верхнего предела → «душим» соседей.
Отсутствие backpressure/очередей → снежный ком таймаутов.
Игнорировать стоимость логов/egress — «тихий» утечка бюджета.
Фиксированные квоты без сезонности/пиков → недоступность или перерасход.

16) Дорожная карта внедрения (4–8 недель)

1. Нед. 1–2: инвентаризация ресурсов и сервисов; назначение классов (gold/silver/bronze); первичные квоты; базовые SLO.
2. Нед. 3–4: включить авто-масштабирование по SLI-прокси; настроить очереди и backpressure; изолировать Tier-0 пулы.
3. Нед. 5–6: FinOps отчетность ($/ед., квоты, алерты бюджета); warm-pools и расписные скейлы под пиковые дни.
4. Нед. 7–8: автоматизация Planner/Guardrails, кабинет тенанта (видимость квот/стоимости), квартальный review fairness & hotspots.

17) Итог

Распределение ресурсов — это не разовая настройка, а живой процесс, встроенный в SLO, телеметрию и FinOps. Когда приоритеты формализованы, квоты и лимиты — как код, изоляция и эластичность — по умолчанию, а решения подтверждаются метриками и стоимостью, система стабильно переживает пики, защищает критичные флоу и не «прожигает» бюджет.