Устойчивость сетевых связей

(Раздел: Экосистема и Сеть)

1) Цель и область

«Устойчивость сетевых связей» — это способность экосистемы сохранять доступность и предсказуемое качество взаимодействий между участниками (операторы, провайдеры, студии, аффилиаты, ноды/валидаторы, платежные и KYC-сервисы) при сбоях каналов, узлов, регионов и внешних атак. Ключевые задачи: минимизация MTTR, сдерживание каскадных отказов, контролируемая деградация и быстрое восстановление до целевых SLO.

2) Отказовые режимы (Threat model)

Сеть: потеря пакетów/джиттер, перегрузка каналов, BGP-флап, межрегиональные разрывы, асимметричная маршрутизация.
Транспорт/сокеты: half-open соединения, head-of-line blocking (TCP), state exhaustion (NAT/conn-track).
Прикладной уровень: шипы трафика, «долгоиграющие» запросы, n+1 RPC, шторм ретраев.
Зависимости: деградация DNS, KMS/PKI, очередей, TURN/relay, сторонних API.
Безопасность: L3/L4/L7 DDoS, бот-флуд, отравление кэша, попытки Sybil/спама.
Операционка: неверные фичефлаги, «горячие» релизы без лимитов, неправильные таймауты.

3) Принципы дизайна устойчивости

1. Избыточность по всем слоям: пути, регионы, провайдеры, релей-узлы, DNS, секретные хранилища.
2. Изоляция отказов: cell-based архитектура, circuit-breakers, bulkheads, лимиты на кросс-ячеечные вызовы.
3. Fail-fast и time-boxing: короткие таймауты у внешних вызовов, запрет «ожидать вечно».
4. Идемпотентность и безопасные ретраи: ключи идемпотентности, дедуп на приемнике.
5. Наблюдаемость по умолчанию: трассировки, корреляционные ID, синтетические пробы.
6. Деградационные режимы: read-only, кэш-only, drop-features, приоритет критичных потоков.
7. Chaos-инженерия: доказательство устойчивости экспериментом.

4) Топологии и избыточность

Гибридная P2P + super-peers + DHT: локальная mesh внутри «контрактных» групп, супер-узлы как ретрансляторы и кэши, DHT для поиска.
Anycast/Geo-DNS/SD-WAN: ближний вход, управляемые перетоки, health-based routing.
Мульти-релеи (TURN/HTTP3-tunnels): независимые поставщики, бюджет на relay только при необходимости.
Active-Active регионы: синхронно для идемпотентных чтений/событий; для денежных операций — конечная согласованность + строгая финализация.

5) Протоколы, таймауты и ретраи

Транспорт: QUIC/HTTP3 (мультиплексирование без HoL-blocking, миграция пути), TCP — как fallback.

• RPC client timeout: p99_latency×1.5 (но ≤ 2–3 с межрегионально).
• Connect timeout: 200–500 мс локально, 700–1200 мс межрегионально.
• Backoff: экспоненциальный с джиттером; max-retries 2–3 для «читающих» вызовов.
• Хеджинг (hedged requests): после p95 задержки послать второго исполнителя (только идемпотентные операции).
• Идемпотентность: заголовок/поле `x-idempotency-key`, хранение dedup-журналов ≥ TTL ретраев.
• Очереди и outbox: гарантированная доставка событий, повтор при сбоях сети, дедуп на консюмерах.

6) Управление нагрузкой и «самозащита»

Rate-limits и квоты: leaky-bucket/token-bucket на RPC/топики.
Adaptive load-shedding: сброс низкоприоритетных запросов при росте латентности.
Приоритеты: деньги/выплаты > игровые события > телеметрия.
Backpressure: динамическое окно, ограничения параллелизма, «кредитные лимиты» пиров.
Connection pooling: теплые пулы, лимиты на открытые сокеты/NAT-состояния.

7) DDoS и безопасность канала

L3/L4: upstream scrubbing/Anycast, conn-track защита, SYN-cookies, UDP-rate.
L7: WAF/WAAP, proof-of-work/fee-gate для открытых тем, капчи/кошельковые залоги против спама.
mTLS/TLS 1.3 + E2E: шифрование «в пути», пиннинг ключей супер-узлов, ротация сертификатов.
Анти-Sybil: реестр доверенных peer-ID, репутация, KYB/KYC для влияющих ролей.
Секьюрные дефолты: «запрещено, если не разрешено», ACL по топикам, минимизация прав.

8) SLO, SLI и метрики устойчивости

• Uptime критичных эндпоинтов ≥ 99.95%/30д.
• p99 latency межрегионально ≤ 600 мс; error-rate ≤ 0.2%.
• Success-rate P2P-RPC ≥ 99.5%; Pub/Sub E2E p95 ≤ 2 с.
• Relay-share ≤ 30%; DHT resolve p95 ≤ 300 мс.
• MTTR SEV-1 ≤ 30 мин; MTTA ≤ 5 мин.

• Connectivity% (достижимость пиров), доля прямых соединений, среднее число соседей.
• RTT/Jitter/Loss по классам трафика; RPC success/failure taxonomy.
• Queue depth/lag в брокерах/relay; DHT hit/miss и возраст записей.
• Burn-rate по SLO (1ч/6ч/24ч); влияние на бизнес-KPI (потери GTV/MAU).

9) Наблюдаемость и синтетические пробы

Трейсинг: сквозные trace-ID, экспорт через OpenTelemetry, семантика спанов для сетевых хопов.
Логи/метрики: структурные логи, кардинальность под контролем, агрегаты p95/p99.
RUM + синтетика: реальные пользовательские метрики и глобальная сетка проб (каждые 1–5 мин) из ключевых регионов/провайдеров.
SLO-дашборды: «светофоры» по критичным потокам, карты задержек/наличия, отчеты о деградации.

10) Деградационные режимы

Read-only / кэш-only: при отсечении записи в бэкенды.
Stale-while-revalidate: отдаем устаревший, но годный кэш с фоновым обновлением.
Feature kill-switch: быстрый выключатель нестабильных частей.
Лимитирование фан-аута: запрет на «веер» запросов, фьюз по глубине.

11) Chaos-инженерия (план)

Сетевые Faults: 1–5% packet-loss, 100–300 мс джиттер, blackhole отдельных ASN.
Relay/TURN отказ: выключение N% супер-узлов, проверка доли прямых соединений.
DNS/KMS деградация: искусственные таймауты/ошибки, валидация фоллбеков.
Шторм ретраев: проверка защит от каскадов (джиттер, лимиты, дедуп).
Game-day регламент: гипотеза → инжекция → метрики → улучшения → повтор.

12) DR-стратегия и целевые показатели

RPO/RTO: для данных конфигураций и ACL — RPO ≈ 0 (синхронные снапшоты), RTO ≤ 15 мин; для телеметрии допустим RPO ≤ 5 мин.
Каталоги и ключи: холодные резервы, периодические провалидированные бэкапы, «тренировки восстановления».
Региональные катастрофы: переключение Anycast/Geo-DNS, прогрев кэшей, репликация очередей/топиков.

13) Псевдо-конфигурации

Политика клиентских таймаутов и ретраев (YAML)

yaml client:
rpc:
connect_timeout_ms: 400 request_timeout_ms: 1500 retries:
max_attempts: 2 backoff: exponential base_ms: 100 jitter: true hedging:
enabled: true threshold_ms: 800  # p95 idempotent_only: true

Circuit-breaker и приоритеты

yaml resilience:
circuit_breaker:
error_rate_threshold: 0. 02 rolling_window_sec: 60 open_duration_sec: 15 priorities:
payouts: high game_events: medium telemetry: low load_shedding:
target_p99_ms: 600 drop_low_priority: true

ACL и e2e-каналы

yaml security:
mtls: required e2e_topics: [payouts. status, limits. update]
acl:
operators: [12D3KooA..., 12D3KooB...]
providers: [12D3KooC..., 12D3KooD...]

14) Дашборды: макеты

Ops (почасовой/реал-тайм): Connectivity%, RPC p99, error-rate, relay-share, DHT-latency, queue-lag, SLO burn-rate.
Network Health (неделя): тренды relay-% и RTT, списки «шумных» пиров, успешность NAT traversal, стоимость трафика.
Strategy (месяц): инциденты SEV, MTTA/MTTR, DR-тренировки, корреляция с бизнес-метриками.

15) Playbook инцидентов (шпаргалка)

Скачок p99 и ошибок: включить деградацию (read-only, кэш-only), хеджинг, увеличить квоты критичным потокам, открыть тикеты на «горячий» путь.
Relay-share > порога: переключить STUN/TURN-пулы, расширить супер-узлы, усилить hole-punch, временно поднять TTL кэшей.
Шторм ретраев: снизить max-retries, увеличить джиттер, включить глобальный backoff-флаг через конфиг-сервис.
DDoS L7: включить WAAP-правила, блок по сигнатурам/скорости, включить PoW/fee-gate на публичных темах, выкл. несущественные эндпоинты.
Проблемы DNS/KMS: задействовать вторичные провайдеры, локальные кэши ключей, переключить резолверы.
Регион недоступен: failover трафика (Anycast/Geo-DNS), warming другого региона, пересчет лимитов.

16) Чек-лист внедрения

1. Зафиксировать SLO/SLI и владельцев (по потокам/топикам).
2. Внедрить таймауты/ретраи/хеджинг/идемпотентность.
3. Настроить circuit-breakers, bulkheads и приоритеты.
4. Запустить синтетические пробы и глобальные дашборды.
5. Ввести DR-план (RPO/RTO), регулярные тренировки восстановления.
6. Провести квартальный chaos-день и ревизию параметров.
7. Документировать деградационные режимы и шаблоны коммуникаций.

17) Глоссарий

Bulkhead — изоляция подсистем для предотвращения каскадов.
Circuit breaker — автоматическое отключение нестабильной зависимости.
Hedging — конкурентные запросы после пороговой задержки.
Outbox/Inbox — надежная отправка/прием событий с дедупликацией.
RPO/RTO — допустимая потеря данных/время восстановления.
SLO burn-rate — скорость «сжигания» бюджета ошибок относительно SLO.

Итог: устойчивость сетевых связей — это не «одна фича», а дисциплина: избыточность и изоляция отказов, грамотные таймауты и ретраи, жесткая приоритизация, наблюдаемость и регулярные испытания. Такой подход превращает неизбежные сетевые сбои в управляемые события с минимальным влиянием на бизнес-потоки экосистемы.