Тармактык байланыштардын туруктуулугу

(Бөлүм: Экосистема жана тармак)

1) Максаты жана аймагы

"Тармактык байланыштардын туруктуулугу" - бул экосистеманын каналдар, түйүндөр, региондор жана тышкы чабуулдар үзгүлтүккө учураганда катышуучулардын (операторлор, провайдерлер, студиялар, аффилиаттар, ноддор/валидаторлор, төлөм жана KYC-кызматтар) ортосундагы өз ара аракеттенүүнүн жеткиликтүүлүгүн жана болжолдуу сапатын сактоо жөндөмдүүлүгү. Негизги милдеттер: MTTR минималдаштыруу, каскаддык мүчүлүштүктөрдү ооздуктоо, көзөмөлгө алынган деградация жана максаттуу SLOга тез калыбына келтирүү.

2) өчүрүү режими (Threat модели)

Network: жоготуу paków/Jitter, каналдарды ашыкча жүктөө, BGP-Flap, аймактар ​ ​ аралык ажырымдар, асимметриялуу багыттоо.
Транспорт/сокеттер: half-ачык байланыш, head-of-line blocking (TCP), state exhaustion (NAT/conn-track).
Колдонмо деңгээл: жол тикенектери, "узак убакыт бою" суроолор, n + 1 RPC, бороон-чапкын.
Көз карандылык: DNS деградациясы, KMS/PKI, кезек, TURN/relay, үчүнчү тараптын API.
Коопсуздук: L3/L4/L7 DDoS, бот-флуд, кэш уулануу, Sybil/спам аракети.
Операциялык: туура эмес phicheflages, чеги жок "ысык" релиздер, туура эмес таймауттар.

3) Туруктуу дизайн принциптери

1. Бардык катмарларда ашыкча: жолдор, аймактар, провайдерлер, реле-түйүндөр, DNS, жашыруун сактагычтар.
2. Баш тартуу изоляциясы: cell-based architecture, circuit-breakers, bulkheads, cross-клетка чалуулар боюнча лимиттер.
3. Fail-fast жана time-boxing: тышкы чалуулар боюнча кыска убакыт, тыюу "түбөлүккө күтүү".
4. Демпотенттүүлүк жана коопсуз ретрациялар: демпотенттиктин ачкычтары, дедуп кабылдагычта.
5. демейки байкоо: Tracking, корреляциялык ID, синтетикалык үлгүлөрү.
6. Деградациялык режимдер: read-only, кэш-only, drop-features, критикалык агымдардын артыкчылыгы.
7. Chaos-Engineering: тажрыйба туруктуулугун далилдөө.

4) Топологиялар жана ашыкча

Гибриддик P2P + супер-peers + DHT: "контракттык" топтордун ичинде жергиликтүү тор, ретрансляторлор жана кэштер сыяктуу супер түйүндөр, издөө үчүн DHT.
Anycast/Geo-DNS/SD-WAN: жакын кирүү, башкарылуучу агымдар, health-негизделген багыттоо.
Multi-релейлер (TURN/HTTP3-tunnels): көз карандысыз берүүчүлөр, зарыл болгон учурда гана relay бюджети.
Active-Active региондор: демпотенттик окуу/окуялар үчүн синхрондуу; акча операциялары үчүн - акыркы макулдашуу + катуу каржылоо.

5) Протоколдор, таймауттар жана ретрациялар

Транспорт: QUIC/HTTP3 (HoL-blocking жок multiplexing, жол көчүрүү), TCP - fallback катары.

• RPC client timeout: p99_latency×1. 5 (бирок ≤ 2-3 региондор аралык менен).
• Connect timeout: 200-500 ms жергиликтүү, 700-1200 ms аралык.
• Backoff: Jitter менен экспоненциалдуу; max-retries 2-3 "окуу" чалуулар үчүн.
• Хеджинг (hedged requests): p95 кечигүүдөн кийин экинчи аткаруучуну жөнөтүү (гана демпотенттик операциялар).
• Демпотенттик: 'x-idempotency-key' аталышы/талаасы, dedup-журналдарды сактоо ≥ TTL retray.
• кезек жана outbox: иш-чараларды кепилденген жеткирүү, тармак үзгүлтүккө учуратканда кайталоо, консумерлерде дедуп.

6) Жүктү башкаруу жана "өзүн-өзү коргоо"

Rate-limits жана квота: leaky-bucket/токен-bucket боюнча RPC/топиктер.
Adaptive load-shedding: латенттүүлүктүн өсүшү менен төмөнкү артыкчылыктуу суроо-талаптарды калыбына келтирүү.
Артыкчылыктары: акча/төлөмдөр> оюн окуялары> телеметрия.
Backpressure: динамикалык терезе, параллелизмдин чектөөлөрү, "кредиттик лимиттер" пирлер.
Connection pooling: жылуу бассейндер, ачык сокеттерге лимиттер/NAT-шарттар.

7) DDoS жана канал коопсуздугу

L3/L4: upstream scrubbing/Anycast, conn-track защита, SYN-cookies, UDP-rate.
L7: WAF/WAAP, ачык темалар үчүн proof-of-work/fee-gate, капчыктар/капчык күрөөгө каршы спам.
mTLS/TLS 1. 3 + E2E: "жолдо" шифрлөө, супер түйүндөрдүн ачкычтарын бурмалоо, сертификаттарды айлантуу.
Анти-Sybil: ишенимдүү peer-ID реестри, кадыр-баркы, таасир ролу үчүн KYB/KYC.
Secure дефолттор: "уруксат берилбесе, тыюу салынат", топиктер боюнча ACL, укуктарды минималдаштыруу.

8) SLO, SLI жана туруктуулук метриктер

• критикалык EndPoint Uptime ≥ 99. 95 %/30d.
• p99 latency аралык ≤ 600 мс; error-rate ≤ 0. 2%.
• Success-rate P2P-RPC ≥ 99. 5%; Pub/Sub E2E p95 ≤ 2 с.
• Relay-share ≤ 30%; DHT resolve p95 ≤ 300 мс.
• MTTR SEV-1 ≤ 30 мин; MTTA ≤ 5 мин.

• Connectivity% (пирлердин жеткиликтүүлүгү), түз байланыштардын үлүшү, кошуналардын орточо саны.
• трафик класстары боюнча RTT/Jitter/Loss; RPC success/failure taxonomy.
• Queue depth/lag брокерлер/relay; DHT hit/miss жана жашы жазуулар.
• SLO боюнча Burn-rate (1h/6h/24h); бизнес-KPI таасир (GTV/MAU жоготуу).

9) Байкоо жана синтетикалык үлгүлөрү

Tracing: аркылуу trace-ID, OpenTelemetry аркылуу экспорт, тармак хоп үчүн Span семантика.
Логи/метрика: структуралык Логи, контролдоо боюнча кардиналдуулук, p95/p99 агрегаттар.
RUM + синтетика: реалдуу колдонуучу өлчөмдөрү жана дүйнөлүк тор үлгүлөрү (ар бир 1-5 мүнөт) негизги региондор/провайдерлер.
SLO-дашборддор: критикалык агымдар боюнча "светофорлор", кечигүү/болушу карталары, деградация отчеттору.

10) Деградация режимдери

Read-only/кэш-only: backends жазууларды кесип жатканда.
Stale-while-revalidate: эскирген, бирок арткы тактоо менен жарактуу кэш берет.
Feature kill-switch: тез өчүргүч туруксуз бөлүктөрү.
Фан-аут лимиттөө: суроо-талаптардын "желдеткичине" тыюу салуу, тереңдиги боюнча фьюз.

11) Chaos инженерия (план)

Network Faults: 1-5% packet-loss, 100-300 ms Jitler, blackhole өзүнчө ASN.
Relay/TURN ката: супер түйүндөрүнүн N% өчүрүү, түз байланыштар үлүшүн текшерүү.
DNS/KMS деградациясы: жасалма таймауттар/каталар, фоллбектердин валидациясы.
Storm retrais: каскаддардан коргоону текшерүү (життер, лимиттер, дедуп).
Game-day регламент: гипотеза → инжекция → метрика → жакшыртуу → кайталоо.

12) DR-стратегиясы жана максаттуу көрсөткүчтөрү

RPO/RTO: бул конфигурациялар жана ACL үчүн - RPO ≈ 0 (синхрондуу снапшоттор), RTO ≤ 15 мин; телеметрия үчүн RPO ≤ 5 мин.
Каталогдор жана ачкычтар: муздак камдар, мезгил-мезгили менен ишке ашпай калган бэкаптар, "калыбына келтирүү машыгуулары".
Аймактык кырсыктар: Anycast/Geo-DNS которуу, кэш жылытуу, кезектерди/топиктерди репликациялоо.

13) Psevdo конфигурациялары

Кардарлардын таймаут жана ретрациялоо саясаты (YAML)

yaml client:
rpc:
connect_timeout_ms: 400 request_timeout_ms: 1500 retries:
max_attempts: 2 backoff: exponential base_ms: 100 jitter: true hedging:
enabled: true threshold_ms: 800  # p95 idempotent_only: true

Circuit-breaker жана артыкчылыктары

yaml resilience:
circuit_breaker:
error_rate_threshold: 0. 02 rolling_window_sec: 60 open_duration_sec: 15 priorities:
payouts: high game_events: medium telemetry: low load_shedding:
target_p99_ms: 600 drop_low_priority: true

ACL жана e2e каналдар

yaml security:
mtls: required e2e_topics: [payouts. status, limits. update]
acl:
operators: [12D3KooA..., 12D3KooB...]
providers: [12D3KooC..., 12D3KooD...]

14) Dashboard: макеттер

Ops (сааттык/реалдуу убакыт): Connectivity%, RPC p99, error-rate, relay-share, DHT-latency, queue-lag, SLO burn-rate.
Network Health (жума): relay-% жана RTT тенденциялары, "ызы-чуу" майрамдарынын тизмелери, NAT traversal ийгилиги, трафиктин баасы.
Стратегия (ай): окуялар SEV, MTTA/MTTR, DR-окутуу, бизнес-метриктер менен байланыш.

15) Playbook окуялар (шпаргалка)

p99 секирүү жана каталар: деградацияны (read-only, кэш-only), хеджингди, критикалык агымдарга квоталарды көбөйтүүнү, "ысык" жолго билеттерди ачууну камтыйт.
Relay-Share> босогосу: STUN/TURN бассейндерин которуп, супер-түйүндөрдү кеңейтүү, hole-punch күчөтүү, убактылуу TTL кэштерин көтөрүү.
Storm retrains: max-retries азайтуу, Jitters жогорулатуу, -кызматы аркылуу дүйнөлүк backoff желегин камтыйт.
DDoS L7: WAAP эрежелерди, белги/ылдамдык боюнча блокту күйгүзүү, коомдук темаларда PoW/fee-gate күйгүзүү. анча маанилүү эмес эндпоинттер.
DNS/KMS көйгөйлөрү: экинчилик провайдерлерди, жергиликтүү ачкыч кэштерин колдонуу, толкундарды которуу.
Аймак жеткиликтүү эмес: трафиктин failover (Anycast/Geo-DNS), башка аймактын warming, лимиттерди кайра эсептөө.

16) Киргизүү чек-тизмеси

1. SLO/SLI жана ээлерин бекитүү (агымдар/топиктер боюнча).
2. Таймауттарды/ретрацияны/хеджингди/демпотенттикти киргизүү.
3. circuit-breakers, bulkheads жана артыкчылыктарын орнотуу.
4. Синтетикалык үлгүлөрдү жана глобалдык дашборддорду ишке киргизүү.
5. DR-планын киргизүү (RPO/RTO), үзгүлтүксүз калыбына келтирүү окутуу.
6. Чейректик chaos-күндү жана параметрлерди текшерүү.
7. Деградация режимдерин жана байланыш шаблондорун документтештирүү.

17) Глоссарий

Bulkhead - каскаддарды алдын алуу үчүн субсистемаларды изоляциялоо.
Circuit breaker - туруксуз көз карандылыкты автоматтык түрдө өчүрүү.
Hedging - босого кечигүү кийин атаандаштык суроо.
Outbox/Inbox - ишенимдүү жөнөтүү/иш-чараларды алып коюу менен.
RPO/RTO - жол берилүүчү маалыматтарды жоготуу/калыбына келтирүү убактысы.
SLO burn-rate - SLO карата "өрттөө" бюджетинин ката ылдамдыгы.

Жыйынтык: тармактык байланыштардын туруктуулугу - бул "бир көрүнүш" эмес, тартип: ашыкча жана баш тартууларды изоляциялоо, компетенттүү таймауттар жана ретрациялар, катуу артыкчылыктуу, байкоо жүргүзүү жана үзгүлтүксүз сыноолор. Мындай ыкма экосистеманын бизнес агымдарына минималдуу таасир этүү менен башкарылуучу окуяларга сөзсүз тармактык мүчүлүштүктөрдү айландырат.