Топологія мереж і маршрути

Коротке резюме

Мережа будується навколо трьох опор: топологія, сегментація, маршрутизація. Сучасна фабрика - це Leaf-Spine (fat-tree) з ECMP, overlay VXLAN/EVPN для L2-розширень і BGP як «універсальний клей». Правильно задані SLO по затримці/втрат, QoS і fast-failover роблять поведінку передбачуваним під піковими RPS.

Базові моделі топологій

Core/Distribution/Access (класична)

Плюси: зрозумілість, хороша для невеликих мереж/офісів.
Мінуси: «пляшкове горлечко» на Core, гірше горизонтальне масштабування.

Leaf-Spine (fat-tree, CLOS)

Spine - магістраль, Leaf - тор-комутатори для серверів.
Всі Leaf з'єднані з усіма Spine → ECMP і передбачувана затримка.
Масштабування - додаванням Leaf/Spine без рефакторингу адресного плану.

Ring/Mesh/Star

Використовуються точково (PoP, кампус). Для DC - обмежено.

Рекомендація: для ЦОДу і великих майданчиків - Leaf-Spine. Для філій/офісів - спрощений Core/Access + SD-WAN.

Сегментація та адресний простір

VLAN - L2 сегментація (Broadcast-домени).
VRF - L3 сегментація (мультиарендність, dev/stg/prod).
IPAM/сумаризація: плануйте блоками '/24'на сервіс/зону, агрегуйте в '/20'і вище для простих маршрутних політик.
Dual-stack: IPv4 + IPv6, SLAAC/DHCPv6, RA-гварди, префікс-політики.

Overlay/Underlay: VXLAN/EVPN

Underlay: IP-фабрика (Leaf-Spine) з iBGP/OSPF/IS-IS.
Overlay: VXLAN переносить L2 поверх L3; EVPN (BGP) - контроль-плейн для MAC/IP-маршрутизації, мульти-тенантність через VNI/VRF.
Переваги: L2-розтягнення без STP, швидкі конвергенції, централізовані політики.

• Leaf - VTEP з loopback для VTEP-IP.
• Spine — route-reflector для EVPN.
• Типи маршрутів EVPN (MAC/IP, IMET, L3-взаємодія) забезпечують ARP-supression і масштаб.

Протоколи маршрутизації та ролі

IGP (всередині домену)

OSPF/IS-IS: швидке сходження, проста метризація. Гарні для underlay.
iBGP: поверх IGP або без нього (BGP-only fabric) з route-reflector'ами.

EGP (міждоменні)

eBGP: peering з провайдерами/PSP/CDN, політика по communities/LP/AS-Path.
Anycast: однакові IP на декількох PoP, маршрутизація «до найближчого» (BGP + health-check на анонси).

ECMP и fast-failover

ECMP розподіляє потоки між рівностоїмими шляхами.
Слідкуйте за flow-hash (5-tuple), уникайте асиметрії для stateful middlebox'ів.
BFD/fast-hellos для швидких перемикань (<1 с).

Політики маршрутизації (TE)

LocalPref/Med/AS-Path - селекція аплинків.
Communities - розмічайте трафік (prod/stg, платіжні PSP, CDN) для диференційованих рішень.
Blackhole/Sinkhole - швидка «чорна діра »/32 на атаки.
uRPF/RTBH - анти-спуфінг і віддалена чорна діра з провайдером.

Зв'язність офіси ↔ DC/Cloud

SD-WAN: динамічний вибір каналу (MPLS/INTERNET/LTE), шифрування, пер-апп-політики.
MPLS L3VPN: ізольовані VRF між майданчиками, детермінована затримка.
IPSec/GRE over IPSec/WireGuard: швидкий старт, але плануйте MTU/Fragmentation і QoS.

NAT, CGNAT і вихід в інтернет

NAT44/NAT66 (рідко) і NPTv6. Для платіжних інтеграцій зберігайте source IP-пули і білі списки.
egress-баланс: кілька NAT-шлюзів за ECMP, sticky по хешу.
Hairpin/Policy-Based Routing - для специфіки DMZ/інспекції.

QoS і класи трафіку

Класи: real-time (VoIP/біржові фіди), interactive (API), bulk (бекапи/ETL).
Marking (DSCP), policing/shaping, LLQ/WRR.
Захисту API/платежі - виділений клас з гарантією мінімальної затримки; bulk обмежуйте в піках.

Безпека маршрутизації

BGP: TTL security, max-prefix, RPKI (route-origin validation), prefix-filters у провайдера.
IGP: автентифікація сусідів (HMAC), ізоляція management-площини (OOB).
Сегментація: VRF для «платіжної», «операторської», «публічної» зон; ACL між VRF тільки по потрібних портах.
Anycast сервісів: health → withdraw анонсу при деградації.

Спостережуваність і SLO

SLO (приклади)

Всередині ЦОДу: RTT p95 ≤ 200-300 μ s, втрати ≤ 0. 01%.
Між майданчиками (L3VPN/SD-WAN): RTT p95 ≤ X ms (за вашим профілем), втрати ≤ 0. 1%.
Конвергенція при відмові: ≤ 1 с (IGP/BFD), ≤ 5 с (eBGP).

Метрики

'RTT','loss','jitter','ECMP entropy','BFD state','BGP prefixes/changes','CPU/TCAM'на комутаторах, заповнення черг QoS.
Active probing: IP-SLA/SmokePing, пер-клас QoS.
Flow-телеметрія: sFlow/NetFlow/IPFIX для профілів трафіку та DDoS.

Типові конфіги (фрагменти)

FRR (BGP underlay + EVPN)

conf router bgp 65000 bgp router-id 10. 0. 0. 1 neighbor SPINE peer-group neighbor SPINE remote-as 65000 neighbor 10. 0. 0. 11 peer-group SPINE neighbor 10. 0. 0. 12 peer-group SPINE
!
address-family l2vpn evpn neighbor SPINE activate advertise-all-vni exit-address-family
!
interface lo ip address 10. 0. 0. 1/32

Linux (ECMP egress)

bash ip route add 0. 0. 0. 0/0 \
nexthop via 203. 0. 113. 1 weight 1 \
nexthop via 203. 0. 113. 2 weight 1

BFD до сусіда (Cisco-стиль, концепт)

bfd interval 50 min_rx 50 multiplier 5 interface Po1 bfd echo ip ospf network point-to-point

Операції та DR

Change-control: поетапне введення (один Leaf/Spine), canary по одному VNI/VRF.
Автопочинка (auto-withdraw): деградує сервіс - відкликаємо Anycast-/32.
Runbooks: втрата Spine, петлі EVPN, закриття ECMP-шляху, деградація аплинка, blackhole-вставка.
Документація IPAM: хто володіє підмережею/AS, де анонс, де NAT.

Чек-лист впровадження

• Вибрана топологія (Leaf-Spine), розраховані oversubscription і ширина fat-tree.
• IPAM: сумаризація, резерв під ріст, окремі блоки під overlay loopback'і.
• Underlay IGP/iBGP, BFD; Overlay EVPN/VXLAN, RR на Spine.
• VRF/ACL для зон, east-west і north-south політики.
• Egress-дизайн: NAT-пули, білі списки PSP/CDN, Anycast там, де потрібно.
• QoS класи і SLO (RTT/loss/jitter), пер-клас моніторинг.
• Виявлення і захист: RPKI, prefix-filters, uRPF, RTBH.
• Спостережуваність: BGP-зміни, BFD, IP-SLA, sFlow; дашборди/алерти.
• DR-плани: відмова Spine/лінка/аплинка, withdraw Anycast, міграція трафіку.

Типові помилки

L2-розтягнення без EVPN/VXLAN → STP-шторми і непередбачуваний failover.
Немає BFD/fast-hellos → довгі перемикання і таймаути додатків.
«Ручний» IP-план без сумаризації → вибух таблиць маршрутів.
Перевантажений ECMP-hash → асиметрія і проблеми зі stateful-фільтрами.
Відсутність RPKI/prefix-filters на eBGP → ризик хайджека.
QoS «за замовчуванням» → API конкурує з бекапами.
Anycast без health-driven withdraw → чорні діри при часткових відмовах.

Специфіка для iGaming/фінтех

Низька p95 для API/платежів: виділений QoS-клас, Anycast-ендпойнти, latency-routing на DNS/GSLB.
Білі списки PSP/провайдерів: фіксовані egress-IP, резервні пули, швидке перемикання.
Пікові події: headroom ≥ 30% по лінках Spine↔Leaf, ручки для відключення bulk-класу.
Регуляторика/PII: VRF-ізоляція, e2e-шифрування, строгі ACL між зонами.

Міні-плейбуки

1) Швидкий withdraw Anycast при деградації

1. Health-check <порога → 2) скрипт/контролер знімає '/32'анонс → 3) перевірка зовнішніх проби → 4) авто-повернення при стабілізації.

2) Переведення трафіку на резервний аплінк

1. Знизити LocalPref основного → 2) підняти у резервного → 3) спостерігати втрати/RTT → 4) зафіксувати зміни.

3) «Гаряче» розширення фабрики

1. Додати Spine, підключити всі Leaf → 2) додати Leaf-пари в стійках → 3) iBGP/OSPF сусідства, перевірка ECMP-ентропії → 4) перенесення навантажень.

Підсумок

Стійка мережа - це Leaf-Spine + ECMP, EVPN/VXLAN для гнучкої L2/L3-мультиарендності, BGP-політики і швидкий failover під контролем метрик. Додайте грамотний IPAM, QoS, RPKI/фільтри, автоматизовані health→routing зв'язку і живі runbook-і - і ваша платформа буде передбачувано доставляти трафік навіть в самий жаркий час.