Topologia sieci i trasy
Krótkie podsumowanie
Sieć zbudowana jest wokół trzech filarów: topologii, segmentacji, routingu. Nowoczesna fabryka to Leaf-Spine (tłuszcz) z ECMP, nakładka VXLAN/EVPN dla rozszerzeń L2 i BGP jako "uniwersalny klej. "Prawidłowo określone opóźnienia/straty SLO, QoS i szybkie awaryjne sprawiają, że zachowanie jest przewidywalne pod szczytowym RPS.
Podstawowe modele topologii
Rdzeń/Dystrybucja/Dostęp (Classic)
Plusy: jasne, dobre dla małych sieci/biur.
Minusy: wąskie gardło na rdzeniu, gorsze poziome skalowanie.
Kolec liściowy (drzewo tłuszczowe, CLOS)
Kręgosłup - kręgosłup, liść - przełączniki torus dla serwerów.
Wszystkie liści są podłączone do wszystkich kręgosłupa → ECMP i przewidywalne opóźnienie.
Skalowanie - dodanie liścia/kręgosłupa bez odnowienia planu adresu.
Pierścień/siatka/gwiazda
Używany punkt (PoP, kampus). Dla DC - ograniczone.
Zalecenie: dla centrów danych i dużych miejsc - Leaf-Spine. Dla oddziału/biura - uproszczony Core/Access + SD-WAN.
Segmentacja i przestrzeń adresowa
VLAN - segmentacja L2 (Domeny nadawcze).
VRF - segmentacja L3 (multi-lease, dev/stg/prod).
IPAM/streszczenie: plan w blokach „/24 ”dla usług/strefy, łączny do „/20” i wyższy dla prostych polityk routingu.
Dwupoziomowy: IPv4 + IPv6, SLAAC/DHCPv6, strażnicy RA, polityka prefiksu.
Nakładka/podkład: VXLAN/EVPN
Podstawa: fabryka IP (Leaf-Spine) z iBGP/OSPF/IS-IS.
Nakładka: VXLAN przenosi L2 na L3; EVPN (BGP) - płaszczyzna sterująca dla routingu MAC/IP, wielozadaniowości poprzez VNI/VRF.
Zalety: L2-stretching bez STP, szybkie konwergencje, scentralizowane zasady.
- Liść - VTEP z pętlą dla VTEP-IP.
- Kręgosłup - odblask szlakowy дла EVPN.
- Typy tras EVPN (MAC/IP, IMET, interworking L3) zapewniają tłumienie i skalę ARP.
Protokoły i role routingu
IGP (w domenie)
OSPF/IS-IS: szybka konwergencja, prosta metrizacja. Dobre dla podkładu.
iBGP: ponad lub bez IGP (tylko tkanina BGP) z reflektorami trasowymi.
EGP (cross-domain)
eBGP: peering with providers/PSP/CDN, communities/LP/AS-Path policy.
Anycast: ten sam IP na kilku PoP, trasie „do najbliższego” (BGP + health-check for announcements).
ECMP - zakończenie awarii
ECMP rozdziela przepływy między równe ścieżki.
Uważaj na flow-hash (5-tuple), unikaj asymetrii dla statycznych skrzynek środkowych.
BFD/fast-hellos do szybkiego przełączania (<1 s).
Zasady routingu (TE)
Pref/Med/AS-Path - wybór aplink.
Społeczności - Mark traffic (prod/stg, payment PSP, CDN) dla rozwiązań zróżnicowanych.
Blackhole/Sinkhole to szybka czarna dziura/32 do ataków.
uRPF/RTBH - anty-spoofing i zdalna czarna dziura z dostawcą.
Biura łącznościowe DC/Cloud
SD-WAN: wybór kanału dynamicznego (MPLS/INTERNET/LTE), szyfrowanie, zasady per-app.
MPLS L3VPN: izolowana VRF między miejscami, opóźnienie deterministyczne.
IPSec/GRE over IPSec/WireGuard: Szybki start, ale plan dla MTU/fragmentacji i QoS.
NAT, CGNAT i dostęp do Internetu
NAT44/NAT66 (rzadko) i NPTv6. W przypadku integracji płatności należy przechowywać baseny IP źródłowe i whitelisty.
bilans wyjścia: kilka bram NAT na ECMP, przyklejone przez hash.
Hairpin/Policy Based Routing - dla konkretnej DMZ/inspekcji.
Klasy QoS i ruchu
Klasy: w czasie rzeczywistym (VoIP/wymiana kanałów), interaktywny (API), luzem (kopie zapasowe/ETL).
Znakowanie (DSCP), policja/kształtowanie, LLQ/WRR.
Ochrona/płatności API - specjalna klasa z gwarancją minimalnego opóźnienia; luzem w kolcach.
Bezpieczeństwo routingu
BGP: zabezpieczenie TTL, max-prefix, RPKI (walidacja pochodzenia trasy), filtry prefiksowe u dostawcy.
IGP: uwierzytelnianie sąsiadów (HMAC), izolacja zarządzania płaszczyzną (OOB).
segmentacja: VRF dla stref „płatność”, „operator”, „public”; ACL między VRF tylko na żądanych portach.
Usługi anycast: zdrowie → w ramach ogłoszenia w trakcie degradacji.
Obserwowalność i SLO
SLO (przykłady)
Wewnątrz centrum danych: RTT p95 ≤ 200-300 μs, ≤ strata 0. 01%.
Między miejscami (L3VPN/SD-WAN): RTT p95 ≤ X ms (według profilu), strata ≤ 0. 1%.
Konwergencja awaryjna: ≤ 1 s (IGP/BFD), ≤ 5 s (eBGP).
Metryka
'RTT',' strata ',' jitter ',' ECMP entropy ',' stan BFD ',' przedrostki/zmiany BGP ',' CPU/TCAM 'włączniki, wypełnienie kolejek QoS.
Aktywne sondowanie: IP-SLA/SmokePing, QoS na klasę.
Telemetria przepływu: sFlow/NetFlow/IPFIX dla profili ruchu i DDoS.
Typowe konfiguracje (fragmenty)
FRR (baza BGP + EVPN)
conf router bgp 65000 bgp router-id 10. 0. 0. 1 neighbor SPINE peer-group neighbor SPINE remote-as 65000 neighbor 10. 0. 0. 11 peer-group SPINE neighbor 10. 0. 0. 12 peer-group SPINE
!
address-family l2vpn evpn neighbor SPINE activate advertise-all-vni exit-address-family
!
interface lo ip address 10. 0. 0. 1/32
Linux (ECMP egress)
bash ip route add 0. 0. 0. 0/0 \
nexthop via 203. 0. 113. 1 weight 1 \
nexthop via 203. 0. 113. 2 weight 1
BFD do sąsiada (w stylu Cisco, koncepcja)
bfd interval 50 min_rx 50 multiplier 5 interface Po1 bfd echo ip ospf network point-to-point
Operacje i DR
Kontrola zmian: wejście stopniowe (jeden liść/kręgosłup), kanaryjskie jedno VNI/VRF.
Auto-within: degradacje serwisowe - przypomnieć Anycast-/32.
Runbooks: utrata kręgosłupa, pętle EVPN, zamknięcie ścieżki ECMP, degradacja aplink, wkładka czarna.
Dokumentacja IPAM: kto jest właścicielem podsieci/systemu zewnętrznego, gdzie jest ogłoszenie, gdzie jest NAT.
Lista kontrolna implementacji
- Wybrana, nadsubskrypcja i szerokość drzewa tłuszczowego.
- IPAM: podsumowanie, rezerwa na wzrost, poszczególne bloki na pokrycie luk i.
- Podstawowe IGP/iBGP, BFD; Nakładka EVPN/VXLAN, RR на Spine.
- VRF/ACL dla stref, polityki wschód-zachód i północ-południe.
- Egress design: baseny NAT, PSP/CDN whitelists, Anycast w razie potrzeby.
- Klasy QoS i SLO (RTT/loss/jitter), monitorowanie na klasę.
- Wykrywanie i ochrona: RPKI, filtry przedrostkowe, uRPF, RTBH.
- Obserwowalność: zmiany BGP, BFD, IP-SLA, sFlow; deski rozdzielcze/wpisy.
- Plany DR: uszkodzenie kręgosłupa/link/aplinka, wycofanie Anycast, migracja ruchu.
Częste błędy
Rozciąganie L2 bez EVPN/VXLAN → Burze STP i nieprzewidywalne awaryjne.
Brak BFD/fast-hellos → długie przełączniki i terminy aplikacji.
Instrukcja IP plan bez podsumowania → wybuch tabel trasy.
Przeciążone ECMP-hash → asymetria i problemy ze statycznym filtrem.
Brak RPKI/prefiks-filtry na eBGP → ryzyko porwania.
QoS „domyślnie” → API konkuruje z kopiami zapasowymi.
Anycast bez zdrowia w obrębie → czarne dziury w częściowych awariach.
iGaming/specyficzne dla fintechu
Low p95 dla API/płatności: dedykowana klasa QoS, punkty końcowe Anycast, latency-routing na DNS/GSLB.
PSP/dostawca whitelists: fixed egress-IP, redundant pools, fast switching.
Zdarzenia szczytowe: zagłówek ≥ 30% przez łącza Spine, uchwyty, aby wyłączyć klasę luzem.
Regulacja/PII: izolacja VRF, szyfrowanie e2e, ścisłe ACL między strefami.
Mini playbooks
1) Szybkie wycofanie Anycast po degradacji
1. Kontrola stanu zdrowia
2) Transfer ruchu do kopii zapasowej aplink
1. Opuśćcie RTT z głównej → 2) podnieść w trybie czuwania → 3) obserwować straty/RTT → 4) naprawić zmiany.
3) „Gorąca” rozbudowa fabryczna
1. Dodaj kręgosłup, podłącz wszystkie liści → 2) dodaj pary liści w stojakach → 3) dzielnica iBGP/OSPF, sprawdź entropię ECMP → 4) przeniesienie obciążenia.
Wynik
Stabilna sieć to Leaf-Spine + ECMP, EVPN/VXLAN dla elastycznych L2/L3 multi-leasing, polityki BGP i szybkiej awarii pod kontrolą metryczną. Dodaj kompetentne IPAM, QoS, RPKI/filtry, zautomatyzowane zdrowie komunikacyjne → routing i live runbooks - a Twoja platforma zapewni ruch nawet w najgorętszej godzinie.