Private endpoints we içerki torlar

1) Näme üçin hususy tor

• PaaS/DB/ammarlary köpçülige açyk IP-lerden izolirlemek;
• laýyklygy ýönekeýleşdirmek (PCI DSS/GDPR);
• öňünden aýdyp boljak gijikdirmeler we marşrutlaşdyrmalar.

2) Esasy model: VPC/VNet we merkezler

Salgy giňişligi: CIDR-iň ýekeje meýilnamasy, kesişmezden (mysal üçin, '10. 0. 0. 0/12 'töwereklere we merkezlere bölünýär).
Segmentasiýa: kiçi ulgamlar 'ingress', 'app', 'data', 'ops', 'shared' aýry-aýry marşrutlar/ACL/SG.
Tranzit merkezi: Merkezi VPC/VNet şlýuzlary (VPN/DirectConnect/ExpressRoute/Interconnect), ara-VPC peering/Transit Gateway we tor feýwerleri bilen.
Dual-stack: IPv6 öňünden meýilleşdirmek (NAT tygşytlaýar, salgylaryň gerimini gowulandyrýar).

3) Private endpoints: ýörelgeler

• Traffik üpjün ediji toruň içinde (internet arkaly däl) geçýär.
• Endpoint policy nirä gitmelidigini çäklendirýär (prefiksler/ARN/çeşmeler).
• DNS hususy IP-e gaýtadan kesgitlenýär (§ 6 serediň).

Adaty maksatlar: obýekt hekaýalary (S3/GCS/Blob), secret/KMS, nobatlar, DB tarapyndan dolandyrylýan wakalaryň tekerleri, seljeriş hyzmatlary, artefakt-registrler.

4) Içindäki giriş we deňagramlylyk

L4/7 üçin Internal Load Balancer (ILB), diňe hususy kiçi ulgamlardan görýäris.

• internal-annotasiýalar bilen 'LoadBalancer' görnüşindäki 'service'.
• Şahsy salgyda Internal Ingress (Nginx/Contour/Gateway API) arkaly giriş.
• API Gateway (private): arka taraplara şahsy integrasiýa; daşary - diňe edge arkaly.

Mysal: K8s Ingress içerki

yaml apiVersion: networking. k8s. io/v1 kind: Ingress metadata:
name: api-internal annotations:
kubernetes. io/ingress. class: "nginx"
alb. ingress. kubernetes. io/scheme: internal # or provider equivalent spec:
rules:
- host: api. internal. corp http:
paths:
- path: /v1/
pathType: Prefix backend:
service:
name: api port: { number: 8080 }

5) Egress-kontury: "Variant - deny"

• NAT Gateway (täzelenmeler/repozitoriýalar üçin) + FQDN/IP boýunça egress allowlist;
• TLS gözegçilik/proxy, eger syýasatçylar gözegçiligi talap etseler;
• NAT ýerine PaaS/registrlere private endpoints.
• SG/NACL: aç-açan per-hyzmat rugsady, "gündogar-günbatara" - iň az.
• Egress-syýasatlar K8s (CNI/OPA Gatekeeper/Calico NetworkPolicy) - daşarky IP-leri, klasterlere rugsatnamalary/mahabatlary gadagan etmek.

6) DNS: split-horizon и private zones

Içerki zolaklary bölüň ('.internal. corp ') we köpçülige açyk.
Private DNS zones üpjün edijiniň hyzmatlary üçin: köpçüligiň atlaryny täzeden kesgitläň (mysal üçin, 'bucket. s3. region. amazonaws. com ') hususy A/AAAA ýazgylaryna.
Forwarders/Conditional DNS между on-prem ↔ cloud.
Atlaryň formaty: gurşawy/sebiti kapsula ('api. eu1. internal. corp '), PII-den gaça duruň.

api. internal. corp. A  10. 20. 30. 40 s3. bucket. corp. A  10. 100. 0. 25 # via private endpoint

7) Torara gatnaşyklaryň patternleri

Peering (VPC, VPC/VNet, VNet): ýönekeý we çalt; tranzit hemişe goldanylmaýar → Transit Gateway/Virtual WAN/Cloud Router-i ýyldyz (hub-and-spoke) üçin ulanyň.
On-prem ⇄ cloud: başlamak üçin IPsec VPN, soňra BGP we ätiýaçlyk (iki üpjün ediji, dürli giriş nokatlary) bilen ýörite liniýa (DC/ER/IC).
VRF/Route-domain segmentasiýasy: prod/stage/dev we kart perimetri izolýasiýasy.

8) Zero Trust we içerki tassyklama

mTLS-standart (service mesh: Istio/Linkerd/Consul), maşyn özboluşlylygy: SPIFFE/SPIRE.
L7 syýasaty: JWT/claims/scopes boýunça ygtyýarnama, proxy derejesinde marşrutlary/usullary çäklendirmek.
Secrets: HashiCorp Vault/КMS + External Secrets Operator; gysga ömürli kredenselller (STS).
Bastion/Privileged Access: gizlinlige diňe broker/JIT sessiýasy (MFA, buýruklary ýazmak) arkaly girmek.

Mysal: Envoy mTLS + JWT-authz süzgüç (bölek)

yaml transport_socket:
name: tls typed_config: {... spiffe://svc. api... }
http_filters:
- name: envoy. filters. http. jwt_authn typed_config:
providers:
oidc: { issuer: https://idp. corp, audiences: ["api"], remote_jwks: {...} }
rules: [{ match: { prefix: "/v1" }, requires: { provider_name: oidc } }]

9) Mahabatyň içindäki maglumatlar we PaaS

Bazalar/klasterler: diňe şahsy salgylar; bastion/JIT arkaly dolandyryjy.
Ammar: private endpoint arkaly VPC-den giriş; endpoint policy diňe zerur baketlere/konteýnerlere rugsat berýär.
Nobatlar/tekerler: hususy interfeýsler; prodýuserler/konsumerler - şol bir VPC/peering.
Artefaktlaryň registrleri: Hususy kiçi ulgamlarda CI/CD runners-den şahsy giriş.

10) Hususy torlarda syn edilmegi

OpenTelemetry Collector - telemetriýa şlýuzy ýaly: içerki eksportçylar öz-hosted (Prometheus/Tempo/Loki/ClickHouse) ýa-da dolandyrylýan backends private endpoints.
Flow logs/NSG/NACL logs we reachability analyzer - hökmany.
SLO-bölekler: 'site/region/vpc/subnet', egress syzdyryş aladalary we garaşylmadyk "internet ugry".

11) Synag we barlamak

Ulgam düzgünleri/Ingress/Service üçin policy as Code (OPA/Gatekeeper).
Canary-marşrutlar: private DNS-de synag domenleri, dürli kiçi ulgamlardan/AZ/sebitlerden synthetic-barlaglar.
Chaos-tor: aralyk-VPC/aralyk-AZ (netem/Toxiproxy) gijikdirmeler/ýitgiler, wagt barlaglary we retry-syýasatlar.

12) Konfigurasiýa mysallary

12. 1 Terraform: bellikler we ugurlar (pikir)

hcl resource "aws_route_table" "app" {
vpc_id = aws_vpc. core. id tags = { Name = "rt-app", env = var. env, zone = "private" }
}
Route on PrivateLink endpoint (interface endpoint is created separately)
resource "aws_vpc_endpoint_route_table_association" "s3" {
route_table_id = aws_route_table. app. id vpc_endpoint_id = aws_vpc_endpoint. s3. id
}

12. 2 K8s NetworkPolicy: Zerur zatlardan başga hemme zady gadagan etmek

yaml apiVersion: networking. k8s. io/v1 kind: NetworkPolicy metadata: { name: deny-all }
spec:
podSelector: {}
policyTypes: ["Ingress","Egress"]
kind: NetworkPolicy metadata: { name: allow-core }
spec:
podSelector: { matchLabels: { app: api } }
egress:
- to:
- namespaceSelector: { matchLabels: { ns: db } }
ports: [{ port: 5432, protocol: TCP }]
- to:
- ipBlock: { cidr: 10. 100. 0. 0/16 }  # private endpoints ports: [{ port: 443, protocol: TCP }]

12. 3 Nginx Ingress (internal scheme) + HSTS

yaml metadata:
annotations:
alb. ingress. kubernetes. io/scheme: internal nginx. ingress. kubernetes. io/hsts: "true"

13) Antipatternler

Hususy kiçi ulgamlardan umumy "management-internet"; egress-gözegçiligiň ýoklugy.
DNS bölünen arakesme we tötänleýin el '/etc/hosts '.
Kesişýän CIDR we "NAT-matruşkalar".
DB/ammar üçin "amatlylyk üçin" köpçülige açyk endpointler.
Akym ýazgylarynyň/düzgünleriň auditiniň ýoklugy; "Açyk" SG '0. 0. 0. 0/0`.
/ CI kody bilen uzak ömürli statik giriş açarlary.

14) Bahasy we öndürijiligi

Private endpoints köplenç hemişelik NAT egress-den arzan we has ygtybarly.
Bottleneck döretmezlik üçin/az-local NAT klasterlerini meýilleşdiriň.
Cache/edge we SWR sebitleýin traffigi azaldýar.
Protokollary saýlamak: HTTP/2/gRPC içinde → az baglanyşyk we TLS-overhaed.

15) iGaming/Maliýe aýratynlyklary

PCI DSS: aýratyn torda/VRF kartoçka kontury (CDE), internet ýok; diňe private endpoints arkaly store/PSP ýazgylaryna girmek; üýtgemeýän auditler (WORM/Object Lock).
KMS/Vault: açarlar bölünen sebit/marka; gol amallary (HSM) diňe mTLS boýunça CDE-den elýeterlidir.
PSP/KYC: private connectivity/bazarlar bar bolsa - ulanyň; otherwiseogsam - HMAC/mTLS we aç-açan allowlist bilen ygtybarly proksi arkaly egress.
Köp tenantlyk: bellikler we syýasatlar 'tenant '/' brand'; aýry-aýry hususy DNS atlary we SG gatlaklary.

16) Prod-taýynlyk çek-sanawy

• Çatryksyz CIDR meýilnamasy; dual-stack taýýar (IPv6).
• Hub-and-Spoke, Transit, peering; on-prem ⇄ cloud - BGP, ätiýaçlyk link jübütleri.
• Ähli PaaS/ammar/DB - private endpoints + endpoint policies arkaly.
• Internal LB/Ingress; jemgyýetçilik perimetri - diňe edge/WAF.
• Split-horizon DNS, private zones we conditional-forwarding sazlandy.
• Egress "deny"; NAT/proxies çäklidir we žurnallaşdyrylýar.
• Mesh mTLS + SPIFFE; JWT-authz L7; Vault/ESO, gysga syrlar.
• NetworkPolicy/SG/NACL - "iň az zerur", akym-logs we reachability-analiz.
• Içindäki OTel Collector; site/region/vpc 'boýunça syzmak üçin alertler egress, SLO.
• PCI/audit: WORM magazinesurnallary, KMS/HSM, CDE izolýasiýasy, giriş runbook.

17) TL; DR

Anyk CIDR meýilnamasy bolan hub-and-spoke shemasy boýunça tor guruň, her bir PaaS/ammar/DB üçin private endpoints ulanyň, daşarky traffigi bolsa diňe dolandyrylýan egress nokatlar arkaly ulanyň. Içerde - internal LB/Ingress, mTLS + SPIFFE, split-horizon DNS, berk NetworkPolicy/SG we OTel arkaly telemetriýa. iGaming/Maliýe üçin PCI segmentasiýasyny, KMS/Vault we üýtgewsiz audit goşuň; PSP/KYC hususy kanallar ýa-da gaty gözegçilik edilýän proksi arkaly çykaryň.