Block Storage we öndürijilik

Gysgaça gysgaça

Blokly ammar, FS, LVM/ZFS we ş.m. gurýan çig enjamlary (LUN/Tom) berýär. Öndürijilik: göterijiniň görnüşi, giriş teswirnamasy, nobatlar we çuňlugy, blokyň ululygy, kodlaşdyryş shemasy (RAID/EC), keşler we päsgelçilikler, tor zawody, şeýle hem belli bir programmanyň I/O patteri (rand/yzygiderli, okamak/ýazmak, sync/async) bilen kesgitlenýär. Maksat, zerur p95/p99 gijikdirmelerini we IOPS/geçirmelerini durnuklylyk we öňünden aýdyp bilmek bilen üpjün etmek.

Blokly elýeterliligiň taksonomiýasy

Lokal: NVMe (PCIe), SAS/SATA SSD/HDD. Iň az gizlinlik, tor dar ýerleriniň ýoklugy.

Ulgam:

iSCSI (Ethernet, LUN, MPIO, ALUA).
Fibre Channel (FC) (16-64G, pes gijikdirmeler, zonning).
NVMe-oF: NVMe/TCP, NVMe/RoCE, NVMe/FC - tor boýunça "ýerli" NVMe, az ýük.
HCI/paýlanan (Ceph RBD, vSAN): amatly ululygy, ýöne gizlinligi has ýokary, tor/kodlamak gaty möhüm.

Saýlama (signallar):

p99 latency ≤ 1-2 ms, örän ýokary IOPS → lokal NVMe/NVMe-oF.
Durnukly "ortaça" latentlik 2-5 ms, olgun zawod → FC ýa-da NVMe/FC.
Ethernetde birleşdirmek, işlemek has aňsat → iSCSI ýa-da NVMe/TCP.

Teswirnamalar we olaryň aýratynlyklary

iSCSI: köpugurly, MPIO/ALUA, TCP sazlamasyna duýgur (MTU, offload, qdepth).
FC: izolýasiýa, ýitgisiz akymlar, WWPN, HBA-nobatlar we karzlar boýunça zonalaşdyrmak.
NVMe-oF: köp Submission/Completion Queues, pes CPU ýükleri, TLS arkaly meňzeşlik NVMe/TCP (zerur bolsa) üçin mümkindir.

RAID/EC we göterijiler

RAID10 - iň az gizlinlik we öňünden aýdyp boljak IOPS; DB/gapjyklar üçin amatly.
RAID5/6 - kuwwaty boýunça has gowudyr, ýazga jerime (write penalty), sync-write üçin IOPS düşýär.
Paýlanan massiwlerde Erasure Coding - kuwwaty taýdan girdejili, ýöne ýazgy "has gymmat".
NVMe SSD - p99 ýokarky; SAS SSD - ylalaşyk; HDD - yzly-yzyna geçiş, ýöne erbet duşuşyk.

Faýl ulgamlary we tekizlemek

XFS - uly faýllar/DB magazinesurnallary üçin ajaýyp saýlaw; "agcount", "realtime" bloglar üçin sazlap bolýar.
ext4 - ähliumumy, RAID-iň aşagyndaky 'stride/stripe _ width' -e ünsli.
ZFS - CoW, bitewiligi barlamak, snapshots/replika, ARC/ZIL/SLOG; sync-ýükler üçin - PLP bilen NVMe-de SLOG.
Deňleşdirmek: 1MiB-aligned bölümler, dogry 'recordsize '/' blocksize'.

Nobatlar, blokyň çuňlugy we ululygy

IOPS Queue Depth bilen ösýär, ýöne gizlinlik hem ösýär; maksat - p95/p99 gözegçiliginde zerur IOPS berýän QD.
Blokyň ululygy: ownuk (4-16K) - IOPS-den uly, has erbet geçiriş; uly (128K-1M) - ahyrky tizlik has gowudyr.
NVMe qpairs: ýadro boýunça/NUMA; iSCSI/FC: qdepth NVA/inisiatorlar, MPIO-syýasatlar.
Barýerler we FUA: açylan write-barriers ygtybarlylygy ýokarlandyrýar, ýöne p99 ýokarlandyrýar; SLOG/PLP öwezini dolýar.

Multipath we elýeterlilik

MPIO/DM-Multipath: ýollaryň agregasiýasy, şowsuzlyga çydamlylygy.

Syýasatlar: 'round-robin' (balans), 'queue-length' (has akylly), 'failover' (aktiw-passiw).
ALUA: Işjeň gözegçä "ileri tutulýan" ýollar.
Möhüm: 'no _ path _ retry', 'queue _ if _ no _ path' - I/O-ny uzak minutlara "doňdurmazlyk" üçin seresaplylyk bilen.
FC zonallaşdyrmak: "bir başlangyç zolagy - bir nyşan" (reduces blast radius).
NVMe-oF: ANA (Asymmetric Namespace Access) — аналог ALUA.

TRIM/Discard & Kaching

TRIM/Discard SSD bloklaryny boşadýar (write-amp azaldýar, gizlinligi durnuklaşdyrýar). Rugsat berilýän ýerinde yzygiderli (cron) ýa-da onlaýn discard açyň.
Read-ahead yzygiderli okamak üçin peýdalydyr; random wagtynda zyýanly.
Write-back gözegçisiniň nagt pullary - diňe BBU/PLP bilen; ýogsam maglumatlary ýitirmek töwekgelçiligi.

Tor yığını (iSCSI/NVMe-TCP üçin)

Storaj zawody üçin aýratyn VLAN/VRF; müşderi traffiginden izolýasiýa.
MTU 9000 end-to-end; RSS/RPS we NUMA üçin IRQ pinning.
RoCE üçin QoS/priority (lossless bolsa), TCP pikleri üçin ECN/RED.
Storaja çenli iki sany garaşsyz fet agajy (goşa TOR, dürli elektrik iýmitlendirijileri).

Linux/Host sazlamak

bash
Scheduler for NVMe echo none     sudo tee /sys/block/nvme0n1/queue/scheduler echo 1024      sudo tee /sys/block/nvme0n1/queue/nr_requests echo 0        sudo tee /sys/block/nvme0n1/queue/add_random echo 0        sudo tee /sys/block/nvme0n1/queue/iostats

Read-ahead (sequential loads)
blockdev --setra 4096 /dev/nvme0n1

iSCSI: example of aggressive timeouts and retries iscsiadm -m node --op update -n node. session. timeo. replacement_timeout -v 10 iscsiadm -m node --op update -n node. conn[0].timeo. noop_out_interval -v 5 iscsiadm -m node --op update -n node. conn[0].timeo. noop_out_timeout -v 5

Multipath (bölek 'multipath. conf`):

conf defaults {
find_multipaths yes polling_interval 5 no_path_retry 12
}
devices {
device {
vendor "PURE    DELL    NETAPP    HITACHI"
path_checker tur features "1 queue_if_no_path"
path_grouping_policy group_by_prio prio alua
}
}

Bençmarking we profillemek

fio - iň az profil toplumy:

bash
Random read 4K, queue 32, 4 threads fio --name = randread --filename =/dev/nvme0n1 --direct = 1 --rw = randread\
--bs=4k --iodepth=32 --numjobs=4 --time_based --runtime=60

Random 4K entry (sync), log loads fio --name = randwrite --rw = randwrite --bs = 4k --iodepth = 16 --numjobs = 4\
--fsync=1 --direct=1 --runtime=60

Large block sequential recording (backups/dumps)
fio --name=seqwrite --rw=write --bs=1M --iodepth=64 --numjobs=2 --runtime=60

Maslahatlar:

Gyzmagy we doňmagy bölüň, temperaturany düzediň/thermal throttling.
FS-de däl-de, LUN/tomda synagdan geçiriň (eger maksat "çig" demir bolsa).
p95/p99 latency we 99 ölçäň. 9% tail - DB-ni "öldürýänler".

Gözegçilik we SLO

Metrikler:

Gizlinlik p50/p95/p99 (read/write), IOPS, throughput, queue-depth, device busy%, merges, discard.
Tor derejesinde: drops, retransmits, ECN bellikleri, interfeýs ýalňyşlyklary.
Massiw derejesinde: köpeltmek, rebuild/resilver progress, write-amp, wear-level SSD.

SLO (mysallar):

LUN БД (OLTP): p99 write ≤ 1. 5 ms, p99 read ≤ 1. 0 ms, elýeterlilik ≥ 99. 95%.
Girişler/žurnallar: p95 append ≤ 2. 5 ms, geçiş ≥ 400 MB/s.
Bellikler: seq write ≥ 1 GB/s (agregirlenen), RTO dikeldiş ≤ 15 minut.

Alertler:

p99 latency> N minut bosagasy, şol bir QD-de IOPS-iň zaýalanmagy, RAID5/6-da read-modify-write ösüşi, aşa gyzmagy/thermal throttle SSD, başlanan/dykylan rebild.

Kubernetes и CSI

PVC/StorageClass: 'reclaimPolicy', 'volumeBindingMode = WaitForFirstConsumer', 'allowVolumeExpansion' parametrleri.
Satyjy CSI pluginleri: snapshotlar/klonlar, QoS/öndürijilik syýasaty, volume-topology.
AccessModes: DB/State üçin RWO, RWX - seresap (adatça faýl/tor arkaly).
Topology/Affinity: pin nodlara storajyň gapdalynda (pes gizlinlik).
Möhüm: HPA/VPA erbet diski "bejermez"; SLO jiltlerini meýilleşdiriň, stateful torlary üçin PodDisruptionBudget ulanyň.

Snapshotlar, klonlar, Consistency Groups

Crash-consistent snapshot - çalt, ýöne BD-de gapma-garşylyklar bolup biler.
App-consistent - quiesce (fsfreeze, pre/post hooks DB) skriptleri arkaly.
Consistency Group (CG) - bir wagtyň özünde birnäçe LUN (geleşik ulgamlary) üçin.
Klonlar - göçürmesiz çalt dev/test gurşawy.

Howpsuzlyk we laýyklyk

iSCSI SOL/Mutual SOL, izolýasiýa VLAN/VRF.
TLS bilen NVMe/TCP - merkezara/köp kärende ssenarileri üçin.
"Ýeke-täk" şifrlemek: LUKS/dm-crypt, self-encrypting drives (TCG Opal), KMS-de açarlar.
Audit: kim mappil LUN, FC zolaklarynyň üýtgemegi, multipath üýtgemeleri.

DR we amallar

Sinhron göçürme (RPO ≈ 0) - gizlinligi, gysga aralyklary ýokarlandyrýar.
Asinhron (RPO = N min) - geo-aralyk, magazinesurnallar bilen DB köplügi üçin kabul ederlikli.
Runbooks: MPIO ýoluny ýitirmek, dolandyryjyny ýitirmek, diskini yzyna almak, howuzy zaýalamak, sahypany üýtgetmek.
Hyzmat penjireleri: kontrollerleriň "rolling", doňdurma iýmezlik üçin rebild çäkleri.

FinOps (öndürijilik bahasy)

$/IOPS we $/ms p99 - OLTP üçin "$/TB" -den has peýdalydyr.
Tiering: gyzgyn OLTP - NVMe/RAID10; habarlar/arhiw - HDD/EC.
Ätiýaçlyklar we amortizasiýa: 30-50% IOPS ösüşini meýilleşdiriň; rebild/skrab üçin ätiýaçlygy saklaň.
Egress/zawod: storaj ulgamy we HBA/NIC täzelenmeleri üçin aýratyn býudjet.

Giriş barlagy

Teswirnama (NVMe-oF/FC/iSCSI) we izolýasiýa zawody saýlandy.
Ýükleriň görnüşleri boýunça RAID/EC we howuzlar (OLTP/log/backup).
Sazlanan MPIO/ALUA/ANA we wagtlar; failover/restore barlandy.
FS/RAID-iň aşagyndaky tekizleme, düzgünnama laýyklykda TRIM/Discard goşulýar.
Nobatlary sazlamak/qdepth/read-ahead; fio profilleri tarapyndan tassyklandy (randread/write 4k, seq 1M).
Disklere/ýollara/gizlinlige gözegçilik etmek p95/p99, rebild we throttle üçin aladalar.
Snapshotlar (app-consistent) we CG; DR/dikeldiş synagy.
Şifrlemek we CHAP/TLS; KMS açarlary; amallaryň barlagy.
Kubernetes/CSI parametrleri, topologiýa we birlige QoS.

Adaty ýalňyşlyklar

MPIO → single point of failure bolmazdan bir ýol.
RAID5/6 sync-write ALTP → ýokary p99 write.
TRIM ýok → write-amp ösüşi we SSD pese gaçmagy.
QD gaty uly → "owadan" IOPS we BD üçin elhenç tail.
ALTP → gizlinlik böküşleri bilen "gyzgyn" jiltlerde onlaýn discard.
'queue _ if _ no _ path' taymautsyz → Heläkçilikde "asylan" hyzmatlar.
NVMe bilen HDD-iň bir howuzda garyşmagy → öňünden aýdyp bolmajak gizlinlik.

iGaming/fintech üçin aýratynlyklar

Gapjyk/geleşik DB: NVMe + RAID10, aýratyn SLOG/NVMe, p99 write ≤ 1. 5 ms, CG-snapshotlar.
Töleg nobatlary/antifrod: yzygiderli girişler → uly bloklar, ýokary geçiriş, magazineurnalyň we maglumatlaryň aşagyndaky aýratyn LUN.
Iň ýokary TPS (ýaryşlar/oýunlar): DB kesşiniň deslapky warm, headroom ≥ 30%, thermal throttle gözegçilik, burn-rate SLO.
Düzgünleşdiriji: LUN şifrlemek, mapping auditiniň ýazgysy, DR-maşklar, RPO/RTO boýunça hasabat.

Jemi

Öndürijilikli blokly ammar - dogry teswirnama + dogry düzülen nobatlar we qdepth + ýeterlik RAID/EC + nagt pul/päsgelçilik düzgüni + izolirlenen zawod. Runbook-larda hemme zady düzüň, p95/p99 ölçäň, fio profilleri bilen tassyklaň, snapshotlary we DR-leri awtomatlaşdyryň we önümiň we pul akymynyň möhüm ýollary üçin zerur bolan öňünden aýdylýan gizlinlik we IOPS alyň.