Анбор ва иҷрои блок

Хулосаи мухтасар

Нигоҳдории блок дастгоҳҳои хом (LUN/ҳаҷм) медиҳад, ки дар болои он шумо FS, LVM/ZFS ва ғайра месозед. Иҷро аз рӯи навъи медиа, протоколи дастрасӣ, навбатҳо ва умқ, андозаи блок, схемаи рамзгузорӣ (RAID/EC), кэш ва монеаҳо, матои шабака ва намунаи махсуси I/O (тасодуфӣ/пайдарпай, хондан/навиштан, ҳамоҳангсозӣ/асинк). Ҳадаф таъмин намудани таъхири зарурии p95/p99 ва фарохмаҷрои IOPS/бо устуворӣ ва пешгӯишаванда мебошад.

Блоки дастрасии таксономия

Маҳаллӣ: NVM je (PCI 'e), SAS/SATA SSD/HDD. Таъхири ҳадди аққал, монеаҳои шабака вуҷуд надоранд.

• ISCSI (Ethernet, LUN, MPIO, ALUA).
• Канали нахи (FC) (16-64G, таъхири кам, минтақа).
• NVM 'e-o
• HCI/паҳншуда (Cefh RBD, VSAN): миқёси қулай, аммо ниҳонӣ баландтар аст, шабака/рамзгузорӣ муҳим аст.

• p99 дермонӣ ≤ 1-2 ms, IOPS хеле баланд → NVM-e/NVM-e-OF.
• Мӯҳлати устувори "миёна" 2-5 мс, фабрикаи баркамол → FC ё NVM je/FC.
• Дар Ethernet муттаҳид карда шудааст, ки ба кор даровардани → I SCSI ё NVM-e/TCP осонтар аст.

Протоколҳо ва хусусиятҳои онҳо

ISCSI: бисёрҷониба, MPIO/ALUA, конфигуратсияи TCP ҳассос (MTU, боркунӣ, qdepth).
ФК: ҷудокунӣ, ҷараёни бебаҳо, минтақаҳои WWPN, навбатҳо ва қарзҳои HBA.
NVM 'e-OF: параллелизм тавассути якчанд пешниҳоди/анҷомёбӣ, сарбории ками CPU, TLS барои NVM-e/TCP имконпазир аст (агар лозим бошад).

RAID/EC ва ВАО

RAID10 - ниҳонии минималӣ ва IOPS-и пешгӯишаванда; оптималӣ барои пойгоҳи додаҳо/ҳамёнҳо.
RAID5/6 - қобилияти беҳтар, ҷаримаи навиштан, IOPS барои ҳамоҳангсозӣ навишта мешавад.
Рамзгузории тозакунӣ дар массивҳои тақсимшуда аз ҷиҳати қобилият муфид аст, аммо сабт "гаронтар аст".
NVM je SSD - p99 боло; SAS SSD - созиш; HDD фарохмаҷрои пайдарпай аст, аммо тасодуфии бад.

Системаҳои файлӣ ва мутобиқсозӣ

XFS интихоби аъло барои файлҳо/гузоришҳои бузурги пойгоҳи додаҳо мебошад; фармоишии 'agcount', 'realtime' барои гузоришҳо.
ext4 - бисёрҷониба, бодиққат ба 'stripe/stripe _ width' барои RAID.
ZFS - КВт, санҷиши якпорчагӣ, лаҳзаҳо/реплика, ARC/ZIL/SLOG; барои боркунии синхронизатсия - SLOG дар NVM .e бо PLP.
Ҳамоҳангсозӣ: 1MiB-aligned қисмҳо, 'сабт '/' blocksize' -ро дар зери сарборӣ дуруст кунед.

Навбатҳо, андозаи амиқ ва блок

IOPS бо чуқурии Queue меафзояд, аммо таъхир низ чунин аст; ҳадаф - QD, ки IOPS-и заруриро ҳангоми назорати p95/p99 медиҳад.
Андозаи блок: хурд (4-16K) - бештар IOPS, фарохмаҷрои бадтар; калон (128K-1M) - суръати нӯг-ба-охир беҳтар.
NVM je qpairs: тақсим аз ҷониби cores/NUMA; ISCSI/FC: qdepth HBA/ташаббускорон, сиёсати MPIO.
Монеаҳо ва FUA: дохил кардани монеаҳои навиштан эътимоднокиро афзун мекунанд, аммо p99; SLOG/PLP ҷуброн.

Мултипат ва мавҷудият

MPIO/DM-Multipath: ҷамъбасти роҳ, таҳаммулпазирии хато.

Сиёсатмадорон: 'мудаввар-робин' (тавозун), 'дарозии навбат' (оқилтар), 'нокомӣ' (масъулияти дороиҳо).
ALUA роҳҳоро ба контролери фаъол "бартарӣ" дод.
Муҳим: 'no _ path _ retry', 'quenue _ if _ no _ path' - бодиққат, то ки дақиқаҳои тӯлонӣ "ях накунед".
Минтақаҳои ФК: "як минтақаи ташаббускор - як ҳадаф" (радиуси таркишро коҳиш медиҳад).
НВМ-е-О-Ф: АНА (Асимметрии Namespace Access) - аналог ALUA.

TRIM/Партофтан ва Caching

TRIM/Партофтан блокҳои SSD-ро озод мекунад (навиштанро кам мекунад, таъхирро мӯътадил мекунад). Дар ҳолати зарурӣ мунтазам (крон) ё партофтани онлайн фаъол кунед.
Хониши пешакӣ барои мутолиаи пайдарпай муфид аст; тасодуфӣ зараровар аст.
Кэшҳои назораткунандаи бозгашт - танҳо бо BBU/PLP; дар акси ҳол, хатари аз даст додани маълумот.

Шабакаи шабакавӣ (барои ISCSI/NVM-e-TCP)

Алоҳида VLAN/VRF барои заводи SRF; ҷудокунӣ аз трафики муштариён.
MTU 9000 ба охир; RSS/RPS ва IRQ ба NUMA часпиданд.
QOS/афзалият барои ROCE (агар бефоида бошад), ECN/RED барои қуллаҳои TCP.
Ду дарахти мустақили фарбеҳ то storaj (TOR-ҳои дугона, каналҳои гуногуни барқ).

Танзими Linux/мизбон (Намуна)

bash
Scheduler for NVMe echo none     sudo tee /sys/block/nvme0n1/queue/scheduler echo 1024      sudo tee /sys/block/nvme0n1/queue/nr_requests echo 0        sudo tee /sys/block/nvme0n1/queue/add_random echo 0        sudo tee /sys/block/nvme0n1/queue/iostats

Read-ahead (sequential loads)
blockdev --setra 4096 /dev/nvme0n1

iSCSI: example of aggressive timeouts and retries iscsiadm -m node --op update -n node. session. timeo. replacement_timeout -v 10 iscsiadm -m node --op update -n node. conn[0].timeo. noop_out_interval -v 5 iscsiadm -m node --op update -n node. conn[0].timeo. noop_out_timeout -v 5

conf defaults {
find_multipaths yes polling_interval 5 no_path_retry 12
}
devices {
device {
vendor "PURE    DELL    NETAPP    HITACHI"
path_checker tur features "1 queue_if_no_path"
path_grouping_policy group_by_prio prio alua
}
}

Нишондиҳӣ ва профил

bash
Random read 4K, queue 32, 4 threads fio --name = randread --filename =/dev/nvme0n1 --direct = 1 --rw = randread\
--bs=4k --iodepth=32 --numjobs=4 --time_based --runtime=60

Random 4K entry (sync), log loads fio --name = randwrite --rw = randwrite --bs = 4k --iodepth = 16 --numjobs = 4\
--fsync=1 --direct=1 --runtime=60

Large block sequential recording (backups/dumps)
fio --name=seqwrite --rw=write --bs=1M --iodepth=64 --numjobs=2 --runtime=60

• Гармидиҳӣ ва андозагирии ҷудогона, ҳарорат/гармидиҳиро сабт кунед.
• Санҷиш дар LUN/ҳаҷм, на FS (агар ҳадаф таҷҳизоти хом бошад).
• Андозагирии p95/p99 ва 99. 9% дум - онҳо касоне мебошанд, ки пойгоҳи додаҳоро "мекушанд".

Мониторинг ва SLO

• Latency p50/p95/p99 (хондан/навиштан), IOPS, интиқол, чуқурии навбат, дастгоҳи банд%, якҷояшавӣ, партофтан.
• Дар сатҳи шабака: қатраҳо, ретрансмитҳо, аломатҳои ECN, хатогиҳои интерфейс.
• Дар сатҳи массив: ақибмонии такрорӣ, пешрафти барқарорсозӣ/ҳалкунанда, навиштан-амп, SSD-сатҳи фарсуда.

• LUN BD (OLTP): p99 менависад ≤ 1. 5ms, p99 хонед ≤ 1. 0 мс, мавҷудият ≥ 99. 95%.
• Гузоришҳо: p95 замима ≤ 2. 5 мс, фарохмаҷро ≥ 400 МБ/с барои як ҳаҷм.
• Нусхабардорӣ: seq нависед ≥ 1 ГБ/с (муттаҳидшуда), барқароркунии RTO ≤ 15 дақиқа.

• p99 дермонӣ> ҳадди N дақиқа, таназзули IOPS бо ҳамон QD, афзоиши хондан-тағир додан-навиштан дар RAID5/6, SSD-и гармидиҳӣ/гармидиҳӣ, қабатҳои оғозшуда/часпида.

Кубернетес и CSI

Синфи PVC/Storage: параметрҳои 'reclaim

Плагинҳои фурӯшандаи CSI: лаҳзаҳо/клонҳо, сиёсати QOS/иҷроиш, ҳаҷм-топология.
Модулҳо: RWO барои пойгоҳи додаҳо/ҳолат, RWX - бодиққат (одатан тавассути файл/шабака).
Топология/наздикӣ: ҷойпӯшҳо ба гиреҳҳо дар назди нигаҳдорӣ (таъхири кам).
Муҳим: HPA/VPA диски бадро "табобат намекунад"; Ҳаҷми SLO-ро ба нақша гиред, барои шабакаҳои давлатӣ истифода баред.

Суратҳо, клонҳо, Гурӯҳҳои мувофиқат

Лаҳзаҳои пайгиронаи садама зуд мебошанд, аммо номувофиқатии пойгоҳи додаҳо имконпазир аст.
Барнома-пайваста - тавассути скриптҳои quiesce (fsfreeze, қалмоқҳои пеш/post DB).
Гурӯҳи пайдарҳамӣ (CG) - барои якчанд LUN (системаҳои транзаксионӣ) дар як вақт.
Клонҳо муҳити зуд dev/озмоишӣ бидуни нусхабардорӣ мебошанд.

Бехатарӣ ва риояи

ISCSI CHAP/CHAP мутақобила, изолятсияи VLAN/VRF.
NVM je/TCP бо TLS - барои сенарияҳои байнисоҳавӣ/бисёрсоҳавӣ.
Рамзгузорӣ "дар истироҳат": LUKS/dm-crypt, дискҳои худидоракунии рамзгузорӣ (TCG Opal), калидҳо дар KMS.
Аудит: ки тағирёбии минтақаи LUN, FC, тағиротҳои мултипликатсияро тартиб додааст.

DR ва амалиёт

Репликаи синхронӣ (RPO ≈ 0) - дурӣ, масофаи кӯтоҳро зиёд мекунад.
Асинхронӣ (RPO = N min) - масофаи гео-масофа, барои аксари пойгоҳи додаҳо бо гузоришҳо қобили қабул аст.
Китобҳои корӣ: Талафоти роҳи MPIO, аз даст додани контрол, барқарорсозии диск, таназзули ҳавз, гузариши сайт.
Тирезаҳои хидматрасонӣ: контроллерҳои "ғелонда", маҳдудиятҳои такрорӣ барои хӯрдани prod.

Финопс (арзиши як иҷро)

$/IOPS ва $/ms p99 барои OLTP муфидтар "$/TB" мебошанд.
Tiering: гарм OLTP - NVMe/RAID10; ҳисоботҳо/бойгонӣ - HDD/EC.
Муқаррарот ва амортизатсия: Нақшаи афзоиши 30-50% IOPS; захираро дар зери rebilds/scrubs нигоҳ доред.
Egress/factory: буҷети алоҳида барои шабакаи нигаҳдорӣ ва навсозиҳои HBA/NIC.

Рӯйхати назоратии татбиқ

• Протокол (NVM-e-oF/FC/ISCSI) ва матои ҷудошуда интихоб карда шуданд.
• RAID/EC ва ҳавзҳои навъи сарборӣ (OLTP/log/нусхабардорӣ) тарҳрезӣ шудаанд.
• MPIO/ALUA/ANA ва танаффусҳо танзим карда шудаанд; тафтиш карда нашуд/барқарор кард.
• FS/ҳамоҳангсозӣ барои RAID, TRIM/Партофтан тибқи танзим.
• Танзими навбатӣ/qdepth/хондан; аз ҷониби профилҳои fio тасдиқ карда шудааст (randread/навиштан 4k, seq 1M).
• Мониторинги диск/роҳ/дермонӣ p95/p99, огоҳӣ ба барқароршавӣ ва дроссель.
• Суратҳо (барнома-мувофиқ) ва CG; Санҷиши DR/барқарорсозӣ.
• Рамзгузорӣ ва CHAP/TLS; Калидҳо дар аудити KMS амалиёт.
• Параметрҳои Kubernetes/CSI, топология ва QOS дар як ҳаҷм.

Хатогиҳои умумӣ

Як роҳ бе MPIO → нуқтаи ягонаи нокомӣ.
RAID5/6 зери навиштани sync-writing OLTP → p99 баланд.
Не TRIM → афзоиши навиштани амп ва таназзули SSD.
QD аз ҳад зиёд "зебо" IOPS ва думи даҳшатнок барои пойгоҳи додаҳо мебошад.
Партофтани онлайн дар ҷилдҳои "гарм" бо ҷаҳишҳои ниҳонии OLTP →.
'queue _ if _ no _ path' вақти танаффус → хидматҳои "яхкардашуда" дар офатҳои табиӣ.
Омезиши NVM je ва HDD дар ҳамон ҳавз → таъхири пешгӯинашаванда.

IGaming/fintech мушаххас

Пойгоҳи додаҳои ҳамён/транзаксия: NVM-e + RAID10, сабти синхронӣ дар алоҳидаи SLOG/NVM-e, p99 навиштан ≤ 1. 5 мс, лаҳзаҳои CG.
Навбати пардохт/зидди қаллобӣ: гузоришҳои силсилавӣ → блокҳои калон, фарохмаҷрои баланд, LUN-ҳои алоҳида барои сабти ном ва маълумот.
Қуллаи TPS (мусобиқаҳо/гугирдҳо): кэшҳои пеш аз гарм, сартарошхона ≥ 30%, назорати дроссельҳои гармидиҳӣ, SLO-и сӯзондан.
Танзим: Рамзгузории LUN, сабти аудити харитасозӣ, машқҳои DR, гузориши RPO/RTO.

Ҷамъ

Нигоҳдории блоки истеҳсолӣ протоколи дуруст + навбатҳои дуруст танзимшуда ва qdepth + кофии RAID/EC + интизоми кэш/монеа + матои ҷудошуда мебошад. Ҳама чизро дар дафтарчаҳо ҷойгир кунед, p95/p99-ро чен кунед, бо профилҳои фио тасдиқ кунед, лаҳзаҳои автоматӣ ва DR-ро сабт кунед - ва таъхири пешгӯишаванда ва IOPS-ро, ки барои маҳсулоти муҳим ва роҳҳои гардиши пули нақд лозиманд, гиред.