Деректерді сақтау және NAS жүйелері

Қысқаша түйіндеме

Сақтау - бұл өнімділікті, сенімділікті, қауіпсіздікті қамтамасыз ететін медиа (SSD/NVMe/HDD), желілер (Ethernet/IB/FC), хаттамалар (NFS/SMB/iSCSI/S3) және бағдарламалық қамтамасыз ету (ZFS, Ceph, NetApp, TrueNAS және т.б.) үйлесімі және экономика. Дұрыс таңдау I/O профиліне (рандом/дәйекті, блок/файл/объект), жасырындылық/өткізу қабілеті бойынша RPO/RTO және SLO талаптарына байланысты.

Сақтау орындарының таксономиясы

DAS (Direct Attached Storage) - «серверге жақын» дискілер. Минималды жасырындылық, желілік бөтелкелер жоқ, бірақ ресурстарды бөлісу қиынырақ.
SAN (Storage Area Network) - FC/iSCSI/NVMe-oF бойынша блокты сақтау орны. Жоғары өнімділік, жалпы LUN, орталықтандырылған басқару.
NAS (Network Attached Storage) - NFS/SMB бойынша файлдық шарлар. Ортақ директорияларға, журналдарға, артефактілерге, медиаконтентке ыңғайлы.
Объектілік сақтау орны - S3 үйлесімді API (Ceph RGW/MinIO/бұлттар). Бэкап, логтар, мұрағаттар, медиа, модельдік артефактілер үшін.
Гиперконвергенттік шешімдер (HCI) - көлденең масштабта есептеу мен сақтауды (Ceph, vSAN, StarWind және т.б.) біріктіреді.

Қатынас хаттамалары

Файлдар:

NFSv3/v4 - Unix/Posix орта, стейтфул-блоктау, Kerberos/KRB5i/KRB5p.
SMB 3. x - Windows/AD домендері, шифрлау/қолтаңбалар, multichannel, DFS.

Блоктық:

iSCSI - Ethernet, LUN үстінде, көптеген жолдар (MPIO), виртуалдандыру/БД үшін ыңғайлы.
FC/NVMe-oF - төмен жасырындылық, мамандандырылған фабрикалар/карталар.

Нысандық:

S3 API - объектілердің нұсқалары, lifecycle, WORM/Compliance mode, multipart upload.

Таңдау:

БД/виртуалкалар → блок (iSCSI/NVMe-oF).
Ортақ қалталар/CI артефактілері → NFS/SMB.
Логи/бэкап/медиа/моделі → S3-үйлесімді нысан.

Деректер және кодтау: RAID, ZFS, Erasure Coding

RAID

RAID1/10 - төмен латенттілік және жоғары IOPS/рандом-оқу/жазу.
RAID5/6 - сыйымдылықты үнемдеу, бірақ жазуға айыппұл (write penalty).
ZFS - көшірме-жазба (CoW), пулдар және vdev, ARC/L2ARC кэш, sync-операциялар үшін ZIL/SLOG, снапшот/реплика және кіріктірілген тұтастық (checksums).
Бөлінген жүйелердегі Erasure Coding (EC) (Ceph/MinIO): Рид-Соломон коды 'k + m' - жазуға өнімділіктің қолайлы азаюы кезінде үш есе репликациямен салыстырғанда үнемдеу.

Ұсынымдар:

Ыстық кездейсоқ жүктемелер (метадеректер, шағын файлдар) → RAID10/ZFS-миррорлары NVMe.
Суық/мұрағат → EC, үлкен HDD, агрессивті кэштер.
sync-жазбалар үшін (NFS export) - сенімді төмен патентті NVMe (PLP) бойынша бөлінген SLOG.

Өнімділігі: IOPS, өткізу, жасырындылық

IOPS ұсақ кездейсоқ операциялар үшін маңызды (DB/метадеректер).
Өткізу қабілеті - үлкен файлдар үшін (бейне, бэкаптар).
p95/p99 жасырындылығы - ДБ, кезектер, кэштің API үшін өте маңызды.
Кезектер мен параллелизм: NFS үшін 'rsize/wsize', iSCSI үшін 'rw, queue _ depth'.
Желі: 25/40/100 GbE (немесе IB) + RSS/RPS, орталықтың ішіндегі jumbo MTU.

Кэштеу және өңдеу

ARC/L2ARC (ZFS) - RAM және NVMe-кэш оқу; SLOG - sync жазбалар журналы.
Write-back/Write-through контроллерлер кэштері - сақтық, тек батареямен/суперконденсатормен (BBU/PLP).
Tiering: NVMe (ыстық) → SSD (жылы) → HDD (суық) → нысан (мұрағат). Көші-қон және lifecycle саясаты.

Снапшоттар, клондар, репликация, DR

Snapshot (CoW): қайтару/бэкап үшін жедел нүктелер; каталогтарды тек гипервизорда ғана емес, сақтау орнының «ішінде» сақтау.
Репликация: синхронды (RPO ≈ 0, жоғары latency), асинхронды (RPO = N мин).
Клондар: үнемді dev/test ортасы.
DR-схемалар: 3-2-1 (үш көшірме, екі тасығыш түрі, біреуі - алаңнан тыс), тұрақты DR-жаттығулар; RPO/RTO мақсаттары.

Қауіпсіздік, комплаенс және көп жалға алу

Аутентификация/авторизация: LDAP/AD, SMB үшін Kerberos/NTLMv2, AUTH_SYS/KRB үшін NFSv4.
Оқшаулау: VLAN/VRF, экспорт-саясат, tenant-квота/quotas.
Шифрлау: тыныштықта (LUKS/ZFS native/SED) және ұшуда (S3 үшін NFS-krb5p/SMB encryption/TLS).
Заңды мәнді деректер үшін WORM/Compliance (S3 Object Lock, SnapLock аналогтары).
Аудит: өзгермейтін қол жеткізу логтары, SIEM-мен интеграция.

Мониторинг және SLO

Өлшемдері:

Пулдар/томдар бойынша: пайдалану, 'p95/p99 latency', IOPS, throughput, queue depth, cache hit, write amplification.
Желі бойынша: drops, retransmits, PPS, MTU mismatch.
Тасымалдаушылар бойынша: media errors, wear-level, температура, SMART.
Репликация/снапшоттар бойынша: лаг/жас, тапсырмалардың табысы, ұзақтығы.

SLO (мысалдар):

CI үшін NFS шар: p95 latency ≤ 3 мс, қол жетімділік ≥ 99. 95%.
БД үшін LUN: p99 write ≤ 1. 5 мс, өңір шегіндегі ілеспе реплика; RPO 0, RTO ≤ 5 мин.
Объекті: p95 PUT ≤ 50 мс, p95 GET ≤ 30 мс, 11 × 9 ұзақ мерзімді (ЕС/репликация арқылы).

Алерталар:

Пулды толтыру> 80/90/95%, cache hit құлдырауы, write-amp өсуі, дискінің тозуы, желі бойынша отыруы, репликация артта қалуы> табалдырығы.

Сақтық көшірме және мұрағат

Суреттер + жойылған реплика + объектіге/лентаға жеке бэкап.
Retention саясаты: күндізгі/апталық/айлық.
Иммутабельділік: S3 Object Lock (Governance/Compliance), «air-gap» (таспа/өшірілген аккаунттар).
Қалпына келтіру тестілері - тұрақты.

Практикалық үлгілер (ең аз)

NFS экспорты (мысал)


/pool/projects 10. 0. 0. 0/16(rw,async,no_root_squash,sec=krb5p)

SMB share (smb. conf)


[media]
path = /pool/media read only = no vfs objects = acl_xattr, recycle ea support = yes kernel oplocks = no smb encrypt = required

ZFS: пул және dataset жасау

bash zpool create tank mirror nvme0n1 nvme1n1 zfs set atime=off compression=lz4 tank zfs create tank/projects zfs set recordsize=1M tank/projects     # большие файлы zfs set recordsize=16K tank/db        # БД/мелкие I/O

iSCSI (идеялар)

Клиенттерде ALUA/MPIO, дұрыс таймауттар және queue depth қосыңыз.
iSCSI желілерін және клиенттік трафикті тарату, Storaj фабрикасы ішінде Jumbo MTU-ны іске қосу.

Сыйымдылықты және өнімділікті жоспарлау

working set (ыстық көлем) және growth rate (айлық өсім) үлгісі.
IOPS бойынша қор және шыңдар мен ребаланс үшін өткізу қабілеті 30-50%.
write amplification (RAID/EC/CoW) және метадеректерді ескеріңіз.
Объекті үшін - сұрау салулардың және шығыс трафиктің құны, сақтау сыныптары (standard/IA/glacier-ұқсас).

Операциялар мен жаңартулар

Контроллерлерді/ОС/тігінділерді Rolling-жаңарту.
Scrubs/Resilver терезелері мен басымдықтары.
Ребильдтерді теңгеру: «өлтірмеу» үшін қалпына келтіру кезіндегі I/O шектеу.
Түйін/желі деградациясында/жоғалуында Runbooks.

Енгізу чек-парағы

Қатынас профилі таңдалды: файл/блок/нысан + RPO/RTO/SLO.
Жүктеме мен бағаға кодтау схемасы (RAID/ZFS/EC).
Желілер: жеке VLAN/VRF, фабрика ішінде MTU 9000, MPIO/ALUA.
Кэш/таспалау: ARC/L2ARC/SLOG немесе ұқсас механизмдер.
Снапшоттар/реплика/бэкап: кестелер, иммутабельділік, DR-жаттығулар.
Мониторинг: пулдар/тасымалдаушылар/желілік/репликациялық метриктер, алерталар.
Кіру/қауіпсіздік: ACL, Kerberos/AD, шифрлау, аудит.
Тенанттар үшін квоталар/лимиттер және SLA/SLO каталогтары.
Құжаттама және runbooks, сынақ қалпына келтіру.

Типтік қателер

ZFS/EC жүйелерінде пулдың> 80% толуы → жасырындылықтың күрт өсуі.
MPIO/сақтаусыз бір контроллер/бір желі.
Ыстық және суық жұмыс жиынтықтарын тасымалдаушылардың бір сыныбында араластырады.
NFS → күтпеген кідірістерге sync жүктемелері үшін SLOG жоқ.
Бэкаптар тек сол массивтің/шоттың «ішінде» → авария/компромисс кезінде жоғалту.
Тұрақты scrub және SMART-мониторингінің болмауы.
Шағын I/O-паттерндердің игноры: БД үшін үлкен 'recordsize'.

iGaming/финтех ерекшелігі

Транзакциялық ДБ және әмияндар: жеке пулдар NVMe, RAID10/ZFS-миррора, В аймағына ілеспе реплика, тәуелсіз қорлар.
Логи/шикі оқиғалар және антифрод-фичтер: объекті + lifecycle + арзан сыныптар, индекстер/витриналар - SSD-ге.
Контент және медиа (провайдерлер): NAS + CDN, агрессивті кэш, дедупликация.
Есеп беру және PII: WORM/immutability, шифрлау, қолжетімділік аудиті, деректерді гео-локализациялау.
Ең жоғары оқиғалар: warm-up кэштер, енгізу/шығару лимиттері, пулдарда p99 latency бақылау.

Жиынтығы

Сенімді сақтау жүйесі - бұл сыныптарға дұрыс бөлу (файл/блок/объект), тиісті кодтау схемасы (RAID/ZFS/EC), жылдам желі, кэш/тировка, снапшоттар + реплика + бэкап, қатты SLO және автоматтандырылған операциялар. Осы қағидаттарды басшылыққа ала отырып, сіз қауіпсіздік талаптары мен реттеуіштерді ескере отырып, болжамды өнімділікке, жоғары тұрақтылыққа және ашық сақтау экономикасына ие боласыз.