Fayl tizimlari va sinxronlash

Qisqacha xulosa

Fayl tizimi yaxlitlik, ishlash va operatsiyalar muvozanatidir. Sinxronizatsiya - bu «fayllarni ko’chirish» emas, balki kelishuv modeli va mojarolarni hal qilish. Biz talablardan boshlaymiz (p95 latency, RPO/RTO, yuk turi), FS va protokolni tanlaymiz, jurnallash va blokirovkani sozlaymiz, SLOni o’rnatamiz, snapshotlar/versiyalashni avtomatlashtiramiz va sinxronlashtirishning to’g’ri vositalaridan foydalanamiz.

Fayl tizimini yuklash uchun tanlash

Universal Linux FS

ext4 - barqaror «ishchi ot». ’noatime, nodiratime, discard (ehtiyotkorlik bilan), data = ordered’ variantlari. VM disklar, umumiy kataloglar, CI-artefaktlar uchun yaxshi.
XFS - katta fayllar/parallelizmda kuchli (media kontent, loglar, DWH). ’noatime, inode64’ variantlari; katta fayllar uchun’reflink = 1’(clone) ni moslash kerak.
ZFS - CoW, yaxlitligini tekshirish, snapshotlar/replika’send/recv’, ARC/L2ARC, ZIL/SLOG uchun sync. Bekaplar, NAS, yaxlitlik talabi bo’lgan bazaviy pullar uchun juda yaxshi.
Btrfs - CoW, snapshotlar/siqish/RAID userspace; yaxshi dev/test va edge ostida, OLTP uchun sozlamasdan ehtiyot bo’ling.

Windows/krosssplatform

NTFS - ACL, ADS, SMB uchun ishonchli; ishlash uchun’DisableLastAccess’.
exFAT - olinadigan tashuvchilar, huquqsiz va jurnallashsiz (prob uchun emas).

Ishonchlilik va tezlikka ta’sir qiluvchi moslamalar

Jurnallash va toʻsiqlar:’data = ordered’(andoza ext4) - balans;’data = journal’- xavfsiz, lekin sekinroq; write barriers (yoki BBU/PLP bilan boshqaruvchi) yoqilganligiga ishonch hosil qiling.
fsync/sync: tanqidiy oqimlar (jurnallar/tranzaksiyalar) aniq’fsync ()’ni keltirib chiqarishi kerak; aks holda avariya sodir bo’lganda yo’qotish mumkin.
atime:’relatime ’/’ noatime’write bosimini pasaytiradi.
xattr/ACL: POSIX ACL va xavfsizlik belgilari kerak boʻlsa, uni yoqing.
Bloklar/recordsize oʻlchami: ZFS’recordsize = 16K’DB uchun;’1M’katta media uchun.

Montaj namunalari:

bash ext4 for CI artifacts
UUID=... /var/lib/ci ext4 noatime,nodev,nosuid,data=ordered 0 2
XFS for Media Directories
UUID=... /srv/media xfs noatime,attr2,inode64 0 0
ZFS for backups and snapshots (creation)
zpool create tank mirror nvme0n1 nvme1n1 zfs set compression=lz4 atime=off tank/backups

Tarmoq va taqsimlangan fayl tizimlari

NFS/SMB (NAS-yondashuv)

NFSv3/v4: oddiy va tez; v4 blokirovka va Kerberos (’sec = krb5p’) beradi. Yuqori chastotali «chuqur» fsync uchun NFSga tayanmang - mahalliy disk + asinxron tushirish yaxshiroqdir.
SMB 3. x: multichannel, shifrlash, AD bilan integratsiya. Sezgir maʼlumotlarga imzo/shifrlashni yoqing.

NFS eksport (minimal):


/pool/projects 10. 0. 0. 0/16(rw,no_root_squash,sec=krb5p,async)

SMB (parcha):


[reports]
path = /pool/reports read only = no vfs objects = acl_xattr, recycle smb encrypt = required

Taqsimlangan FS

CephFS - Ceph ustiga POSIX; gorizontal masshtab uchun yaxshi, snapshotlar, kvoutlar, meta-maʼlumotlar taqsimlangan.
GlusterFS - boshlang’ich, replika/sharding, lekin kichik fayllar va p99 bilan ehtiyotkorlik bilan.
Lustre/IBM Spectrum Scale - NRS/katta fayllar, tarmoq/operatsiyalarga talabchan.
9P (Virtio-fs) - VM-shering uchun, qattiq SLO bilan prod-yuklar uchun emas.

Tavsiya: OLTP/hamyonlar uchun - tarmoq bo’lmagan FS; blok jildlardan foydalaning. Statik kontent/umumiy artefaktlar uchun - NFS/SMB/obyekt + CDN.

Bloklash, keshlash va muvofiqlashtirish

Advisory vs mandatory locks: Linux обычно advisory; SMB oplocks/leases, NFSv4 - stateful locks.
Mijozlarni keshlash: tajovuzkor keshlar oʻqishni tezlashtiradi, lekin koʻp mijozlar bilan mojaro xavfini oshiradi.

Muvofiqlik:

Strong (lokal FS, ZFS).
Close-to-open (NFS): oʻzgarishlar’close ()/open ()’da koʻrinadi.
Eventual (baʼzi taqsimlangan/obʼekt stsenariylari).
Soat: NTP/PTP; vaqt drifti to’qnashuv-rezolyutsiyani va TTLni buzadi.

Sinxronizatsiya: modellar va asboblar

Modellar

One-way (push/pull): artefaktlarni chop etish, hisobotlarni tushirish, offsite-backap.
Two-way (bi-dir): birgalikda ishlash; mojaro-rezolver va versiyalash talab etiladi.
Hub-and-spoke: markaziy tugun/klaster orqali yulduz (MinIO/S3 + agentlar).
Near-real-time vs batch: inotify/logi oʻzgarishlar vs davriy oynalar.

Asboblar

rsync - de-fakto standart one-way;’-delete’,’-partial’,’-inplace’(ehtiyot bo’ling).
rclone - S3/bulutlar, xesh tekshiruvi, server-side copy.
Unison - haqiqiy bi-directional, nizolarni hal qilish.
Syncthing - p2p, ish jildlari uchun qulay.
lsyncd - inotify bo’yicha rsync triggeri; near-real-time.
ZFS send/recv - snapshotlar/inkrementlarning mukammal «sinki» (baytovo samarali).

rsync (one-way, statik katalogni nashr etish):

bash rsync -az --delete --numeric-ids --partial --inplace \
/srv/builds/ user@edge:/var/www/builds/

Unison (bi-dir, profil):


root =/srv/shared root = ssh ://user @ peer//srv/shared prefer =/srv/shared # in case of conflict - local side repeat = watch # inotify ignore = Name. tmp

lsyncd (rsync ustidagi near-real-time):

lua settings { logfile="/var/log/lsyncd. log", statusFile="/var/run/lsyncd. status" }
sync {
default. rsync,
source="/srv/outbox",
target="user@remote:/srv/inbox",
rsync={ archive=true, compress=true, delete=true }
}

ZFS replika (inkrement):

bash zfs snapshot tank/data@now zfs send -i tank/data@prev tank/data@now      ssh backup zfs recv -F backup/data

Version, snapshotlar va «savatlar»

CoW snapshotlari (ZFS/Btrfs/CephFS): tezkor qaytarish nuqtalari, min. yuk xati.
Dastur darajasida versiya qilish (Nextcloud/Syncthing/obyekt): foydalanuvchilar uchun qulay.
SMB/NFS uchun savatlar/resikllar: tasodifiy oʻchirilishdan saqlaydi, lekin uning oʻrnini bosmaydi.

Xavfsizlik va kirish

ACL va xattr: POSIX ACL, SMB uchun SID/ACE, mapping uid/gid.
Shlyuzlar orqali oʻqish/yozish: SFTP/HTTPS/WebDAV - qachon SMB/NFS ochib boʻlmaydi.
Shifrlash: LUKS/ZFS native; parvozda - Kerberos (NFSv4), SMB encryption, shlyuzlar uchun TLS.
PII/komplayens: sharning segmentatsiyasi, huquqlarning qat’iy niqoblari, kirish auditlari, zarur bo’lgan joyda WORM.

Kuzatish darajasi, SLO va alertlar

Метрики ФС: p95/p99 latency (read/write/open), IOPS, qdepth, cache hit, inode usage, fill-level, errors (EIO/ENOSPC).
Tarmoq metrikasi (NFS/SMB): retransmits/drops, RPC RTT, oplock breaks, queue length.

SLO (misollar):

NFS-ball CI: p95’open ’/’ read’≤ 3-5 ms, foydalanish imkoniyati ≥ 99. 95%.
SMB hisobotlari: p95 katalog listingi ≤ 100 ms ≤ 10k fayl/dir.
ZFS backap puli: p99 yozuv ≤ 10 ms, snapshotlar muvaffaqiyati 100%, RPO ≤ 15 min (inkrementlar).

Alertlar:

Pulni to’ldirish> 80/90/95%,’EIO’o’sishi, snapshotlar orqasi, hit-ratio tushishi, tez-tez oplock-break.

Mahsulot uchun patternlar (iGaming/fintech)

Statika (ikonkalar/prevyu/provayderlar kataloglari): rsync → CDN orqali nashr etish; asl manbani versiyalashtirilgan obyektda saqlash.
Log’lar va «xom» voqealar: mahalliy (XFS/ext4) yozish → batchevo tushirish (rclone → S3/MinIO).
Hisobot va PII: shifrlangan va qat’iy ACLli SMB; qabul tomonidagi WORM bilan davriy offsite-eksport (ZFS send/recv).
Dev-muhit va artefaktlarni fiksatsiya qilish: sharing uchun NFS/SMB; og’ir bazalar uchun - blok-jildlar + snapshotlar.
Kontent hamkorligi: Version va kvotalar bilan Syncthing/Nextcloud.

Joriy etish chek-varaqasi

Ma’lumotlar klasslari (issiq/sovuq/PII), RPO/RTO va SLO aniqlangan.
FS: ext4/XFS/ZFS toʻgʻri variantlar bilan tanlangan (noatime, barriers, recordsize).
Agar NAS: NFSv4/SMB/imzolar, ACL, Kerberos/AD.
Snapshotlar/versiya/savatlar - sozlangan va qayta tiklangan.
Vazifa uchun sinka asbobi: rsync (one-way), Unison/Syncthing (bi-dir), rclone (bulut), ZFS send/recv (backap/DR).
FS/tarmoq/operatsiyalar monitoringi, burn-rate SLO, ENOSPC/EIO/oplock alertlari.
Hujjatlar: mojarolar Runbook, fsync reglamenti, nomlash/yo’l uzunligi/kodlash siyosati.
Testlar: yuklash profillari (kichik/katta fayllar), kat-ssenariylar (aloqa uzilishi, tahrirlash mojarosi).

Tipik xatolar

Lokal blok jildi o’rniga tanqidiy tranzaksiyalar uchun umumiy tarmoq shari (OLTP).
barriers/no fsync oʻchirilgan.
Two-way sink versiyasiz va yagona vaqtsiz → «yeyilgan» o’zgarishlar.
Onlayn’discard’issiq pulda → latentlik dumlari.
Bitta katalogdagi millionlab kichik fayllar → halokatli listing/backup.
Aniq mappingsiz SMB va NFS o’rtasida huquq/egalarni aralashtirish.

Mini-pleybuklar

One-way bild nashr etish → edge-serverlar

1. Yig’ish ’/srv/builds’(lokal FS). 2) `rsync -az --delete` на edge. 3) CDN nogironligi.

Tahlilchilarning Bi-dir ish jildlari

1. Syncthing/Unison, «N kun versiyasi», mojaro - ikkala versiyani ham saqlab qolish. 2) per-user kvotalari. 3) Davriy offsite-bekap.

Hisobot katalogi (WORM)

1. ZFS jadval bo’yicha snapshotlar. 2)’send/recv’Object Lock/WORM bilan izolyatsiya qilingan xost. 3) Oylik tiklash testi.

Jami

Ishonchli fayl quyi tizimi - bu to’g’ri FS + to’g’ri jurnallash/to’siqlar rejimlari + to’siqlarning tushunarli modeli va samarali sinxronlashtirish - bu to’g’ri topologiya (one-way/bi-dir), versiyalash va tekshirilgan vositalardir. Yechimlarni runbook’larda yozib oling, snapshotlarni/replikatsiyani avtomatlashtiring, SLOni o’lchang va muvaffaqiyatsiz stsenariylarni sinab ko’ring - bu ma’lumotlar butun bo’lib qoladi va operatsion jarayonlar hatto eng yuqori yuklar ostida ham oldindan aytib bo’ladi.