ფაილური სისტემები და სინქრონიზაცია

მოკლე რეზიუმე

ფაილური სისტემა არის მთლიანობის, შესრულების და ოპერაციების ბალანსი. სინქრონიზაცია არის კოორდინაციის მოდელი და კონფლიქტების მოგვარება და არა მხოლოდ „ფაილების კოპირება“. ჩვენ ვიწყებთ მოთხოვნებს (p95 latence, RPO/RTO, დატვირთვის ტიპი), შეარჩიეთ FS და პროტოკოლი, ჩამოაყალიბეთ ჟურნალისტიკა და დაბლოკვა, მიუთითეთ SLO, ავტომატიზირებული Snapshots/ვერსიები და გამოიყენეთ სწორი სინქრონიზაციის ინსტრუმენტები.

ფაილური სისტემის არჩევა დატვირთვისთვის

უნივერსალური Linux FS

ext4 არის სტაბილური „სამუშაო ცხენი“. პარამეტრები: 'noatime, nodiratime, discard (სიფრთხილით), data = ordered'. კარგია VM დისკებისთვის, ზოგადი კატალოგებისთვის, CI არტეფაქტებისთვის.
XFS - ძლიერი დიდ ფაილებზე/პარალელიზმზე (მედია შინაარსის, ლოგოების, DWH). პარამეტრები: 'noatime, inode64'; დიდი ფაილებისთვის ღირს კონფიგურაცია 'reflink = 1' (კლონი).
ZFS - COW, Snapshots/რეპლიკა 'send/recv', ARC/L2ARC, ZIL/SLOG sync. განსხვავებულია ზურგჩანთებისთვის, NAS, ძირითადი ტყვიები მთლიანობის მოთხოვნით.
Btrfs - CoW, snapshots/შეკუმშვა/RAID userspace; კარგია dev/test და edge, ფრთხილად OLTP- სთვის tuning გარეშე.

Windows/crossplatform

NTFS - ACL, ADS, საიმედოა SMB- სთვის; „DisabLastAccess“ შესრულებისთვის.
exFAT - მოსახსნელი მედია, უფლებებისა და ჟურნალების გარეშე (არა კეთებისთვის).

პარამეტრები, რომლებიც გავლენას ახდენს საიმედოობასა და სიჩქარეზე

ჟურნალები და ბარიერები: 'data = ordered' (ნაგულისხმევი) - ბალანსი; 'data = journal' - უსაფრთხო, მაგრამ ნელა; დარწმუნდით, რომ write barriers შედის (ან BBU/PLP კონტროლერი).
fsync/sync: კრიტიკული ნაკადები (ჟურნალები/გარიგებები) აშკარად უნდა გამოიწვიოს 'fsync ()'; წინააღმდეგ შემთხვევაში, უბედური შემთხვევის დაკარგვა შესაძლებელია.
ატიმი: 'relatime '/' noatime' ამცირებს write წნევას.
xattr/ACL: ჩართეთ, თუ საჭიროა POSIX ACL და უსაფრთხოების ნიშნები.
ბლოკების/ჩანაწერების ზომა: ZFS 'recordsize = 16K' BD- სთვის; „1M“ დიდი მედიისთვის.

სამონტაჟო მაგალითები:

bash ext4 for CI artifacts
UUID=... /var/lib/ci ext4 noatime,nodev,nosuid,data=ordered 0 2
XFS for Media Directories
UUID=... /srv/media xfs noatime,attr2,inode64 0 0
ZFS for backups and snapshots (creation)
zpool create tank mirror nvme0n1 nvme1n1 zfs set compression=lz4 atime=off tank/backups

ქსელური და განაწილებული ფაილური სისტემები

NFS/SMB (NAS მიდგომა)

NSIMv3/v4: უბრალოდ და სწრაფად; v4 იძლევა ბლოკირებას და Kerberos ('sec = krb5p'). ნუ დაეყრდნობით NFS- ს მაღალი სიხშირის „ღრმა“ fsync- ს - უმჯობესია ადგილობრივი დისკი + ასინქრონული გადმოტვირთვა.
SMB 3. x: multichannel, დაშიფვრა, ინტეგრაცია AD- სთან. ჩართეთ ხელმოწერა/დაშიფვრა მგრძნობიარე მონაცემებზე.

NFS ექსპორტი (მინიმალური):


/pool/projects 10. 0. 0. 0/16(rw,no_root_squash,sec=krb5p,async)

SMB (ფრაგმენტი):


[reports]
path = /pool/reports read only = no vfs objects = acl_xattr, recycle smb encrypt = required

განაწილებული FS

CephFS - POSIX ცეფზე; კარგი ჰორიზონტალური მასშტაბისთვის, სნაიპერები, კვოტები, მეტამონაცემები განაწილებულია.
GlusterFS - მარტივი დასაწყისში, რეპლიკა/შარდინგი, მაგრამ ფრთხილად პატარა ფაილებით და p99.
Lustre/IBM Spectrum Scale - NDC/დიდი ფაილები, რომლებიც მოთხოვნადია ქსელში/ოპერაციებზე.
9P (Virtio-fs) - VM გაზიარებისთვის, არა მძიმე SLO- ს დატვირთვისთვის.

რეკომენდაცია: OLTP/საფულეებისთვის - არა ქსელის FS; გამოიყენეთ ბლოკის ტომი. სტატიკური შინაარსისთვის/ზოგადი არტეფაქტებისთვის - NFS/SMB/ობიექტი + CDN.

დაბლოკვა, ქეშირება და კოორდინაცია

Advisory vs mandatory locks: Linux обычно advisory; SMB მხარს უჭერს oplocks/leases, NSTSEv4 - stateful locks.
კლიენტის ქეშირება: აგრესიული ქეშები აჩქარებს კითხვას, მაგრამ მულტფილმის კლიენტებთან ერთად ისინი ზრდის კონფლიქტების რისკს.

კოორდინაცია:

Strong (ადგილობრივი FS, ZFS).
Close-to-Open (NFS): ცვლილებები ჩანს 'close ()/Open ()'.
ღონისძიება (რამდენიმე განაწილებული/ობიექტის სცენარი).
საათი: NTP/PTP; დროის დრიფტი არღვევს კონფლიქტს და TTL- ს.

სინქრონიზაცია: მოდელები და ინსტრუმენტები

მოდელები

One-way (push/pull): არტეფაქტების გამოქვეყნება, მოხსენებების გადმოტვირთვა, ოფსეტური ზურგჩანთა.
ორი-გზა (bi-dir): ერთობლივი მუშაობა; საჭიროა სარეზერვო კონფლიქტი და ვერსიები.
Hub-and-spoke: ვარსკვლავი ცენტრალური კვანძის/კლასტერის საშუალებით (MinIO/S3 + აგენტები).
Near-real-time vs batch: inotify/logs ცვლილებები vs პერიოდული ფანჯრები.

ინსტრუმენტები

rsync - დე ფაქტო ერთჯერადი სტანდარტი; '-delete', '-partial', '-inplace' (ფრთხილად).
rclone - S3/ღრუბლები, hash შემოწმება, სერვერის-side copy.
Unison არის ნამდვილი bi directional, კონფლიქტის მოგვარება.
Syncthing - p2p, ვერსია, მოსახერხებელია სამუშაო საქაღალდეებისთვის.
lsyncd - rsync ტრიგერი ინოტიფიისთვის; near-real-time.
ZFS send/recv არის სნაიპშოტების/ჩანაწერების იდეალური „ლურჯი“ (ბაიტი ეფექტურად).

rsync (on- way, სტატიკური კატალოგის გამოცემა):

bash rsync -az --delete --numeric-ids --partial --inplace \
/srv/builds/ user@edge:/var/www/builds/

უნისონი (bi-dir, პროფილი):


root =/srv/shared root = ssh ://user @ peer//srv/shared prefer =/srv/shared # in case of conflict - local side repeat = watch # inotify ignore = Name. tmp

lsyncd (rsync- ის თავზე ნამდვილი დრო):

lua settings { logfile="/var/log/lsyncd. log", statusFile="/var/run/lsyncd. status" }
sync {
default. rsync,
source="/srv/outbox",
target="user@remote:/srv/inbox",
rsync={ archive=true, compress=true, delete=true }
}

ZFS რეპლიკა (კვალი):

bash zfs snapshot tank/data@now zfs send -i tank/data@prev tank/data@now      ssh backup zfs recv -F backup/data

ვერსია, სნაიპერები და „კალათები“

CoW Snaphots (ZFS/Btrfs/CephFS): სწრაფი გამოტოვების წერტილები, წუთები.
პროგრამის დონის ვერსია (Nextcloud/Syncthing/ობიექტი): მოსახერხებელია მომხმარებლებისთვის.
კალათები/გადამუშავება SMB/NFS: დაზოგეთ შემთხვევითი მოცილებისგან, მაგრამ არ შეცვალეთ ზურგჩანთა.

უსაფრთხოება და წვდომა

ACL და xattr: POSIX ACL, SID/ACE SMB, uid/gid mapping.
კითხვა/ჩაწერა კარიბჭეების საშუალებით: SFTP/HTTPS/WebDAV - როდესაც არ შეგიძლიათ გახსნათ SMB/NFS გარეთ.
დაშიფვრა: LUKS/ZFS native; ფრენის დროს - Kerberos (NSPSv4), SMB encryption, TLS კარიბჭეებისთვის.
PII/შესაბამისობა: ბურთების სეგმენტი, უფლებების მკაცრი ნიღბები, წვდომის აუდიტი, WORM, სადაც თქვენ უნდა უცვლელი.

დაკვირვება, SLO და ალერტები

Метрики ФС: p95/p99 latency (read/write/open), IOPS, qdepth, cache hit, inode usage, fill-level, errors (EIO/ENOSPC).
ქსელის მეტრიკა (NFS/SMB): retransmits/drops, RPC RTT, oplock breaks, queue length.

SLO (მაგალითები):

NFS ბურთი CI: p95 'Open '/' read' 3-5 ms, წვდომა 99. 95%.
SMB მოხსენებები: p95 ჩამონათვალი დირექტორია 100 ms 10k ფაილების/dir.
ZFS აუზები: p99 ჩანაწერი 10 ms, snapshots- ის წარმატება 100%, RPO-15 წუთი (შემცირება).

ალერტა:

აუზის შევსება> 80/90/95%, ზრდა 'EIO', სნაიპშოტების ლაქი, hit-ratio- ს დაცემა, ხშირი oplock-break.

ნიმუშები პროდუქტისთვის (iGaming/fintech)

სტატიკა (ხატები/პრაიმერები/პროვაიდერების კატალოგები): პუბლიკაცია rsync-CDN- ის საშუალებით; შეინახეთ ორიგინალური წყარო ობიექტში ვერსიით.
ლოგოები და „ნედლეული“ მოვლენები: წერა ადგილობრივად (XFS/ext4) - ბატჩის გადმოტვირთვა (rclone - S3/MinIO).
მოხსენებები და PII: SMB დაშიფვრა და მკაცრი ACL; პერიოდული offsite ექსპორტი (ZFS send/recv) WORM- ით მიმღებ მხარეს.
Dev-ოთხშაბათს და არტეფაქტების დაფიქსირება: NFS/SMB შარინგისთვის; მძიმე ბაზებისთვის - ბლოკის ტომი + snapshots.
შინაარსის თანამშრომლობა: Syncthing/Nextcloud ვერსირებით და კვოტებით.

ჩეკის განხორციელების სია

განისაზღვრა მონაცემთა კლასები (ცხელი/ცივი/PII), RPO/RTO და SLO.
შეირჩა FS: ext4/XFS/ZFS სწორი ვარიანტებით (noatime, barriers, recordsize).
თუ NAS: NSTSv4/SMB დაშიფვრა/ხელმოწერებით, ACL, Kerberos/AD.
Snapshots/ვერსია/კალათები - მორგებულია და შემოწმებულია აღდგენით.
ლურჯი ინსტრუმენტი დავალებისთვის: rsync (on- გზა), Unison/Syncthing (bi-dir), rclone (ღრუბელი), ZFS send/recv (bacap/DR).
FS/ქსელის/ოპერაციების მონიტორინგი, burn-rate SLO, ალერტები ENOSPC/EIO/oplock.
დოკუმენტაცია: Runbook კონფლიქტები, fsync რეგულაციები, დასახელების პოლიტიკა/ბილიკების სიგრძე/კოდირება.
ტესტები: დატვირთვის პროფილები (მცირე/დიდი ფაილები), სატელიტური სკრიპტები (კომუნიკაციის რღვევა, რედაქტირების კონფლიქტი).

ტიპიური შეცდომები

კრიტიკული გარიგების (OLTP) საერთო ქსელის ბურთი ადგილობრივი ბლოკის ტომის ნაცვლად.
გამორთული barriers/არა fsync განაცხადში - მონაცემების დაკარგვა ჩავარდნის დროს.
ორი-way ლურჯი ვერსიის გარეშე და ერთი დრო არის „ჭამა“ ცვლილებები.
ონლაინ 'discard' ცხელ აუზზე არის ლატენტობის კუდები.
მილიონობით პატარა ფაილი ერთ კატალოგში არის კატასტროფული ჩამონათვალი/ქილა.
უფლებების/მფლობელების შერევა SMB- სა და NFS- ს შორის აშკარა მაპინგის გარეშე.

მინი ფლეიბუკები

One-way ბილეთის გამოცემა edge სერვერები

1. ასამბლეა '/srv/builds '(ადგილობრივი FS). 2) `rsync -az --delete` на edge. 3) CDN ინვალიდობა.

ანალიტიკოსების Bi-dir სამუშაო საქაღალდე

1. Syncthing/Unison, „ვერსია N დღე“, კონფლიქტი - ორივე ვერსიის შენარჩუნება. 2) კვოტები per-user. 3) პერიოდული offsite-becap.

DR ანგარიშის კატალოგი (WORM)

1. ZFS snaphots გრაფიკით. 2) 'send/recv' იზოლირებულ მასპინძელთან Object Lock/WORM. 3) ყოველთვიური აღდგენის ტესტი.

შედეგი

საიმედო ფაილური ქვესისტემა არის სწორი FS + სწორი ჟურნალის/ბარიერების რეჟიმები + გასაგები საკეტის მოდელი, ხოლო ეფექტური სინქრონიზაცია არის სწორი ტოპოლოგია (on- გზა/bi-dir), ვერსია და დადასტურებული ინსტრუმენტები. ჩაწერეთ გადაწყვეტილებები runbook-ax- ში, ავტომატიზაცია მოახდინეთ snapshots/რეპლიკაცია, გაზომეთ SLO და შეამოწმეთ გამოტოვებული სცენარები - ასე რომ, მონაცემები დარჩება მთელი რიცხვით, ხოლო ოპერაციული პროცესები პროგნოზირებულია თუნდაც პიკის დატვირთვის ქვეშ.