Dosya Sistemleri ve Senkronizasyon

Kısa Özet

Dosya sistemi bütünlük, performans ve işlemlerin bir dengesidir. Senkronizasyon, sadece "dosyaları kopyalamak'değil, bir tutarlılık modeli ve çakışma çözümü ile ilgilidir. "Gereksinimlerle başlıyoruz (p95 gecikme, RPO/RTO, yük türü), dosya sistemini ve protokolünü seçin, günlüğü ve kilitleri yapılandırın, SLO'yu ayarlayın, anlık görüntüleri/sürümleri otomatikleştirin ve doğru senkronizasyon araçlarını kullanın.

Yük için bir dosya sistemi seçme

Evrensel Linux FS

ext4 sabit bir beygir. Seçenekler: 'Noatime, nodiratime, atmak (dikkatle), data = sıralı'. VM sürücüler, paylaşılan dizinler, CI eserler için iyi.
XFS - büyük dosyalar/paralellik (medya içeriği, günlükler, DWH) üzerinde güçlü. Seçenekler: 'Noatime, inode64'; Büyük dosyalar için 'reflink = 1' (klon) yapılandırmaya değer.
ZFS - CoW, bütünlük kontrolü, anlık görüntüler/çoğaltma 'gönder/recv', ARC/L2ARC, senkronizasyon için ZIL/SLOG. Yedekleme, NAS, bütünlük gereksinimi olan temel havuzlar için mükemmeldir.
Btrfs - CoW, kullanıcı alanında anlık görüntüler/sıkıştırma/RAID; Geliştirme/test ve kenar altında iyi, ayarlama yapmadan OLTP için dikkatli.

Windows/Çapraz Platform

NTFS - ACL, ADS, SMB için güvenilir; Performans için 'DisableLastAccess'.
exFAT - çıkarılabilir medya, hak ve kayıt olmadan (üretim için değil).

Güvenilirliği ve hızı etkileyen ayarlar

Günlük kaydı ve engeller: 'data = sipariş' (varsayılan olarak ext4) - denge; 'data = journal' - daha güvenli, ancak daha yavaş; Yazma engellerinin etkin olduğunu doğrulayın (veya BBU/PLP ile denetleyici).
fsync/sync: kritik konular (günlükler/işlemler) açıkça 'fsync ()' demelidir; Aksi takdirde kaza durumunda kayıp mümkündür.
atime: 'relatime'/' noatime' yazma basıncını azaltır.
Xattr/ACL-Enable POSIX ACLs ve güvenlik etiketleri gerekiyorsa.
Blok boyutu/kayıt boyutu: ZFS 'recordsize = 16K' for DB; ' 1M 'büyük medya için.

bash ext4 for CI artifacts
UUID=... /var/lib/ci ext4 noatime,nodev,nosuid,data=ordered 0 2
XFS for Media Directories
UUID=... /srv/media xfs noatime,attr2,inode64 0 0
ZFS for backups and snapshots (creation)
zpool create tank mirror nvme0n1 nvme1n1 zfs set compression=lz4 atime=off tank/backups

Ağ ve Dağıtılmış Dosya Sistemleri

NFS/SMB (NAS yaklaşımı)

NFSv3/v4: basit ve hızlı; V4 kilitler ve Kerberos ('sec = krb5p') verir. Yüksek frekanslı "derin" fsync için NFS'ye güvenmeyin - daha iyi yerel disk + asenkron boşaltma.
SMB 3. x: çok kanallı, şifreleme, AD entegrasyonu. Hassas verilerde imzalama/şifrelemeyi etkinleştirin.

/pool/projects 10. 0. 0. 0/16(rw,no_root_squash,sec=krb5p,async)

[reports]
path = /pool/reports read only = no vfs objects = acl_xattr, recycle smb encrypt = required

Dağıtılmış FS

CephFS - Ceph üzerinden POSIX; Yatay ölçek, anlık görüntüler, kotalar, dağıtılan meta veriler için iyidir.
GlusterFS - başlaması kolay, çoğaltma/parçalama, ancak küçük dosyalar ve p99 ile düzgün.
Lustre/IBM Spectrum Scale - LDC/büyük dosyalar, ağ/işlemler üzerinde talep.
9P (Virtio-fs) - VM paylaşımı için, sert SLO'larla üretim yükleri için değil.

Öneri: OLTP/cüzdanlar için - ağ FS değil; blok hacimleri kullanın. Statik içerik/ortak eserler için - NFS/SMB/object + CDN.

Kilitler, önbelleğe alma ve tutarlılık

Danışmanlık vs zorunlu kilitler: Linux обычно danışmanlığı; SMB, oplockları/kiralamaları destekler NFSv4 durumsal kilitleri destekler.
İstemci önbellekleme: Agresif önbellekler okumayı hızlandırır, ancak çoklu istemcilerle çakışma riskini artırır.

• Güçlü (yerel FS, ZFS).
• Close-to-open (NFS) - 'close ()/open ()' olduğunda değişiklikler görünür.
• Event (bazı dağıtılmış/nesne komut dosyaları).
• Saatler: NTP/PTP; Zaman kayması çatışma çözme ve TTL'yi kırar.

Senkronize etme: modeller ve araçlar

Modeller

Tek yönlü (push/pull): eser yayınlama, rapor yükleme, site dışı yedekleme.
İki yönlü (bi-dir): işbirliği; Çözümleyici çatışması ve sürüm oluşturma gereklidir.
Hub-and-spoke: merkezi düğüm/küme boyunca yıldız (MinIO/S3 + ajanlar).
Gerçek zamana yakın vs batch: Inotify/change logs vs periodic winds.

Araçlar

rsync fiili tek yönlü standarttır; '-- delete', '--partial', '---place' (dikkat).
Rclone - S3/clouds, hash kontrolü, sunucu tarafı kopyası.
Unison - gerçek iki yönlü, çatışma çözümü.
Syncthing - p2p, sürüm oluşturma, iş klasörleri için uygun.
lsyncd - inotify tarafından rsync tetikleyici; Neredeyse gerçek zamanlı.
ZFS send/recv, anlık görüntülerin/artışların (bayt verimli) mükemmel bir lavabosudur.

bash rsync -az --delete --numeric-ids --partial --inplace \
/srv/builds/ user@edge:/var/www/builds/

root =/srv/shared root = ssh ://user @ peer//srv/shared prefer =/srv/shared # in case of conflict - local side repeat = watch # inotify ignore = Name. tmp

lua settings { logfile="/var/log/lsyncd. log", statusFile="/var/run/lsyncd. status" }
sync {
default. rsync,
source="/srv/outbox",
target="user@remote:/srv/inbox",
rsync={ archive=true, compress=true, delete=true }
}

bash zfs snapshot tank/data@now zfs send -i tank/data@prev tank/data@now      ssh backup zfs recv -F backup/data

Sürüm oluşturma, anlık görüntüler ve sepetler

CoW anlık görüntüleri (ZFS/Btrfs/CephFS): hızlı geri alma noktaları, min. faturalar.
Uygulama düzeyinde sürüm oluşturma (Nextcloud/Syncthing/object): kullanıcılar için uygundur.
SMB/NFS'de sepetleri geri dönüştürün: yanlışlıkla silinmekten kurtarın, ancak yedeklemeyi değiştirmeyin.

Güvenlik ve erişim

ACL ve xattr: POSIX ACL, SMB için SID/ACE, uid/gid eşleme.
Ağ geçitleri aracılığıyla okuma/yazma: SFTP/HTTPS/WebDAV - SMB/NFS dışarıda açılamadığında.
Şifreleme: LUKS/ZFS native; Uçuş sırasında - Kerberos (NFSv4), SMB şifreleme, ağ geçitleri için TLS.
PII/uyumluluk: top segmentasyonu, katı hak maskeleri, erişim denetimleri, gerektiğinde WORM değiştirilemez.

Gözlemlenebilirlik, SLO ve uyarılar

Метрики ФС: p95/p99 gecikme süresi (okuma/yazma/açma), IOPS, qdepth, önbellek isabeti, inode kullanımı, dolgu düzeyi, hatalar (EIO/ENOSPC).
Ağ metrikleri (NFS/SMB): yeniden iletimler/damlalar, RPC RTT, oplock sonları, kuyruk uzunluğu.

• NFS ball CI: p95 'open'/' read' ≤ 3-5 ms, kullanılabilirlik ≥ 99. 95%.
• SMB raporları: p95 dizin listesi ≤ 10k dosya/dizin ≤ 100 ms.
• ZFS yedekleme havuzu: p99 yazma ≤ 10 ms, %100 anlık görüntü başarısı, RPO ≤ 15 dakika (artışlar).

• Havuz doldurma> % 80/90/95, 'EIO' büyümesi, anlık görüntüler gecikmesi, isabet oranı düşüşü, oplock-break sıklığı.

Ürün desenleri (iGaming/fintech)

Statik (simgeler/önizlemeler/sağlayıcı dizinleri): rsync ^ CDN aracılığıyla yayınlama; Orijinal kaynağı sürümlü bir nesnede saklayın.
Günlükler ve "ham" olaylar: yerel olarak yaz (XFS/ext4) - toplu boşaltma (rclone - S3/MinIO).
Raporlama ve PII: Şifreleme ve sıkı ACL'ler ile SMB; Alıcı tarafta WORM ile periyodik saha dışı dışa aktarma (ZFS gönderme/recv).
Geliştirme ortamları ve eser yakalama: Paylaşım için NFS/SMB; Ağır üsler için - blok hacimleri + anlık görüntüler.
İçerik işbirliği: Sürüm ve kotalarla Syncthing/Nextcloud.

Uygulama kontrol listesi

• Tanımlanmış veri sınıfları (sıcak/soğuk/PII), RPO/RTO ve SLO.
• Seçilen dosya sistemi: Doğru seçeneklerle ext4/XFS/ZFS (noatime, engeller, kayıt boyutu).
• NAS ise: Şifreli/İmzalı NFSv4/SMB, ACL, Kerberos/AD.
• Anlık görüntüler/sürümler/Geri Dönüşüm Kutuları - Yapılandırılmış ve kurtarma tarafından doğrulanmıştır.
• Görev için çürük aracı: rsync (tek yönlü), Unison/Syncthing (bi-dir), rclone (bulut), ZFS gönderme/recv (yedekleme/DR).
• FS/network/operations, burn-rate SLO, ENOSPC/EIO/oplock uyarılarının izlenmesi.
• Dokümantasyon: Runbook çakışmaları, fsync kuralları, adlandırma/yol uzunluğu/kodlama politikası.
• Testler: yük profilleri (küçük/büyük dosyalar), kesme komut dosyaları (bağlantı kesme, çakışma düzenleme).

Yaygın hatalar

Yerel blok hacmi yerine paylaşılan kritik işlem netbol (OLTP).
Uygulamada engelli engeller/no fsync - başarısızlıkta veri kaybı.
Sürüm oluşturma olmadan iki yönlü senkronizasyon ve tek bir kez "yenilen" değişir.
Sıcak havuzda çevrimiçi 'atma' - gecikme kuyrukları.
Bir dizinde milyonlarca küçük dosya - felaket listeleme/yedekleme.
Açık eşleme olmadan SMB ve NFS arasındaki hakları/sahipleri karıştırın.

Mini oyun kitapları

Tek yönlü yayınlama yapısı> uç sunucular

1. '/srv/builds 'içinde derleme (yerel dosya sistemi). 2) 'rsync -az --delete' на kenar. 3) CDN sakatlığı.

Bi-dir Analist Çalışma Klasörü

1. Syncthing/Unison, "N gün sürüm oluşturma", çakışma - her iki sürümü de kaydedin. 2) Kullanıcı başına kotalar. 3) Periyodik saha dışı yedekleme.

Rapor Kataloğu DR (WORM)

1. Bir zamanlamada ZFS anlık görüntüleri. 2) Object Lock/WORM ile izole bir ana bilgisayara 'gönder/recv'. 3) Aylık kurtarma testi.

Sonuç

Güvenilir bir dosya alt sistemi doğru dosya sistemi + doğru günlük kaydı/bariyer modları + anlaşılabilir bir engelleme modelidir ve etkili senkronizasyon doğru topoloji (tek yönlü/iki yönlü), sürüm oluşturma ve kanıtlanmış araçlardır. Çalışma kitaplarındaki çözümleri yakalayın, anlık görüntüleri/replikasyonu otomatikleştirin, SLO'ları ve test hatası senaryolarını ölçün - bu şekilde veriler bozulmadan kalır ve en yoğun yüklerde bile operasyonel süreçler öngörülebilir olur.