文件系统和同步

简短摘要

文件系统是完整性、性能和操作的平衡。同步是关于一致性和解决冲突的模型，而不仅仅是"复制文件"。从要求（p95 latency, RPO/RTO,负载类型）开始,选择FS和协议,配置日志和锁定,设置SLO,自动化snapshot/version,并使用正确的同步工具。

在负载下选择文件系统

通用Linux FS

ext4是稳定的"主力"。选项："noatime, nodiratime, discard（谨慎）,data=ordered"。适用于VM驱动器、共享目录、CI工件。
XFS在大型文件/并行性（媒体内容，logi，DWH）上很强大。选项："noatime，inode 64"；在大文件下面,您应该配置"reflink=1" （clone）。
ZFS-CoW，完整性检查，snapshot/复制本 "send/recv"，ARC/L2ARC，ZIL/SLOG for sync。对于后备箱、NAS、要求完整性的基础池而言是独一无二的。
Btrfs-CoW，userspace 中的狙击/压缩/RAID；在Dev/test和edge下很好，对于没有调整的OLTP更小心。

Windows/跨平台格式

NTFS-ACL, ADS,适用于SMB； "DisableLastAccess"适用于性能。
exFAT是可移动媒体，没有权限和日志（不用于prod）。

影响可靠性和速度的设置

日志和障碍："data=ordered"（默认情况下为ext4）-平衡；"data=journal"-更安全，但速度更慢；确保启用了write barriers（或具有BBU/PLP的控制器）。
fsync/sync：关键流（日志/事务）必须显式调用"fsync（）"；否则，事故可能造成损失。
atime："relatime"/"noatime"降低了写作压力。
xattr/ACL：如果需要POSIX ACL和安全标签,则启用。
块大小/记录大小：ZFS"记录大小"=16K' for DB； '1M' for Big Media。

装载示例：

bash ext4 for CI artifacts
UUID=... /var/lib/ci ext4 noatime,nodev,nosuid,data=ordered 0 2
XFS for Media Directories
UUID=... /srv/media xfs noatime,attr2,inode64 0 0
ZFS for backups and snapshots (creation)
zpool create tank mirror nvme0n1 nvme1n1 zfs set compression=lz4 atime=off tank/backups

网络和分布式文件系统

NFS/SMB （NAS方法）

NFSv3/v4：简单而快速；v4提供锁定和Kerberos（"sec=krb5p"）。不要依靠NFS进行高频"深度"fsync-更好的本地驱动器+异步卸载。
SMB 3.x： multichannel,加密,与AD集成。在敏感数据上启用签名/加密。

导出NFS（最小值）：


/pool/projects 10. 0. 0. 0/16(rw,no_root_squash,sec=krb5p,async)

SMB（片段）：


[reports]
path = /pool/reports read only = no vfs objects = acl_xattr, recycle smb encrypt = required

分布式FS

CephFS是Ceph之上的POSIX；适合水平尺度、狙击手、量子、元数据分布。
GlusterFS-易于启动,复制品/软垫,但用小文件和p99整齐。
Lustre/IBM Spectrum Scale-LDC/大文件,要求网络/操作。
9P （Virtio-fs）-用于VM shering,不适用于刚性SLO的原型负载。

建议：对于OLTP/钱包-非网络FS；使用块卷。对于静态内容/共享工件-NFS/SMB/对象+CDN。

锁定、缓存和一致性

Advisory vs mandatory locks: Linux обычно advisory;SMB支持oplocks/leases，NFSv4支持stateful locks。
客户机缓存：激进的腰包加速读取，但在多客户端的情况下，会增加发生冲突的风险。

一致性：

Strong（本地FS，ZFS）。
Close to open （NFS）：在"close （））/open（）"中可见更改。
Eventual（某些分布式/对象脚本）。
观察：NTP/PTP；时间漂移打破冲突和TTL。

同步： 模型和工具

模型

一路（push/pull）：发布文物、上载报告、后台备份。
两路（bi-dir）：协作；需要发生冲突并进行转换。
Hub-and-spoke：通过中央节点/群集的星星（MinIO/S3+代理）。
近实时vs batch：inotify/更改日志与周期窗口。

工具

rsync是事实上的一路标准；'--delete'，'--partial'，'--inplace'（小心）。
rclone-S3/云、哈希检查、服务器侧复制。
Unison-真正的双向解决冲突。
Syncthing-p2p, version,方便工作文件夹。

lsyncd是inotify上的rsync触发器；near-real-time.

ZFS send/recv是snapshot/increments的完美"合成器"（字节有效）。

rsync（一路，发布静态目录）：

bash rsync -az --delete --numeric-ids --partial --inplace \
/srv/builds/ user@edge:/var/www/builds/

Unison （bi-dir, profile）：


root =/srv/shared root = ssh ://user @ peer//srv/shared prefer =/srv/shared # in case of conflict - local side repeat = watch # inotify ignore = Name. tmp

lsyncd（在rsync之上的近实时）：

lua settings { logfile="/var/log/lsyncd. log", statusFile="/var/run/lsyncd. status" }
sync {
default. rsync,
source="/srv/outbox",
target="user@remote:/srv/inbox",
rsync={ archive=true, compress=true, delete=true }
}

ZFS复制版（嵌入版）：

bash zfs snapshot tank/data@now zfs send -i tank/data@prev tank/data@now      ssh backup zfs recv -F backup/data

转化，狙击和"篮子"

CoW snapshots （ZFS/Btrfs/CephFS）：快速回滚点,分钟。
应用程序级验证（Nextcloud/Syncthing/Object）：方便用户使用。
SMB/NFS上的篮子/回收器：避免意外移除，但不替换备用。

安全性和访问

ACL和xattr： POSIX ACL, SID/ACE for SMB, mapping uid/gid。
通过网关读取/写入：SFTP/HTTPS/WebDAV-当无法向外打开SMB/NFS时。
加密：LUKS/ZFS本机；在飞行中-Kerberos（NFSv4），SMB加密，TLS用于网关。
PII/合规性：分割球,严格的权利面具,访问审核,WORM在需要不变的地方。

可观察性、SLO和Alerta

Метрики ФС: p95/p99 latency (read/write/open), IOPS, qdepth, cache hit, inode usage, fill-level, errors (EIO/ENOSPC).

网络指标（NFS/SMB）： retransmits/drops, RPC RTT, oplock breaks, queue length。

SLO（示例）：

NFS球CI：p95 "open"/"read" ≤ 3-5毫秒，可用性≥ 99。95%.
SMB报告：p95目录列表≤ 100毫秒，≤ 10 k 文件/dire。
ZFS备份池：p99条目≤ 10毫秒,snapshot成功率为100%, RPO ≤ 15分钟（注释）。

Alerts：

池填充量>80/90/95％，"EIO"增长，snapshot脱落，命中率下降，频繁的断裂。

产品模式（iGaming/fintech）

静态（图标/预览/提供商目录）：通过rsync → CDN发布；将主源存储在具有转换的对象中。
徽标和"原始"事件：在本地书写（XFS/ext4）→战斗卸载（rclone → S3/MinIO）。
报告和PII：具有加密和严格ACL的SMB；带有WORM的定期离站导出（ZFS send/recv）在接收端。
Dev环境和人工制品固定：用于Sharing的NFS/SMB；对于重型基地-块卷+狙击手。
内容合作：Syncthing/Nextcloud，具有验证和配额。

实施支票

定义了数据类别（热/冷/PII）、RPO/RTO和SLO。
选择FS：具有正确选项的ext4/XFS/ZFS（noatime，barriers，recordsize）。
如果NAS：加密/签名NFSv4/SMB、ACL、Kerberos/AD。
Snapshots/转化/篮子-设置和验证恢复。
任务下的合成器工具：rsync（一路）、Unison/Syncthing （bi-dir）、rclone（云）、ZFS send/recv （备份/DR）。
FS/网络/操作监控，burn-rate SLO，alerta ENOSPC/EIO/oplock。
文档：冲突运行手册,fsync法规,命名策略/路径/编码长度。
测试：负载配置文件（小/大文件）,cat脚本（通信中断,编辑冲突）。

典型错误

用于关键事务的一般网络球（OLTP）而不是本地块卷。
在应用程序中关闭路障/无fsync →失败时数据丢失。
两条路线的合成器没有翻转，并且一次→"吃掉"的变化。
在热池→潜伏尾巴上在线显示"discard"。
一个目录中有数百万个小文件→灾难性的列表/备份。
SMB和NFS之间的权利/所有者混合而没有明显的混淆。

迷你花花公子

一路发布→边缘服务器

1.在"/srv/builds"（本地FS）中组装。2) `rsync -az --delete` на edge.3）CDN残疾。

Bi-dir分析师工作文件夹

1.Syncthing/Unison，"version N days"，冲突-保留两个版本。2）按用户配额。3）定期离职备份。

报告目录DR （WORM）

1.ZFS定时狙击。2）带有Object Lock/WORM的"send/recv"到隔离主机。3）每月恢复测试。

结果

强大的文件子系统是正确的FS+正确的日志/障碍模式+可理解的锁模型，有效的同步是正确的拓扑（一路/双路），旋转和经过验证的工具。将解决方桉捕获到运行手册中,自动化snapshots/复制,测量SLO并测试故障场景-因此数据将保持完整,操作过程即使在峰值负载下也是可预测的。