파일 시스템 및 동기화

간략한 요약

파일 시스템은 무결성, 성능 및 작업의 균형입니다. 동기화는 "복사 파일" 만이 아니라 일관성 모델과 충돌 해결에 관한 것입니다. "요구 사항 (p95 대기 시간, RPO/RTO, 로드 유형) 부터 시작하고, 파일 시스템 및 프로토콜을 선택하고, 로깅 및 잠금 장치를 구성하고, SLO를 설정하고, 스냅 샷/버전을 자동화하고 올바른 동기화 도구를 사용합니다.

부하 용 파일 시스템 선택

범용 Linux FS

ext4는 안정적인 주력입니다. 옵션: 'noatime, nodiratime, 폐기 (주의 사항), 데이터 = 주문'. VM 드라이브, 공유 디렉토리, CI 아티팩트에 적합합니다.
XFS-큰 파일/병렬 처리 (미디어 컨텐츠, 로그, DWH) 가 강력합니다. 옵션: 'noatime, inode64'; 큰 파일의 경우 '반사 = 1' (복제) 을 구성 할 가치가 있습니다.
ZFS - CoW, 무결성 확인, 스냅 샷/복제본 '보내기/recv', ARC/L2ARC, ZIL/SLOG 동기화. 무결성 요구 사항이있는 백업, NAS, 기본 풀에 적합합니다.
Btrfs-사용자 공간에서 CoW, 스냅 샷/압축/RAID; 개발자/테스트 및 가장자리에서 좋으며 튜닝없이 OLTP에주의하십시오.

윈도/크로스 플랫폼

NTFS - SMB에 적합한 ACL, ADS; 성능을위한 'DisableLastAccess'.
exFAT-권리 및 로깅이없는 탈착식 미디어 (생산 용이 아님).

신뢰성과 속도에 영향을 미치는 설정

벌목 및 장벽: 'data = order' (기본적으로 ext4) - 균형; 'data = journal' -더 안전하지만 느리다; 쓰기 장벽을 확인하십시오 (또는 BBU/PLP가있는 컨트롤러).
fsync/sync: 중요한 스레드 (로그/트랜잭션) 는 'fsync ()' 을 명시 적으로 호출해야합니다. 그렇지 않으면 사고가 발생할 경우 손실이 발생할 수 있습니다.
시간: 'relatime '/' noatime' 은 쓰기 압력을 줄입니다.

POSIX ACL 및 보안 레이블이 필요한 경우 xattr/ACL 사용 가능

블록 크기/기록 크기: ZFS 'recordsize = 16K' for DB; ' 대형 미디어의 경우 1M '

마운팅의 예:

bash ext4 for CI artifacts
UUID=... /var/lib/ci ext4 noatime,nodev,nosuid,data=ordered 0 2
XFS for Media Directories
UUID=... /srv/media xfs noatime,attr2,inode64 0 0
ZFS for backups and snapshots (creation)
zpool create tank mirror nvme0n1 nvme1n1 zfs set compression=lz4 atime=off tank/backups

네트워크 및 분산 파일 시스템

NFS/SMB (NAS 접근 방식)

NFSv3/v4: 간단하고 빠른; v4는 자물쇠와 Kerberos ('sec = krb5p') 를 제공합니다. 고주파 "딥" fsync-더 나은 로컬 디스크 + 비동기 언로드를 위해 NFS에 의존하지 마십시오.

SMB 3. x: 멀티 채널, 암호화, AD 통합. 민감한 데이터에서 서명/암호화 사용

NFS 내보내기 (최소):


/pool/projects 10. 0. 0. 0/16(rw,no_root_squash,sec=krb5p,async)

SMB (조각):


[reports]
path = /pool/reports read only = no vfs objects = acl_xattr, recycle smb encrypt = required

분산 FS

CephFS - Ceph에 대한 POSIX; 수평 스케일, 스냅 샷, 할당량, 메타 데이터에 적합합니다.
GlusterFS-시작하기 쉽고 복제/샤딩이지만 작은 파일과 p99로 깔끔합니다.
Lustre/IBM Spectrum Scale-네트워크/작업이 필요한 LDC/큰 파일.
9P (Virtio-fs) -하드 SLO가있는 생산 부하가 아닌 VM 공유 용.

권장 사항: OLTP/지갑-네트워크 FS가 아님; 블록 볼륨 사용. 정적 컨텐츠/공통 아티팩트 - NFS/SMB/오브젝트 + CDN의 경우.

잠금, 캐싱 및 일관성

자문 대 필수 잠금 장치: Linux о차량 자문; SMB는 oplocks/lieses를 지원하고 NFSv4는 stateful lock을 지원합니다.
클라이언트 캐싱: 공격적인 캐시는 판독 속도를 높이지만 다중 클라이언트를 사용하면 충돌 위험이 높아집니다.

일관성:

강력 (로컬 FS, ZFS).
근접 열기 (NFS) - '닫기 ()/열기 ()' 에 변경 사항이 표시됩니다.
최종 (일부 분산/객체 스크립트).
시간: NTP/PTP; 시간 드리프트는 충돌 해결과 TTL을 깨뜨립니다.

동기화: 모델 및 도구

모델

편도 (푸시/풀): 아티팩트 게시, 보고서 업로드, 오프 사이트 백업.
양방향 (bi-dir): 협업; 해결사 충돌 및 버전이 필요합니다.
허브 앤 스포크: 중앙 노드/클러스터 (MinIO/S3 + 에이전트) 를 통해 스타.
거의 실시간 대 배치: 비 오티 피/체인지 로그 대 주기적 창.

도구

rsync는 사실상 일방 통행 표준입니다. '-삭제', '-부분', '인플레이스' (주의).
rclone-S3/clouds, 해시 검사, 서버 측 사본.
Unison-진정한 양방향, 갈등 해결.
Syncthing-p2p, verioning, 작업 폴더에 편리합니다.
lsyncd - 이노티피에 의한 rsync 트리거; 거의 실시간입니다.
ZFS 전송/recv는 스냅 샷/증분 (바이트 효율) 의 완벽한 싱크대입니다.

rsync (단방향, 정적 디렉토리 게시):

bash rsync -az --delete --numeric-ids --partial --inplace \
/srv/builds/ user@edge:/var/www/builds/

Unison (bi-dir, 프로필):


root =/srv/shared root = ssh ://user @ peer//srv/shared prefer =/srv/shared # in case of conflict - local side repeat = watch # inotify ignore = Name. tmp

lsyncd (rsync를 통한 거의 실시간):

lua settings { logfile="/var/log/lsyncd. log", statusFile="/var/run/lsyncd. status" }
sync {
default. rsync,
source="/srv/outbox",
target="user@remote:/srv/inbox",
rsync={ archive=true, compress=true, delete=true }
}

ZFS 복제본 (증분):

bash zfs snapshot tank/data@now zfs send -i tank/data@prev tank/data@now      ssh backup zfs recv -F backup/data

검증, 스냅 샷 및 바구니

CoW 스냅 샷 (ZFS/Btrfs/CephFS): 빠른 롤백 포인트, 최소 송장.
응용 프로그램 수준 버전 지정 (Nextcloud/Syncthing/천체): 사용자에게 편리합니다.
SMB/NFS의 바구니 재활용: 우발적 인 삭제를 막지 만 백업을 대체하지는 않습니다.

보안 및 액세스

ACL 및 xattr: POSIX ACL, SMB 용 SID/ACE, IP/gid 매핑.
게이트웨이를 통한 읽기/쓰기: SMB/NFS를 외부에서 열 수 없을 때/HTTPS를 읽습니다.
암호화: LUKS/ZFS 네이티브; 비행 중-Kerberos (NFSv4), SMB 암호화, 게이트웨이 용 TLS.
PII/준수: 볼 세분화, 엄격한 권리 마스크, 액세스 감사, 변경 불가능한 경우 WORM.

관찰 가능성, SLO 및 경고

차: p95/p99 대기 시간 (읽기/쓰기/열기), IOPS, qdeep, 캐시 적중, 이노드 사용, 필 레벨, 오류 (EIO/ENOSPC).
네트워크 메트릭 (NFS/SMB): 재 송신/방울, RPC RTT, oplock break, 큐 길이.

SLO (예):

NFS 볼 CI: p95 '열기 '/' 읽기' 95%.
SMB 보고서: 10k 파일/dir 일 때 p95 디렉토리에
ZFS 백업 풀: p99는 10 배, 100% 스냅 샷 성공, RPO 10 분 (증분) 을 씁니다.

경고:

풀 필링> 80/90/95%, 'EIO' 성장, 스냅 샷 지연, 적중 비율 하락, oplock-break 빈번한.

제품 패턴 (iGaming/fintech)

정적 (아이콘/미리보기/제공자 디렉토리): rsync → CDN을 통한 게시; 원본 소스를 버전이있는 개체에 저장합니다.
로그 및 "원시" 이벤트: 로컬 (XFS/ext4) → 배치 언로드 (rclone → S3/MinIO) 를 작성하십시오.
보고 및 PII: 암호화 및 엄격한 ACL이있는 SMB; 수신 측에 WORM을 사용한 주기적 오프 사이트 내보내기 (ZFS 송금/recv).
데브 환경 및 캡처 아티팩트: 공유를위한 NFS/SMB; 무거운베이스의 경우-블록 볼륨 + 스냅 샷.
컨텐츠 협업: 버전과 할당량을 갖춘 Syncthing/Nextcloud.

구현 체크리스트

정의 된 데이터 클래스 (핫/콜드/PII), RPO/RTO 및 SLO.
선택된 파일 시스템: 올바른 옵션 (노아 타임, 장벽, 기록 크기) 이있는 ext4/XFS/ZFS.
NAS: 암호화/서명 된 NFSv4/SMB, ACL, Kerberos/AD.
스냅 샷/버전/재활용 쓰레기통-복구에 의해 조정 및 검증.
작업을위한 Bruise 도구: rsync (일방 통행), Unison/Syncthing (bi-dir), rclone (클라우드), ZFS 송금/recv (백업/DR).
FS/네트워크/운영 모니터링, 연소 속도 SLO, ENOSPC/EIO/oplock 경고.
문서: 런북 충돌, fsync 규칙, 명명/경로 길이/인코딩 정책.
테스트: 로드 프로필 (작은/큰 파일), 잘라낸 스크립트 (연결 끊기, 충돌 편집).

공통 오류

로컬 블록 볼륨 대신 OLTP (공유 중요 트랜잭션 네트볼).
응용 프로그램에서 장애인 배리어/fsync가 없습니다. → 실패시 데이터 손실.
버전이없는 양방향 싱크와 단일 시간 → "먹은" 변경.
온라인으로 핫 풀 → 대기 시간 꼬리에 '폐기'.
하나의 디렉토리에있는 수백만 개의 작은 파일 → 치명적인 목록/백업.
명시 적 매핑없이 SMB와 NFS 간의 혼합 권한/소유자.

미니 플레이 북

단방향 게시 빌드 → 엣지 서버

1. '/srv/builds '(로컬 파일 시스템) 에서 조립합니다. 2) 'rsync-az-delete' неedge. 3) CDN의 장애.

Bi-dir 분석가 작업 폴더

1. Syncthing/Unison, "verioning N day" 충돌-두 버전을 모두 저장하십시오. 2) 사용자 당 할당량. 3) 정기 오프 사이트 백업.

보고서 카탈로그 DR (WORM)

1. 일정에 ZFS 스냅 샷. 2) Object Lock/WORM을 사용하여 격리 된 호스트에게 '전송/recv'. 3) 월간 복구 테스트.

결과

신뢰할 수있는 파일 서브 시스템은 올바른 파일 시스템 + 올바른 로깅/배리어 모드 + 이해할 수있는 차단 모델이며 효과적인 동기화는 올바른 토폴로지 (일방 통행/바이 디르), 버전 지정 및 입증 된 도구입니다. 런북에서 솔루션을 캡처하고, 스냅 샷/복제를 자동화하고, SLO 및 테스트 오류 시나리오를 측정합니다. 이러한 방식으로 데이터는 그대로 유지되며 피크로드에서도 운영 프로세스가 예측 가능합니다.