Αποθήκευση και NAS

Σύντομη Περίληψη

Η αποθήκευση είναι ένας συνδυασμός μέσων (SSD/NVMe/HDD), δικτύων (Ethernet/IB/FC), πρωτοκόλλων (NFS/SMB/iSCSI/S3) και λογισμικού (ZFS, Ceph, NetApp, True NAS κ.λπ.) που παρέχει επιδόσεις, αξιοπιστία, ασφάλεια και οικονομικά. Η σωστή επιλογή εξαρτάται από το προφίλ I/O (τυχαίο/διαδοχικό, μπλοκ/αρχείο/αντικείμενο), RPO/RTO και SLO απαιτήσεις καθυστέρησης/διεκπεραίωσης.

Ταξινόμηση αποθήκευσης

DAS (Άμεση συνημμένη αποθήκευση) - δίσκοι "κοντά στον εξυπηρετητή. "Ελάχιστη καθυστέρηση, όχι σημεία συμφόρησης του δικτύου, αλλά πιο δύσκολο να μοιραστούμε πόρους.
SAN (Δίκτυο χώρου αποθήκευσης) - αποθήκευση μπλοκ μέσω FC/iSCSI/NVMe-oF. Υψηλές επιδόσεις, κοινές LUN, κεντρική διαχείριση.
NAS (συνημμένη αποθήκευση δικτύου) - σφαίρες αρχείων πάνω από NFS/SMB. Βολικό για κοινόχρηστους καταλόγους, αρχεία καταγραφής, αντικείμενα, περιεχόμενο πολυμέσων.
Αποθήκευση αντικειμένου - S3-compatible API (Ceph RGW/MinIO/σύννεφα). Για αντίγραφα ασφαλείας, κούτσουρα, αρχεία, μέσα, μοντέλα αντικειμένων.
Υπερκαλυμμένα διαλύματα (HCI) - Συνδυασμός υπολογισμού και αποθήκευσης (Ceph, vSAN, StarWind κ.λπ.) για οριζόντια κλίμακα.

Πρωτόκολλα πρόσβασης

• Περιβάλλον Unix/Posix, κλειδαριές statefull, .
• SMB 3. x - πεδία Windows/AD, κρυπτογράφηση/υπογραφές, πολυκανάλι, DFS.

• iSCSI - πάνω από Ethernet, LUN, πολλά μονοπάτια (MPIO), βολικό για εικονοποίηση/βάση δεδομένων.
• FC/NVMe-oF - χαμηλή καθυστέρηση, εξειδικευμένα εργοστάσια/χάρτες.

• S3 API - εκδόσεις αντικειμένων, κύκλος ζωής, κατάσταση WORM/συμμόρφωσης, πολλαπλή αποστολή.

• DB/εικονικές μηχανές → μπλοκ (iSCSI/NVMe-oF).
• Κοινόχρηστοι φάκελοι/αντικείμενα CI → NFS/SMB.
• Αρχεία καταγραφής/αντίγραφα ασφαλείας/μέσα/μοντέλα → S3-compatible αντικείμενο.

Δεδομένα και κωδικοποίηση: RAID, ZFS, κωδικοποίηση διαγραφής

RAID

χαμηλή καθυστέρηση και υψηλή IOPS/τυχαία ανάγνωση/γράψτε.
εξοικονόμηση χωρητικότητας, αλλά γράψτε ποινή.
ZFS - copy-to-write (CoW), pools and vdev, ARC/L2ARC cache, ZIL/SLOG για λειτουργίες συγχρονισμού, στιγμιότυπα/αντίγραφα και ενσωματωμένη ακεραιότητα (checksums).
Κωδικοποίηση διαγραφής (EC) στα κατανεμημένα συστήματα (Ceph/MinIO): κωδικός Reed-Solomon 'k + m' - εξοικονόμηση πάνω από 3x αντιγραφή με αποδεκτή υποβάθμιση της απόδοσης εγγραφής.

• Θερμά τυχαία φορτία (μεταδεδομένα, μικρά αρχεία) → RAID10/ZFS καθρέφτες σε NVMe.
• EC cold/archive →, μεγάλα HDD, επιθετικές κρυψώνες.
• Για αρχεία συγχρονισμού (εξαγωγή NFS) - ειδική SLOG για αξιόπιστα NVMe (PLP) χαμηλών διπλωμάτων ευρεσιτεχνίας.

Επιδόσεις: IOPS, διακίνηση, καθυστέρηση

Τα IOPS είναι σημαντικά για τις μικρές τυχαίες λειτουργίες (DB/μεταδεδομένα).
Εύρος ζώνης - για μεγάλα αρχεία (βίντεο, αντίγραφα ασφαλείας).
Latency p95/p99 - κρίσιμης σημασίας για βάσεις δεδομένων, ουρές αναμονής, API κρυφής μνήμης.
Ουρές και νόμισμα: multithreading on the client, 'rsize/wsize' for NFS, 'rw, queue _ depth' for iSCSI.
Δίκτυο: 25/40/100 GbE (ή IB) + RSS/RPS, jumbo MTU εντός του κέντρου δεδομένων.

Θυρωρός και τσιμπήματα

(ZFS) - RAM και NVMe read cache? SLOG - ιστορικό εγγραφών συγχρονισμού.
Απεικόνιση/απεικόνιση κρυψωνίων ελέγχου - μόνο προσεκτική, μπαταρία/υπερκαπανιστής (BBU/PLP).
Βαθμίδα: NVMe (hot) → SSD (hot) → HDD (cold) → αντικείμενο (archive). Μεταναστευτικές πολιτικές και κύκλος ζωής.

Στιγμιότυπα, κλώνοι, αντιγραφή, DR

Στιγμιότυπα (CoW): στιγμιαία σημεία για rollback/backup. αποθηκεύουν καταλόγους «στο εσωτερικό» της αποθήκης, όχι μόνο στον υπερθεματιστή.
Αντιγραφή: συγχρονισμένη (RPO≈0, πάνω από την καθυστέρηση), ασύγχρονη (RPO = N min).
Κλώνοι: οικονομικά περιβάλλοντα dev/δοκιμής.
συστήματα DR: 3-2-1 (τρία αντίγραφα, δύο τύποι αερομεταφορέων, ένα - εκτός εγκαταστάσεων), τακτικές ασκήσεις DR· Στόχοι RPO/RTO.

Ασφάλεια, συμμόρφωση και πολυπλοκότητα

Ταυτοποίηση/εξουσιοδότηση: LDAP/AD, Kerberos/NTLMv2 για SMB, AUTH_SYS/KRB για NFSv4.
Απομόνωση: VLAN/VRF, πολιτικές εξαγωγών, ποσοστώσεις μισθωτών/ποσοστώσεις.
Κρυπτογράφηση: σε ηρεμία (LUKS/ZFS native/SED) και σε πτήση (NFS-krb5p/SMB κρυπτογράφηση/TLS για S3).
WORM/Συμμόρφωση για νομικά σημαντικά δεδομένα (S3 Object Lock, SnapLock ανάλογα).
Έλεγχος: αμετάβλητα αρχεία καταγραφής πρόσβασης, ενσωμάτωση με SIEM.

Παρακολούθηση και SLO

• Από ομάδες/όγκους: χρήση, 'p95/p99 καθυστέρηση', IOPS, throughput, βάθος αναμονής, κρύπτη χτύπημα, εγγραφή ενίσχυση.
• Μέσω του δικτύου: σταγόνες, αναμεταδόσεις, αντλίες, αναντιστοιχία MTU.
• Από τα μέσα μαζικής ενημέρωσης: λάθη στα μέσα μαζικής ενημέρωσης, επίπεδο φθοράς, θερμοκρασία, SMART.
• Με αντιγραφή/στιγμιότυπα: καθυστέρηση/ηλικία, επιτυχία της εργασίας, διάρκεια.

• NFS μπάλα για CI: p95 καθυστέρηση ≤ 3 ms, διαθεσιμότητα ≥ 99. 95%.
• Βάση δεδομένων LUN: p99 γράψτε ≤ 1. 5 ms, συγχρονισμένο αντίγραφο εντός της περιοχής· RPO 0, RTO ≤ 5 λεπτά.
• Αντικείμενο: p95 PUT ≤ 50 ms, p95 GET ≤ 30 ms, 11 × 9 ανθεκτικότητα (μέσω ΕΕ/αντιγραφή).

• Πλήρωμα δεξαμενής> 80/90/95%, πτώση κρύπτης, ανάπτυξη ρεκόρ, υποβάθμιση δίσκων, ανάληψη δικτύου, καταγραφή αντιγραφής> κατωφλίου.

αντίγραφο ασφαλείας και αρχείο

Στιγμιότυπα + απομακρυσμένο αντίγραφο + ξεχωριστό αντίγραφο ασφαλείας σε αντικείμενο/ταινία.
Πολιτικές διατήρησης: ημέρα/εβδομάδα/μήνα.
Αμετάβλητο: S3 κλειδαριά αντικειμένων (διακυβέρνηση/συμμόρφωση), «κενό αέρα» (λογαριασμοί τροφοδοσίας/αναπηρίας).
Δοκιμές ανάκτησης - τακτικά.

Πρακτικά υποδείγματα (ελάχιστα)

Εξάγουσα NFS (παράδειγμα)

/pool/projects 10. 0. 0. 0/16(rw,async,no_root_squash,sec=krb5p)

μερίδιο SMB (τμήμα smb. conf)

[media]
path = /pool/media read only = no vfs objects = acl_xattr, recycle ea support = yes kernel oplocks = no smb encrypt = required

ZFS: δημιουργία κοινοπραξίας και συνόλου δεδομένων

bash zpool create tank mirror nvme0n1 nvme1n1 zfs set atime=off compression=lz4 tank zfs create tank/projects zfs set recordsize=1M tank/projects     # большие файлы zfs set recordsize=16K tank/db        # БД/мелкие I/O

iSCSI (ιδέες)

Ενεργοποίηση ALUA/MPIO, σωστών χρονοδιαγραμμάτων και βάθους αναμονής στους πελάτες.
Διαδώστε τα δίκτυα iSCSI και την κίνηση των πελατών, χρησιμοποιήστε το Jumbo MTU μέσα στο εργοστάσιο των εκατοντάδων γιάρδων.

Σχεδιασμός χωρητικότητας και επιδόσεων

Σύνολο εργασίας και ρυθμός ανάπτυξης.
Περιθώριο για IOPS και απόδοση 30-50% για κορυφές και επανεξισορρόπηση.
Εξετάστε την ενίσχυση εγγραφής (RAID/EC/CoW) και τα μεταδεδομένα.
Για το αντικείμενο - το κόστος των αιτήσεων και της εξερχόμενης κυκλοφορίας, κλάσεις αποθήκευσης (τυποποιημένη/IA/παγετώνας).

Πράξεις και επικαιροποιήσεις

Επικαιροποιήσεις τροχαίου υλικού των ελεγκτών/OS/firmware.
Παράθυρα και προτεραιότητες Scrubs/Resilver.
Rebild εξισορρόπηση: περιορισμός I/O στην ανάκτηση έτσι ώστε να μην «σκοτώνει» το prod.
Runbooks για την υποβάθμιση/απώλεια κόμβων/δικτύων.

Κατάλογος ελέγχου εφαρμογής

• Επιλεγμένο προφίλ πρόσβασης αρχείου/μπλοκ/αντικειμένου + RPO/RTO/SLO.
• Σύστημα κωδικοποίησης φορτίου και τιμών (RAID/ZFS/ΕΚ).
• Δίκτυα: μεμονωμένα VLAN/VRF, ενδοϋπηρεσιακά MTU 9000, MPIO/ALUA.
• Cache/ticking: ARC/L2ARC/SLOG ή παρόμοιοι μηχανισμοί.
• Στιγμιότυπα/αντίγραφα/αντίγραφα ασφαλείας: χρονοδιαγράμματα, αμετάβλητα, ασκήσεις DR.
• Παρακολούθηση: κοινοπραξίες/μέσα/δίκτυο/μετρήσεις αντιγραφής, προειδοποιήσεις.
• Πρόσβαση/ασφάλεια: ACL, Kerberos/AD, κρυπτογράφηση, λογιστικός έλεγχος.
• Ποσοστώσεις/όρια για ενοικιαστές και καταλόγους SLA/SLO.
• Τεκμηρίωση και εγχειρίδια, ανάκτηση δοκιμών.

Κοινά σφάλματα

Υπερχείλιση του συγκροτήματος> 80% σε συστήματα ZFS/EC → απότομη αύξηση της καθυστέρησης.
Ένας ελεγκτής/ένα δίκτυο χωρίς MPIO/προστασία.
Τα θερμά και ψυχρά σύνολα εργασίας αναμειγνύονται σε μία κατηγορία μεταφορέων.
Δεν υπάρχει SLOG για NFS sync φορτία → απρόβλεπτη καθυστέρηση.
Εφεδρείες μόνο «εντός» της ίδιας σειράς/λογαριασμού → απώλεια σε περίπτωση ατυχήματος/συμβιβασμού.
Έλλειψη τακτικού καθαρισμού και παρακολούθησης SMART.
Αγνοώντας μικρά μοτίβα I/O: μεγάλο 'recordsize' για DB.

iGaming/fintech special

Βάσεις δεδομένων συναλλαγών και πορτοφόλια: μεμονωμένες ομάδες NVMe, κάτοπτρα RAID10/ZFS, συγχρονισμένο αντίγραφο στη ζώνη Β, ανεξάρτητα σφραγισμένα.
Καταγραφές/πρώτες εκδηλώσεις και χαρακτηριστικά καταπολέμησης της απάτης: αντικείμενο + κύκλος ζωής + φτηνές τάξεις, δείκτες/εκθέσεις - σε SSD.
Περιεχόμενο και μέσα (πάροχοι): NAS + CDN, επιθετική μνήμη, αφαίρεση.
Αναφορά και PII: WORM/αμετάβλητη δυνατότητα, κρυπτογράφηση, έλεγχος πρόσβασης, γεωεντοπισμός δεδομένων.
Εκδηλώσεις αιχμής: κρύπτες προθέρμανσης, όρια I/O, έλεγχος καθυστέρησης p99 στις δεξαμενές.

Σύνολο

Αξιόπιστη αποθήκευση είναι η σωστή κατάτμηση κλάσης (αρχείο/μπλοκ/αντικείμενο), κατάλληλο σύστημα κωδικοποίησης (RAID/ZFS/EC), γρήγορο δίκτυο, κρύπτη/σύνδεση, στιγμιότυπα + αντίγραφο + αντίγραφο ασφαλείας, σκληροί SLO και αυτοματοποιημένες λειτουργίες. Ακολουθώντας αυτές τις αρχές, έχουμε προβλέψιμες επιδόσεις, υψηλή ανθεκτικότητα και διαφανή οικονομία αποθήκευσης - με θέματα ασφάλειας και κανονιστικές ρυθμίσεις.