भंडारण और एनएएस

संक्षिप्त सारांश

भंडारण मीडिया (SSD/NVMe/HDD), नेटवर्क (ईथरनेट/IB/FC), प्रोटोकॉल (NFS/SMB/iSCSI/S3) और सॉफ्टवेयर (ZFS, Ceph, NetApp, TueNAS, आदि) का एक संयोजन है। सही विकल्प I/O प्रोफ़ाइल (यादृच्छिक/अनुक्रमिक, ब्लॉक/फ़ाइल/वस्तु), RPO/RTO और SLO विलंबता/थ्रूपुट आवश्यकताओं पर निर्भर करता है।

भंडारण वर्गीकरण

डीएएस (डायरेक्ट संलग्न भंडारण) - डिस्क "सर्वर के पास। "न्यूनतम विलंबता, कोई नेटवर्क अड़ चनें नहीं, लेकिन संसाधनों को साझा करना कठिन है।

सैन (भंडारण क्षेत्र नेटवर्क) - FC/iSCSI/NVMe-oF के माध्यम से ब्लॉक भंडारण। उच्च प्रदर्शन, साझा LUN, केंद्रीकृत प्रबंधन।

एनएएस (नेटवर्क संलग्न भंडारण) - एनएफएस/एसएमबी पर फ़ाइल गेंदों। साझा निर्देशिका, लॉग, कलाकृतियों, मीडिया सामग्री के लिए सुविधाजनक।

वस्तु भंडारण - S3-compatible API (Ceph RGW/MinIO/बादल)। बैकअप, लॉग, अभिलेखागार, मीडिया, मॉडल कलाकृतियों के लिए।

हाइपरकॉन्वर्ड सॉल्यूशंस (एचसीआई) - क्षैतिज स्केल के लिए कॉम्बिनेशन कंप्यूटेशन और स्टोरेज (Ceph, vSAN, StarWinde, आदि)।

अभिगम प्रोटोकॉल

• NFSv3/v4 - यूनिक्स/पॉसिक्स वातावरण, स्टेटफुल लॉक, Kerberos/KRB5i/KRB5p।
• एसएमबी 3। x - Windows/AD डोमेन, एन्क्रिप्शन/हस्ताक्षर, मल्टीचैनल, DFS।

• iSCSI - ईथरनेट, LUN, कई रास्ते (MPIO), वर्चुअलाइजेशन/डेटाबेस के लिए सुविधाजनक।
• FC/NVMe-oF - कम विलंबता, विशेष कारखाने/नक्शे।

• S3 API - ऑब्जेक्ट संस्करण, लाइफसाइकल, WORM/अनुपालन मोड, मल्टीपार्ट अपलोड।

• DB/वर्चुअल मशीन → ब्लॉक (iSCSI/NVMe-oF)।
• साझा फ़ोल्डर/सीआई कलाकृतियाँ → एनएफएस/एसएमबी।
• लॉग/बैकअप/मीडिया/मॉडल → S3-compatible ऑब्जेक्ट।

डेटा और कोडिंग: RAID, ZFS, Erasure कोडिंग

रेड

RAID1/10 - कम विलंबता और उच्च IOPS/रैंडम-रीड/राइट।

RAID5/6 - क्षमता बचत, लेकिन जुर्माना लिखें।

ZFS - कॉपी-टू-राइट (CoW), पूल और vdev, ARC/L2ARC कैश, ZIL/SLOG सिंक ऑपरेशन के लिए, स्नैपशॉट/प्रतिकृति और अंतर्निहित अखंडता (चेकसम)।

वितरित प्रणालियों (Ceph/MinIO) में इरेज़र कोडिंग (EC): रीड-सोलोमन कोड 'k + m' - स्वीकार्य लेखन प्रदर्शन क्षरण के साथ 3x प्रतिकृति पर बचत।

• हॉट रैंडम लोड (मेटाडेटा, छोटी फ़ाइलें) → RAID10/ZFS एनवीएमई पर दर्पण।
• ईसी कोल्ड/आर्काइव →, बड़े एचडीडी, आक्रामक कैश।
• सिंक रिकॉर्ड (एनएफएस निर्यात) के लिए - विश्वसनीय कम पेटेंट एनवीएमई (पीएलपी) पर समर्पित एसएलओजी।

प्रदर्शन: IOPS, थ्रूपुट, विलंबता

IOPS छोटे यादृच्छिक संचालन (DB/मेटाडेटा) के लिए महत्वपूर्ण हैं।

बैंडविड्थ - बड़ी फ़ाइलों के लिए (वीडियो, बैकअप)।

लेटेंसी p95/p99 - डेटाबेस, कतारें, कैश एपीआई के लिए महत्वपूर्ण।

कतारें और संगति: ग्राहक पर मल्टीथ्रेडिंग, NFS के लिए 'rsize/wsize', iSCSI के लिए 'rw, कतार _ depth'।

नेटवर्क: 25/40/100 GbE (या IB) + RSS/RPS, डेटा सेंटर के अंदर जंबो MTU।

कैचिंग और टिक

ARC/L2ARC (ZFS) - रैम और NVMe ने कैश पढ़ा; SLOG - सिंक रिकॉर्ड का इतिहास।

राइट-बैक/राइट-थ्रू कंट्रोलर कैश - सावधान, बैटरी/सुपरकैपेसिटर केवल (BBU/PLP)।

Tiering: NVMe (गर्म) → SSD (गर्म) → HDD (ठंडा) → ऑब्जेक्ट (संग्रह)। प्रवासन नीतियां और जीवनचक्र।

स्नैपशॉट, क्लोन, प्रतिकृति, डीआर

स्नैपशॉट (CoW): रोलबैक/बैकअप के लिए तत्काल अंक; भंडारण के अंदर "स्टोर निर्देशिका", सिर्फ हाइपरविजर में नहीं।

प्रतिकृति: तुल्यकालिक (RPO≈0, विलंबता से ऊपर), अतुल्यकालिक (RPO = N मिनट)।

क्लोन: किफायती देव/परीक्षण वातावरण।

डीआर-योजनाएं: 3-2-1 (तीन प्रतियां, दो प्रकार के वाहक, एक-ऑफ-साइट), नियमित डीआर-अभ्यास; RPO/RTO उद्देश्य।

सुरक्षा, अनुपालन और बहु-किरायेदारी

सत्यापन/प्राधिकरण: LDAP/AD, SMB के लिए, के लिए।

अलगाव: VLAN/VRF, निर्यात-नीतियां, किरायेदार-कोटा/कोटा।

एन्क्रिप्शन: आराम पर (LUKS/ZFS देशी/SED) और उड़ान में (S3 के लिए NFS-krb5p/SMB एन्क्रिप्शन/TLS)।

WORM/कानूनी रूप से महत्वपूर्ण डेटा (S3 ऑब्जेक्ट लॉक, स्नैपलॉक एनालॉग्स) के लिए अनुपालन।

लेखा परीक्षा: अपरिवर्तनीय अभिगम लॉग, SIEM के साथ एकीकरण।

निगरानी और एसएलओ

• पूल/वॉल्यूम द्वारा: उपयोग, 'p95/p99 विलंबता', IOPS, थ्रूपुट, कतार गहराई, कैश हिट, प्रवर्धन लिखें।
• नेटवर्क पर: ड्रॉप्स, रिट्रांसमिट्स, पीपीएस, एमटीयू बेमेल।
• मीडिया द्वारा: मीडिया त्रुटियां, पहनने का स्तर, तापमान, SMART।
• प्रतिकृति/स्नैपशॉट द्वारा: लैग/आयु, कार्य सफलता, अवधि।

• CI के लिए NFS बॉल: p95 विलंबता ≤ 3 ms, उपलब्धता ≥ 99। 95%.
• डेटाबेस LUN: p99 लिखें ≤ 1। 5 एमएस, क्षेत्र के भीतर तुल्यकालिक प्रतिकृति; RPO 0, RTO ≤ 5 मिनट।
• वस्तु: p95 PUT ≤ 50 ms, p95 GET ≤ 30 ms, 11 × 9 स्थायित्व (EU/प्रतिकृति के माध्यम से)।

• पूल भरना> 80/90/95%, कैश हिट ड्रॉप, राइट-एम्प ग्रोथ, डिस्क क्षरण, नेटवर्क ड्रॉडाउन, प्रतिकृति लॉग> थ्रेशोल्ड।

बैकअप और अभिलेख

स्नैपशॉट + रिमोट प्रतिकृति + ऑब्जेक्ट/टेप के लिए अलग बैकअप।

प्रतिधारण नीतियां: दिन/सप्ताह/माह।

अपरिवर्तनीयता: S3 ऑब्जेक्ट लॉक (शासन/अनुपालन), "एयर-गैप" (फ़ीड/अक्षम खाते)।

वसूली परीक्षण - नियमित रूप से।

व्यावहारिक टेम्पलेट (न्यूनतम)

एनएफएस निर्यात (उदाहरण)

/pool/projects 10. 0. 0. 0/16(rw,async,no_root_squash,sec=krb5p)

SMB शेयर (smb टुकड़ा। conf)

[media]
path = /pool/media read only = no vfs objects = acl_xattr, recycle ea support = yes kernel oplocks = no smb encrypt = required

ZFS: पूल और डेटासेट बनाना

bash zpool create tank mirror nvme0n1 nvme1n1 zfs set atime=off compression=lz4 tank zfs create tank/projects zfs set recordsize=1M tank/projects     # большие файлы zfs set recordsize=16K tank/db        # БД/мелкие I/O

iSCSI (विचार)

ALUA/MPIO सक्षम करें, समय सही करें, और क्लाइंट पर कतार गहराई करें.

ISCSI नेटवर्क और क्लाइंट ट्रैफिक फैलाएं, सौ-यार्ड कारखाने के अंदर जंबो MTU का उपयोग करें।

क्षमता और निष्पादन योजना

कार्यशील सेट और विकास दर।

आईओपीएस के लिए मार्जिन और चोटियों और असंतुलन के लिए 30-50% का थ्रूपुट।

लेखन प्रवर्धन (RAID/EC/CoW) और मेटाडेटा पर विचार करें।

वस्तु के लिए - अनुरोधों और निवर्तमान यातायात, भंडारण कक्षाओं (मानक/आईए/ग्लेशियर जैसे) की लागत।

संचालन और अद्यतन

नियंत्रकों/ओएस/फर्मवेयर के रोलिंग अपडेट।

स्क्रब/रेसिल्वर खिड़कियां और प्राथमिकताएं।

रीबिल्ड बैलेंसिंग: रिकवरी पर I/O को सीमित करना ताकि प्रोड्यूसर को "मार" न दें।

गिरावट/नोड्स/नेटवर्क के नुकसान पर रनबुक।

कार्यान्वयन जाँच सूची

• फ़ाइल/ब्लॉक/वस्तु + RPO/RTO/SLO अभिगम प्रोफ़ाइल चयनित.
• लोड और मूल्य कोडिंग योजना (RAID/ZFS/EC)।
• नेटवर्क: व्यक्तिगत VLAN/VRF, इंट्रा-फैब्रिक MTU 9000, MPIO/ALUA।
• कैश/टिक: ARC/L2ARC/SLOG या इसी तरह के तंत्र।
• स्नैपशॉट/प्रतिकृति/बैकअप: शेड्यूल, अपरिवर्तनीयता, डीआर अभ्यास।
• निगरानी: पूल/मीडिया/नेटवर्क/प्रतिकृति मेट्रिक्स, अलर्ट।
• पहुंच/सुरक्षा: ACL, Kerberos/AD, एन्क्रिप्शन, ऑडिटिंग।
• किरायेदारों और SLA/SLO निर्देशिकाओं के लिए कोटा/सीमाएँ।
• प्रलेखन और रनबुक, परीक्षण वसूली।

सामान्य त्रुटियाँ

ZFS/EC सिस्टम में पूल ओवरफ्लो> 80% - विलंबता में तेज वृद्धि।

एमपीआईओ/सुरक्षा के बिना एक नियंत्रक/एक नेटवर्क।

गर्म और ठंडे कामकाजी सेट वाहक के एक वर्ग में मिश्रित होते हैं।

NFS सिंक लोड के लिए कोई SLOG नहीं - अप्रत्याशित विलंबता।

एक दुर्घटना/समझौता के मामले में केवल "अंदर" एक ही सरणी/खाता - नुकसान।

नियमित स्क्रब और स्मार्ट निगरानी की कमी।

छोटे I/O पैटर्न की अनदेखी: DB के लिए बड़े 'रिकार्डसाइज़'।

iGaming/fintech विशिष्ट

लेन-देन डेटाबेस और पर्स: व्यक्तिगत एनवीएमई पूल, RAID10/ZFS दर्पण, ज़ोन बी के लिए तुल्यकालिक प्रतिकृति, स्वतंत्र सील।

Logs/raw events और एंटी-फ्रॉड फीचर्स: ऑब्जेक्ट + लाइफसाइकल + सस्ती कक्षाएं, इंडेक्स/शोकेस - एसएसडी पर।

सामग्री और मीडिया (प्रदाता): एनएएस + सीडीएन, आक्रामक कैश, डीडुप्लिकेशन।

रिपोर्टिंग और पीआईआई: WORM/अपरिवर्तनीयता, एन्क्रिप्शन, एक्सेस ऑडिटिंग, डेटा का भू-स्थानीयकरण।

पीक इवेंट्स: वार्म-अप कैश, I/O लिमिट, पूल पर p99 लेटेंसी कंट्रोल।

कुल

विश्वसनीय भंडारण सही वर्ग विभाजन (फ़ाइल/ब्लॉक/ऑब्जेक्ट), पर्याप्त कोडिंग योजना (RAID/ZFS/EC), फास्ट नेटवर्क, कैश/टाई, स्नैपशॉट + प्रतिकृति + बैकअप, हार्ड एसएलओ और स संचालन है। इन सिद्धांतों का पालन करके, आपको सुरक्षा और नियामक विचारों के साथ अनुमानित प्रदर्शन, उच्च लचीलापन और एक पारदर्शी भंडारण अर्थव्यवस्था मिलती है।