אחסון ו ־ NAS

תקציר

אחסון הוא שילוב של מדיה (SSD/NVMe/HDD), רשתות (Ethernet/IB/FC), פרוטוקולים (NFS/SMB/iSCSI/S3) ותוכנה (ZFS, Ceph, NetApp, TrueNAS וכו ') המספקים ביצועים, אמינות, ביטחון וכלכלה. הבחירה הנכונה תלויה בפרופיל I/O (אקראי/רציף, בלוק/קובץ/אובייקט), RPO/RTO ו ־ SLO latency/breadput.

טקסונומיה אחסון

DAS (אחסון מחובר ישיר) - דיסקים "ליד השרת. "איחור מינימלי, אין צווארי בקבוק רשת, אבל קשה יותר לחלוק משאבים.
אחסון בלוקים דרך FC/iSSSI/NVME-oF. ביצועים גבוהים, תעודות זהות משותפות, ניהול מרכזי.
NAS (אחסון מצורף ברשת) - כדורי קובץ מעל NFS/SMB. נוח לספריות משותפות, יומנים, חפצים, תוכן מדיה.
אחסון אובייקטים - S3-compatible API (Ceph RGW/MINLO/Clouds). לגיבויים, יומנים, ארכיונים, מדיה, חפצי מודל.
פתרונות מוגברים (HCI) - קומביין חישוב ואחסון (Ceph, VSAN, StarWind וכו ') עבור קנה מידה אופקי.

פרוטוקולי גישה

קובץ:

NFSv3/v4 סביבת יוניקס/פוזיקס, מנעולים מדינתיים, Kerberos/KRB5i/KRB5p.
SMB 3. תחומים X - חלונות/AD, הצפנה/חתימות, רב ערוצים, DFS.

חסימה:

ISSI - מעל Ethernet, LUN, מסלולים רבים (MPIO), נוח לוירטואליזציה/מסד נתונים.
FC/NVME-oF - Latency Latency, מפעלים מיוחדים/מפות.

אובייקט:

S3 API - גרסאות אובייקטים, אופן חיים, מצב תולעת/ציות, העלאה מרובת חלקים.

בחירה:

DB/virtual machine # block (ISCSI/NVME-oF).
תיקיות משותפות/חפצי CI * NFS/SMB.
רישומים/גיבויים/מדיה/מודלים # S3-compatible אובייקט.

נתונים וקידוד: פשיטה, ZFS, קידוד מחיקה

RAID

RAID1/10 - איחור נמוך ו IOPS גבוה/אקראי לקרוא/לכתוב.
חסכונות RAID5/6, אבל עונש כתיבה.
ZFS - העתק לכתיבה (CoW), בריכות ו-vdev, מטמון ARC/L2ARC, ZIL/SLOG לפעולות סנכרון, תמונות/העתק ושלמות מובנית (checksums).
Erasure Coding (EC) במערכות מבוזרות (Ceph/MINIO): קוד ריד-שלמה (Reed-Solomon code 'k + m' - חסכון מעל 3X שכפול עם ביצועי כתיבה מקובלים.

המלצות:

עומסים אקראיים חמים (metadata, קבצים קטנים) = מראות RAID10/ZFS על NVMe.
EC Cold/Archive #, HDD גדול, מטמונים אגרסיביים.
עבור רישומי סינכרון (יצוא NFS) - SLOG ייעודי על NVME אמינה בעלת פטנט נמוך.

ביצועים: IOPS, תפוקה, איחור

iOPS חשוב לפעולות אקראיות קטנות (DB/metadata).
רוחב פס - עבור קבצים גדולים (וידאו, גיבויים).
Latency p95/p99 - קריטי עבור מסדי נתונים, תורים, מטמון API.
תורים וקונצרניות: ריבוי תהליכים על הלקוח, 'rsize/wsize' עבור NFS, 'rw, תור _ עומק' עבור iSCSI.
רשת: 25/40/100 GbE (או IB) + RSS/RPS, ג 'מבו MTU בתוך מרכז הנתונים.

Caching ומתקתק

ARC/L2ARC (ZFS) - RAM ו NVME לקרוא מטמון; היסטוריה של רישומי סינכרון.
רשום-חזרה/כתוב-דרך מטמונים - זהיר, סוללה/קבל-על בלבד (BBU/PLP).
Tiering: NVMe (hot) # SSD (חם) # HDD (קר) # object (ארכיון). מדיניות הגירה ואופני חיים.

תמונות, שיבוטים, שכפול, DR

Snapshots (CoW): נקודות מיידיות עבור rollback/גיבוי; ספריות אחסון ”בתוך” האחסון, לא רק בהיפרוויסור.
שכפול: synchronous (RPO = 0, מעל latency), asynchronous (RPO = N min).
שיבוטים: סביבת dev/מבחן חסכונית.
מזימות ד ”ר: 3-2-1 (שלושה עותקים, שני סוגים של נשאים, אחד מחוץ לאתר), תרגילי ד” ר רגילים; מטרות RPO/RTO.

בטיחות, ציות וריבוי דירות

אימות/אישור: LDAP/AD, Kerberos/NTLMv2 עבור SMB, AUTH_SYS/KRB עבור NFSv4.
בידוד: VLAN/VRF, יצוא-מדיניות, מכסות דייר/מכסות.
הצפנה: במנוחה (LUKS/ZFS ילידי/SED) ובמעוף (NFS-krb5p/SMB הצפנה/TLS עבור S3).
S3 Object Lock, SNaplock Analogues).
ביקורת: יומני גישה בלתי ניתנים לשינוי, אינטגרציה עם SIEM.

ניטור ו SLO

מדדים:

על ידי בריכות/כרכים: שימוש, ”p95/p99 latency”, IOPS, תפוקה, עומק תור, להיט מטמון, הגברה בכתב.
מעל הרשת: טיפות, תרגומים מחדש, PPS, אי התאמה של MTU.
על ידי מדיה: טעויות מדיה, רמת שחיקה, טמפרטורה, סמארט.
על ידי שכפול/תמונות: lag/age, הצלחה במשימה, משך זמן.

SLO (דוגמאות):

כדור NFS עבור CI: p95 latency 3 ms, זמינות 99. 95%.
מסד נתונים LUN: p99 כתוב את מספר 1. 5 ms, העתק סינכרוני בתוך האזור; RPO 0, RTO 5 דקות.
אובייקט: p95 PUT PULT 50 ms, p95 GET 30 ms, 11 × 9 עמידות (באמצעות האיחוד האירופי/שכפול).

התראות:

מילוי ביליארד> 80/90/95%, ירידה במטמון, גידול במגבר כתיבה, התפרקות דיסק, ירידת רשת, רישום שכפול> סף.

גיבוי וארכיון

העתק מרוחק + גיבוי נפרד לאובייקט/סרט.
מדיניות שימור: יום/שבוע/חודש.
Immutability: S3 Object Lock (ממשל/ציות), Air-Gap (חשבונות הזנה/נכים).
בדיקות התאוששות - באופן קבוע.

תבניות מעשיות (מינימלי)

יצוא NFS (דוגמה)


/pool/projects 10. 0. 0. 0/16(rw,async,no_root_squash,sec=krb5p)

SMB share (שבר smb. conf)


[media]
path = /pool/media read only = no vfs objects = acl_xattr, recycle ea support = yes kernel oplocks = no smb encrypt = required

יצירת בריכה ונתונים

bash zpool create tank mirror nvme0n1 nvme1n1 zfs set atime=off compression=lz4 tank zfs create tank/projects zfs set recordsize=1M tank/projects     # большие файлы zfs set recordsize=16K tank/db        # БД/мелкие I/O

ISCSI (רעיונות)

אפשר ALUA/MPIO, פסקי זמן נכונים, ועומק תור על לקוחות.
להפיץ רשתות ISCSI ותנועת לקוחות, להשתמש MTU ג 'מבו בתוך המפעל מאה יארד.

קיבולת ותכנון ביצועים

עבודה סט וקצב צמיחה.
מרווח עבור IOPS ותפוקה של 30-50% עבור פסגות ואיזון מחדש.
שקול הגברה בכתב (RAID/EC/CoW) ו ־ metadata.
עבור האובייקט - עלות הבקשות והתנועה היוצאת, כיתות אחסון (סטנדרטי/IA/דמוי קרחון).

מבצעים ועדכונים

מגלגל עדכונים של בקרים/מערכת ההפעלה/קושחה.
חלונות עמידים וסדרי עדיפויות.
Rebild איזון: מגביל I/O על התאוששות כדי לא ”להרוג” את הדרבן.
רנטגן על השפלה/אובדן של צמתים/רשתות.

רשימת יישומים

[ ] קובץ/בלוק/אובייקט + RPO/RTO/SLO נבחר.

[ ] טעינה וקידוד מחירים (RAID/ZFS/EC).

[ ] Networks: VALIR/VRFs, MTU 9000, MPIO/ALUA.

[ ] מטמון/מתקתק: ARC/L2ARC/SLOG או מנגנונים דומים.

[ ] צילומים/העתק/גיבוי: לוחות זמנים, חוסר יכולת, תרגילי DR.

[ ] ניטור: בריכות/מדיה/רשת/מדדי שכפול, התראות.

גישה/אבטחה: ACL, Kerberos/AD, הצפנה, ביקורת.

[ ] מכסות/מגבלות לדיירים וספריות SLA/SLO.

[ ] תיעוד וספרים, התאוששות בדיקה.

שגיאות נפוצות

בריכה עולה על גדותיה> 80% במערכות ZFS/EC = עלייה חדה באיחור.
בקר אחד/רשת אחת ללא MPIO/הגנה.
סטים חמים וקרים מעורבים בכיתה אחת של נושאות מטוסים.
אין SLOG עבור NFS Latency Latency Latency.
גיבויים רק ”בתוך” אותו מערך/חשבון = הפסד במקרה של תאונה/פשרה.
מחסור בניתוח סדיר וניטור סמארט.
התעלמות מדפוסי עירוי קטנים: גדול חוזר על עצמו עבור DB.

iGaming/fintech ספציפי

מאגרי מידע וארנקים: בריכות NVMe בודדות, מראות RAID10/ZFS, העתק סינכרוני לאזור B, אטום באופן עצמאי.
יומנים/אירועים גולמיים ותכונות נגד הונאה: אובייקט + מחזור חיים + כיתות זולות, אינדקסים/תצוגה - על SSD.
תוכן ומדיה (ספקים): NAS + CDN, מטמון אגרסיבי, שכפול.
דיווח ו-PII: תולעת/אי-תזוזה, הצפנה, ביקורת גישה, גיאו-לוקליזציה של נתונים.
אירועי שיא: מטמונים לחימום, מגבלות איי/או, בקרת איחוי p99 על בריכות.

סך הכל

אחסון אמין הוא חלוקת מחלקה נכונה (קובץ/בלוק/אובייקט), סכימת קידוד הולמת (RAID/ZFS/EC), רשת מהירה, מטמון/קשירה, תמונות + העתק + גיבוי, SLOS קשיח ופעולות אוטומטיות. על ידי עמידה בעקרונות אלה, אתה מקבל ביצועים צפויים, עמידות גבוהה, וכלכלת אחסון שקופה - עם שיקולים ביטחוניים ורגולטוריים.