Sistemas de armazenamento e NAS

Resumo curto

O armazenamento é uma combinação de mídia (SSD/NVMe/HDD), redes (Ethernet/IB/FC), protocolos (NFS/SMB/iSCSI/S3) e software (ZFF, Ceph, NetApp, TrueNAS etc.) que oferece produtividade, confiabilidade, segurança e economia. A escolha correta depende do perfil I/O (rand/série, bloco/arquivo/objeto), dos requisitos RPO/RTO e SLO de latência/largura de banda.

Taxonomia de armazenamento

DAS - Discos ao lado do servidor. Latidão mínima, sem gargalos de garrafa em rede, mas é mais difícil partilhar recursos.
SAN (Armazenamento Area Network) - Armazenamento de blocos por FC/iSCSI/NVMe-oF. Alta produtividade, LUN compartilhados, gerenciamento centralizado.
NAS - Bolas de arquivo NFS/SMB. É conveniente para diretores gerais, logs, artefactos, voz de mídia.
Armazenamento de objetos - API compatível S3 (Ceph RGW/MinIO/Nuvens). Para bacapes, logs, arquivos, mídia, artefatos de modelo.
Soluções de hiperconexão (HCI): combinam computação e armazenamento (Ceph, vSAN, StarWind, etc) para escala horizontal.

Protocolos de acesso

Arquivos:

NSE v3/v4 - Unix/Posix ambiente, bloqueios de estágio, Kerberos/KRB5i/KRB5p.
SMB 3. x - Windows/domínios AD, criptografia/assinaturas, multichannel, DFS.

Blocos:

iSCSI - Acima do Ethernet, LUN, muitos caminhos (MPIO), conveniente para a virtualização/banco de dados.
FC/NVMe-oF - baixa latência, fábricas especializadas/mapas.

Objeto:

API S3 - versões de objetos, lifecyple, WORM/Compliance modo, multiplart upload.

Seleção:

BD/virtuais → bloco (iSCSI/NVMe-oF).
Os artefatos compartilhados/CI → NFS/SMB.
Logs/bacapes/mídia/modelos → objeto compatível S3.

Dados e codificação: FLASH, ZFF, Erasure Coding

RAID

RAID1/10 - baixa latência e alta IOPS/rand-leitura/gravação.
RAID5/6 - economia de capacidade, mas multa de gravação (write penalty).
ZFF - cópia-em-gravação (CoW), poóis e vdev, ARC/L2ARC em dinheiro, ZIL/SLOG para operações sync, sutis/réplica e integridade incorporada (checksuns).
Erasure Coding (EC) em sistemas distribuídos (Ceph/MinIO): código Reed-Salomão 'k + m' - economia em comparação com três vezes a replicação quando a performance por gravação é degradada.

Recomendações:

Cargas aleatórias quentes (metadados, arquivos pequenos) → RAID10/ZFS-Mirror em NVMe.
Frios/arquivos → EC, grandes HDD, cachês agressivos.
Para registros sync (NFS export): SLOG selecionado em NVMe de baixa velocidade (PLP).

Desempenho: IOPS, largura de banda, latência

IOPS são importantes para pequenas operações aleatórias (DB/metadados).
Largura de banda - para arquivos grandes (vídeo, bacapes).
Latitude p95/p99 - crucial para BD, filas, API em dinheiro.
Filas e paralelismo: multitoque no cliente, 'rsize/wsize' para NFS, 'rw, queue _ depth' para iSCSI.
Rede: 25/40/100 GbE (ou IB) + RSS/RPS, jumbo MTU dentro do Centro.

Armazenamento e armazenamento em dinheiro

ARC/L2ARC (ZFF) - RAM e NVMe-dinheiro de leitura; O SLOG é um registro de registros sync.
Write-back/Write-through capas de controladores - cuidado, apenas com bateria/supercondensador (BBU/PLP).
Tiering: NVMe (quente) → SSD (quente) → HDD (frio) → objeto (arquivo). Políticas de migração e lifecyple.

Snapshots, clones, replicação, DR

Snapshots (CoW): pontos instantâneos para reversão/backap; armazenar os diretórios «dentro» do armazenamento, não apenas no hipervisor.
Replicação sincronizada (RPO≈0, acima latency), asíncrona (RPO = N min).
Clones: dev/teste econômico do ambiente.
Circuitos DR: 3-2-1 (três cópias, dois tipos de mídia, um fora do local), exercícios DR regulares; alvos RPO/RTO.

Segurança, Complacência e Multiplicidade

Autenticação/permissão: LDAP/AD, Kerberos/NTLMv2 para SMB, AUTH _ SYS/KRB para NEURONv4.
Isolamento: VLAN/VRF, políticas export, quotas de tenante/cotas.
Criptografia em paz (LUKS/ZFF native/SED) e em voo (NFS-krb5p/SMB encrypition/TLS para S3).
O WORM/Compliance para dados legalmente significativos (S3 Object Lock, SnapLock similares).
Auditoria: logs de acesso imutáveis, integração com SIEM.

Monitoramento e SLO

Métricas:

Por pool/volume: uso, 'p95/p99 latency', IOPS, throughput, queue depth, cachê hit, write amplificação.
Em rede: drops, retransmits, PPS, MTU mismatch.
Mídia errors, wear-level, temperatura, SMART.
Por replicação/fusão: liga/idade, sucesso de tarefas, duração.

SLO (exemplos):

Bola NFS para CI: p95 latency ≤ 3 ms, disponibilidade ≥ 99. 95%.
LUN para BD: p99 write ≤ 1. 5 ms, réplica sincronizada dentro da região; RPO 0, RTO ≤ 5 min.
Objeto: p95 PUT ≤ 50 ms, p95 GET ≤ 30 ms, 11 x 9 durabilidade (via UE/replicação).

Alerts:

Preenchimento do pool> 80/90/95%, queda do cache hit, crescimento do write-amp, degradação do disco, falha na rede, duplicação da liga> limiar.

Cópia de segurança e arquivo

Instantâneos + réplica remota + backup separado em objeto/fita.
Políticas de retenção: diurno/semanal/mensal.
Permanência: S3 Object Lock (Governance/Compliance), air-gap (fita/contas desativadas).
Os testes de recuperação são regulares.

Modelos práticos (mínimos)

Exportar NFS (exemplo)


/pool/projects 10. 0. 0. 0/16(rw,async,no_root_squash,sec=krb5p)

SMB share (fatia smb. conf)


[media]
path = /pool/media read only = no vfs objects = acl_xattr, recycle ea support = yes kernel oplocks = no smb encrypt = required

ZFF: criação de pool e datse

bash zpool create tank mirror nvme0n1 nvme1n1 zfs set atime=off compression=lz4 tank zfs create tank/projects zfs set recordsize=1M tank/projects     # большие файлы zfs set recordsize=16K tank/db        # БД/мелкие I/O

iSCSI (ideias)

Incluir ALUA/MPIO, temporizações corretas e queue depth nos clientes.
Espalhar redes e tráfego de clientes, usar Jumbo MTU dentro de uma fábrica.

Planejamento de capacidade e desempenho

Modelo de working set (volume quente) e growth rate (aumento mensal).
Reserva de IOPS e banda larga de 30 a 50% para picos e rebalance.
Leve em conta write amplificação (RAID/EC/CoW) e metadados.
Para um objeto - custo de solicitação e tráfego de saída, classes de armazenamento (padrão/IA/glacier-similares).

Operações e atualizações

Atualizações rolling controladores/OS/firmware.
Scroubs/Resilver janelas e prioridades.
Balanceamento de rebildos: limite I/O durante a recuperação, para não «matar» a proda.
Runbooks na degradação/perda de nós/redes.

Folha de cheque de implementação

O perfil de acesso selecionado é arquivo/bloco/objeto + RPO/RTO/SLO.
Esquema de codificação (SIM/ZFF/EC) sob carga e preço.
Redes: VLAN/VRF individuais, MTU 9000 dentro da fábrica, MPIO/ALUA.
Caixa/contrato: ARC/L2ARC/SLOG ou mecanismos semelhantes.
Snapshots/réplica/backap: agendamento, imutabilidade, ensinamentos DR..
Monitoramento: pool/mídia/métricas de rede/replicação, alertas.
Acesso/segurança: LCA, Kerberos/AD, criptografia, auditoria.
Quotas/limites para tenentes e diretórios SLA/SLO.
Documentação e runbooks, testes de recuperação.

Erros típicos

Congestionamento do pool> 80% em sistemas ZFF/EC → aumento da latência.
Um controlador/uma rede sem MPIO/reserva.
Misturam kits de trabalho quentes e frios na mesma classe de mídia.
Não há SLOG para cargas sync no NFS → atrasos imprevisíveis.
Os bacapes são apenas «dentro» da mesma matriz/conta → perda de acidente/comprometimento.
Falta de scroub regular e monitoramento SMART.
Ignorar pequenos patterns I/O: grande 'recordsize' para BD.

Especificidades para iGaming/Fintech

BB e carteiras de transação: pool individual NVMe, RAID10/ZFF-Mirror, réplica sincronizada para a zona B, embebida independente.
Logi/eventos crus e fici antifrod: objeto + lifecyple + classes baratas, índices/vitrines - em SSD.
Conteúdo e mídia (provedores): NAS + CDN, dinheiro agressivo, dedução.
Relatórios e PII: WORM/imutability, criptografia, auditoria de acesso, geo-localização de dados.
Eventos de pico: warm-up em dinheiro, limites de E/S, controle de p99 latency em pulos.

Resultado

Um sistema de armazenamento confiável é uma divisão correta em classes (arquivo/bloco/objeto), um padrão de codificação adequado (FLASH/ZFF/EC), rede rápida, dinheiro/tecla, snapshots + réplica + backup, SLO rígido e operações automatizadas. Seguindo estes princípios, você terá uma produtividade previsível, alta sustentabilidade e uma economia de armazenamento transparente, atendendo às exigências de segurança e reguladores.