Hot/Warm/Cold ammarlary

1) Näme üçin maglumatlary Hot/Warm/Cold-a bölmeli?

• Çykdajylary optimizirlemek: çalt we gymmat gatlak diňe "gyzgyn" iş toplumy üçin.
• SLO: p95/throughput onlaýn, taryh üçin has uzyn möhletler.
• Masştaby ýönekeýleşdirmek: "front" -y gyzdyrmazdan arzan gatlaklary gorizontal köpeltmek.
• Töwekgelçilikleri azaltmak: dürli ret/köpeltmek domenleri, garaşsyz gorag syýasaty.

• Hot - iň täze, ýygy-ýygydan okamak/ýazmak, iň az gizlinlik.
• Warm - az üýtgeýär, köp okalýar.
• Cold - arhiw, arzan saklamak, ýokary TTFB, haýal dikeldiş.

2) Derejeler boýunça profiller we SLO

Hot

Giriş: millisekundlar (KV/indekslerde p95 ≤ 5-20 ms; çylşyrymly haýyşlarda 100-300 ms ≤).
Amallar: ýygy-ýygydan upsert/append, indeksasiýa, OLTP/akym-ingest.
Göterijiler: NVMe/SSD, ýat, çalt tor.
Replikasiýa: RPO ≈ 0, RTO minut üçin ýokary (mysal üçin RF = 3).

Warm

Giriş: onlarça-ýüzlerçe millisekund/sekunt.
Amallar: "penjire", batçi, täze taryh boýunça OLAP okamak (7-90 gün).
Daşaýjy: SATA SSD/çalt HDD/obýekt ammary.
Replikasiýa: ortaça (RF = 2), gysyş goşuldy.

Cold

Giriş: sekunt-sagat; "retrieve-and-scan".
Amallar: seýrek okalmalar, düzgünleşdirijä laýyklyk (retenşn ýyllary).
Daşaýjy: obýekt/arhiw (S3 Glacier/Deep Archive, Azure Archive, GCS Coldline).
Köpeltme: sebitara/sebitara, WORM/Legal Hold.

3) Gatlaklar boýunça nusgawy tehnologiýalar

Hot: PostgreSQL (OLTP, partitions), MySQL/InnoDB, Redis/Memcached (кэш), Elasticsearch/Opensearch hot-nodes, ClickHouse горячие партиции, Kafka local log.
Warm: ClickHouse sütün saklaýyş, BigQuery/Snowflake soňky partiýa, Elasticsearch warm-nodes, S3 + Presto/Trino nagt pul, Tiered storage (Kafka/Pulsar).
Cold: S3/Glacier, GCS Nearline/Coldline/Archive, Azure Cool/Archive, HDFS arhiwleri, uzak möhletli bellikler.

4) Durmuş sikli syýasaty (ILM) we awtomatlaşdyryş

4. 1 Düşünjeler

Wagt boýunça partiýa ýerleşdirmek (gün/hepde/aý) - gatlaklaryň arasynda terjime etmegiň esasy güýji.
ILM-düzgünleri: rollover (göwrümi/ýaşy boýunça), shrink/merge, freeze, delete.
Duplikasiýa we gysyş: warm/cold-da açyň, hot-da CPU-dar ýerlerden gaça duruň.

4. 2 mysallar

Elasticsearch ILM (hot→warm→cold→delete)

json
{
"policy": {
"phases": {
"hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "7d", "actions": { "allocate": { "require": { "box_type": "warm" } }, "forcemerge": { "max_num_segments": 1 } } },
"cold": { "min_age": "30d", "actions": { "allocate": { "require": { "box_type": "cold" } }, "freeze": {} } },
"delete":{ "min_age": "365d", "actions": { "delete": {} } }
}
}
}

S3 Lifecycle (Standard→Infrequent→Glacier→Expire)

json
{
"Rules": [{
"ID": "logs-lifecycle",
"Filter": { "Prefix": "logs/" },
"Status": "Enabled",
"Transitions": [
{ "Days": 7, "StorageClass": "STANDARD_IA" },
{ "Days": 30, "StorageClass": "GLACIER" }
],
"Expiration": { "Days": 365 }
}]
}

Kafka Tiered Storage (eskiz)

properties log. segment. bytes=1073741824 log. retention. ms=259200000 tiered. storage. enable=true remote. log. storage. system=s3 remote. log. storage. bucket=topic-archive

PostgreSQL partiýa senesi

sql
CREATE TABLE events (
id bigserial, at timestamptz NOT NULL, payload jsonb
) PARTITION BY RANGE (at);

CREATE TABLE events_2025_10 PARTITION OF events
FOR VALUES FROM ('2025-10-01') TO ('2025-11-01')
TABLESPACE ts_hot; -- further ALTER TABLE... SET TABLESPACE ts_warm по ILM

5) Gymmaty we öndürijiligi modellemek

5. 1 Ýönekeý TCO modeli

'TCO = CapEx/OpEx göterijiler + tor (egress) + CPU gysyş/skaner + dolandyryş + DR/replikasiýa'.

5. 2 Gizlinlik we baha balansy

5-20% maglumat ≈ gyzgyn toplumy soraglaryň 80-95% -ini berýär.
Maksat iş toplumyny Hot/kesşde (CPU/RAM/NVMe) saklamak, galanlaryny Warm/Cold-a geçirmek.

5. 3 Metrikler

hit_ratio_hot, pct_hot_of_total_bytes, cost_per_TB_month{tier}, scan_cost_per_TB, time_to_first_byte{tier}, promotion_rate (cold→warm), demotion_rate (hot→warm/cold).

6) Partiýalaşdyrmak, indeksirlemek we kesmek

"Täze" bölekler üçin wagt partiýasy + sekondary-indeksler.
Haýyşlaryň altyn düzgüni: süzgüç wagt boýunça ilki, soňra saýlama açarlar.
Iýerarhiki keş: in-proc → Redis → edge; gyzgyn açarlar/agregatlar üçin pin-keşler.
Bloom süzgüçleri/skip indeksleri (ClickHouse, Parquet) warm/cold okalyşlaryny azaltmak üçin.

7) Replikasiýa, şowsuzlyga çydamlylyk we DR

Hot: sinhron köpeltmek (multizon), RPO ≈ 0, çalt feýlower.
Warm: asinhron zonalarara/sebitara göçürme; RPO minutlar.
Cold: WORM (Write Once Read Many), Legal Hold bilen sebitara.
DR-meýilnamalar: "sowuk" arhiwleri dikeltmek üçin run-kitaplar (sagatlar), döwürleýin fire-drills.

8) Howpsuzlyk we laýyklyk

PII/PCI: rahat şifrlemek (KMS), her basgançakda esasy syýasatlar, aşak geçirilende gizlenmek.
Retenşn we aýyrmak: awtomatiki möhletler cold, subut edilip bilinjek silme (erase reports).
Ýurisdiksiýalar: sebitde saklamak (EU-only, RU-only, BY-region we ş.m.), bucketleriň geo-izolýasiýasy.

9) Ulanyş nusgalary

9. 1 Loglar we telemetriýa

Hot: NVMe-de Elasticsearch/ClickHouse-da soňky 24-72 sagat.
Warm: S3-de SSD/HDD + Parquet üçin 30-180 gün.
Cold:> 180 gün Glacier; "Talap boýunça" Trino/Presto arkaly haýyşlar.

9. 2 Geleşikler/sargytlar

Hot: OLTP DB (PostgreSQL/MySQL).
Warm: BI üçin denormallaşdyrylan snapshotlar.
Cold: hukuk arhiwi, obýekt ammaryna eksport.

9. 3 ML-fichestore

Hot: Redis/low-latency DB.
Warm: sütünli/obýekt.
Cold: versioned (Delta/Iceberg/Hudi).

10) Klaster we Kubernetes bilen özara gatnaşyklar

StorageClass tier boýunça belläň: 'gold-nvme' (hot), 'silver-ssd' (warm), 'bronze-object' (cold).
Howuz düwünlerini (taints/labels) hot/warm/cold workload üçin meýilleşdiriň.
Obýektiň ammaryna soralmazdan ozal, sidecar-keş (mysal üçin, local SSD keş).

PVC mysaly

yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: { name: db-hot }
spec:
storageClassName: gold-nvme accessModes: [ ReadWriteOnce ]
resources: { requests: { storage: 500Gi } }

11) Gözegçilik etmek

Daşbordlar: baytlary/soraglary tier, latency per tier, offload warm/cold, bahasy/aý boýunça paýlamak.
Alertler: hit-ratio gyzgynyň peselmegi, promotion-rate-iň ösüşi (gyzgyn göwrümi ýeterlikmi), TTFB-iň warm-a köpelmegi, haýal dikeldiş cold (SLO breach).

12) Anti-patternler

"Hemme zat gyzýar": artykmaç çykdajy, IO-nyň aşa gyzmagy.
"Indekssiz çuňňur sowuk": saklamak arzan, okamak gymmat; çalt kesmegiň ýollary ýok.
"ILM ýok": el bilen göçürmeler, adam ýalňyşlyklary.
Ähli derejeler üçin "Bitewi replikasiýa syýasaty": artykmaç töleg we deň bolmadyk RPO.
Hasaplamalaryň bir howuzynda "prod/arhiw soraglaryny garyşdyrmak": özara täsir.
Cold-bulutlardan "hasaba alynmadyk egress": hasapdaky garaşylmadyk zatlar.

13) Girizmegiň çek-sanawy

• Maglumat toplumlaryny klassifikasiýa ediň: SLA, giriş ýygylygy, saklamak talaplary.
• Gatlak üçin göterijileri we hereketlendirijileri saýlaň (NVMe/SSD/HDD/Object/Archive).
• Bölekleri (wagt/açar), indeksleri we formatlary (Parquet/ORC/Delta) düzüň.
• ILM düzgünlerini kesgitläň (rollover/transition/expire) we awtomatlaşdyryň.
• Gysmagy/kodlamagy açyň (ZSTD/LZ4; cold - has güýçli).
• /RPO/RTO we DR proseduralaryny kesgitläň.
• Gyzgyn agregatlar üçin keş iýerarhiýasyny we pini sazlaň.
• Bahanyň/gizlinligiň metrikleri we tier boýunça alertler.
• Howpsuzlyk syýasaty (KMS, kanuny retenşn, geo-izolýasiýa).
• Terjime çäklerini yzygiderli gözden geçiriň.

14) FAQ

Q: Hot we warm arasyndaky çäkleri nädip kesgitlemeli?
A: Soraglaryň hakyky paýlanyşy boýunça: "gyzgyn iş toplumy" = soraglaryň 80-95% -ini üpjün edýän açarlaryň/partiýalaryň ýokarky 5-20% -i. Warm üçin dalaşgär.

Q: Göni cold-dan okamak mümkinmi?
A: Hawa, ýöne SLA-ny minutlara/sagatlara we egress bahasyna meýilleşdiriň; analiz etmezden ozal bölegi warm (staging) -e gaýtarmak has peýdalydyr.

S: Analitik üçin 30-180 gün näme saýlamaly?
A: Obýektde sütün formatlary (Parquet/ORC) + nagt pul bilen haýyş hereketlendirijisi (Trino/Presto/ClickHouse); IO tygşytlamak üçin indeksler/skip-data.

Q: cold-dan gaýtadan saýlanylanda "ýylylyk tupanlaryndan" nädip gaça durmaly?
A: prefetch/prepare-jobs, çäkli soraglary ulanyň, wagtyňyzy bölüň, warm-da request-coalescing we pin-kesleri ulanyň.

15) Netijeler

"Hot/Warm/Cold" arhitekturasy, çykdajylaryň giriş profiline we durmuş siklini awtomatiki dolandyrmaga laýyk gelmegidir. Gatlaklar boýunça aýdyň SLO, partizasiýa we ILM, akylly köpeltmek we kesh iýerarhiýasy "gyzgyny" çalt, "ýyly" - elýeterli we "sowuk" - arzan we howpsuz saklamaga mümkinçilik berýär.