Фишурдани маълумоти таҳлилӣ

1) Чаро фишурдани маълумоти таҳлилӣ

Фишурдасозӣ нигоҳдорӣ ва трафикро коҳиш медиҳад, суръатро бо IO камтар ва кэши беҳтар скан мекунад. Нарх CPU ва (баъзан) мураккабии навсозиҳо мебошад. Ҳадаф беҳтарин "IO↔CPU↔tochnost↔stoimost" барои SLO-ҳои шумост.

• Таносуби фишурдасозӣ (CR) = 'raw _ size/ compressed_size'.
• Арзиши скан ≈ bytes_scanned/ throughput_storage + cpu_decode_time'.
• Арзиши умумӣ = 'анбор _ арзиш + compute_cost + egress_cost'.

2) Қабатҳое, ки дар он ҷо фишурда зиндагӣ мекунад

1. Дар сатҳи формат: Parquet/ORC/Avro (саҳифаҳо/рахҳо/сутунҳо).
2. Дар сатҳи рамзгузории сутун: Луғат, RLE, Delta, FOR/Bit-packing, Gorilla/XOR.
3. Дар сатҳи кодек: ZSTD, Snappy, LZ4, Gzip.
4. Дар сатҳи дархост/муҳаррик: векторизатсия, гузариши саҳифа (min/max), балоғат/минтақа-харита.
5. Дар сатҳи нигаҳдорӣ: нигаҳдории сатҳӣ (гарм/гарм/хунук), фишурдасозӣ, кэши саҳифа.

3) Форматҳои сутун ва бартариҳои онҳо

Паркет: саҳифаҳои сутун; дастгирии луғат, RLE/Bit-packing, омори min/max ва null-ҳисоб.
ORC: тасмаҳо бо индексатсияҳо дар ҷараёнҳо, филтрҳои балоғат; самаранок барои сканҳои дароз.
Avro (сатр): барои ҷараён/гузоришҳо қулай аст, барои сканҳои таҳлилӣ бадтар.

Амал: Барои таҳлили пешфарз, Parquet/ORC-ро истифода баред, статистикаи сутун ва луғатро дар бар гиред, ки кардинализм паст/миёна аст.

4) Рамзгузории сутун (бефоида)

Луғат-Иваз кардани арзишҳо бо индексатсияҳо (беҳтарин барои кардиналии паст).
RLE (Run-Long Encoding) - такрори → арзишҳо (арзиш, иҷро). Хуб барои сутунҳои мураттаб/кластерӣ.
Delta/Delta-of-Delta: фарқиятҳо (рақамҳо/вақтҳо).
FOR (Frame-of-Reference) + Бастабандии бит: арзиш = база + ҷуброн; офсет бо N битҳо пур карда мешавад.
Gorilla/XOR (Time-series): XOR арзишҳои ҳамсояро бо дарозии тағйирёбанда нигоҳ медорад; хуб барои ченакҳо.
Bitmasks nullable: ҷараёни алоҳидаи nulls CR-ро зиёд мекунад.

Маслиҳат: Гурӯҳбандии пеш аз кластерӣ/филтркунӣ RLE/zone-харитаҳо ва CR-ро ба таври назаррас беҳтар мекунад.

5) Кодексҳои таъиноти умумӣ

ZSTD: беҳтарин CR бо нархи мӯътадили CPU; сатҳҳои 1-22-ро дастгирӣ мекунад. Интихоби универсалӣ.
Snappy: CR зуд, паст; барои маълумоти гарм бо басомади баланди хониш мувофиқ аст.
LZ4: Ҳатто тезтар, CR монанд; аксар вақт - барои ҷараён/гузоришҳо/кэш.
Gzip/Deflate: CR баланд, нархи баланди CPU; дар таҳлили интерактивӣ кам асоснок карда мешавад.

Қоида: қабати гарм - Snappy/LZ4, гарм/хунук - ZSTD (сатҳи 3-7).

6) Силсилаи вақт ва гузоришҳо

Пойгоҳи додаҳои TSDB/сутун: Gorilla/XOR, Delta-RLE-Bitmap, Sparse-run барои сигналҳои нодир.
Гузоришҳо: JSON → Parquet + ZSTD; калидҳо ва намудҳоро муқаррар кунед ("сатр int" -ро нигоҳ надоред).
Downsampling ва rolls (lossy): анборҳо аз ҷониби тирезаҳо (1m/5m/1h) дар қабати гарм; хом - дар сармо.
Сохторҳои эскиз: HLL (кардиналӣ), TD 'iest/KLL (миқдор), CMS (басомадҳо) - зич, вале тахминӣ.

7) Lossless vs Lossy (вақте ки шумо дақиқро гум карда метавонед)

Lossless - ҳисоботдиҳӣ, молия, аудит.
Lossy - мониторинг, таҳлили A/B дар тирезаҳои калон, телеметрия (бо аломати возеҳ!).
Назорати сифат: таҳаммулпазириро муқаррар кунед (масалан, P99 ± 0. 5 саҳ.) Ва онро дар CI санҷед.

8) Тақсимот, саҳифаҳо ва фишурдасозӣ

Тарафҳо: аз рӯи сана/минтақа/иҷорагир → сканҳои камтар, CR беҳтар.
Андоза/рахи саҳифа: 64-256 КБ дар як саҳифа, 64-512 МБ барои як файл - тавозун байни ҷустуҷӯ ва CPU.
Фишурдасозӣ: якҷоя кардани мушкилоти файлҳои хурд - болотар аз CR ва суръат.
Харитаҳои минтақа/Блум: суръати гузариши саҳифа; дар ҷобаҷогузории филтрҳо самаранок аст.

9) Фишурдасозӣ ва рамзгузорӣ/махфият

Тартиби амалиёт: аввал фишурдан, баъд рамзгузорӣ. Дар акси ҳол, CR ≈ 1.
TDE/at-rest ба CR халал намерасонад (блоки аллакай фишурдашуда рамзгузорӣ шудааст).
Дар транзит (TLS) ба формат таъсир намерасонад.
Маскани PII/токенизатсия пеш аз фишурдасозӣ энтропияро идора мекунад.
Огоҳӣ бо рамзгузории OPE/DET: метавонад CR ва/ё махфияти хатарро бад кунад.

10) Арзиш ва SLO (иқтисод)

Нигаҳдорӣ: камтар байт → камтар аз $/TB-mo.
Ҳисоб: камтар IO → сканҳои тезтар; аммо decompression CPU-ро хароб мекунад.
Egress: байтҳои камтар → вақти трафик/нусхабардорӣ камтар.
Созишномаи SLO: ба кодек/сатҳ мувофиқат кунед, то 'p95 _ latency' дар равзанаи ҳадаф боқӣ монад.

yaml hot:
format: parquet codec: snappy target_p95_ms: 1000 max_scan_mb: 2048 warm:
format: parquet codec: zstd:4 target_p95_ms: 2500 compaction: daily cold:
format: parquet codec: zstd:7 glacier: true retention: 365d

11) Амалияҳо барои муҳаррикҳо (Click

Click 'House: CODEC' ва баландгӯякҳо (LZ4/ZSTD/DoubLE Delta), Фармоиш барои RLE/скан, TTL/фишурдасозӣ.
Барфпӯши барфӣ/Big Query: формат/автоматизатсияи кластерӣ; кластери кӯмак аз рӯи (сана, иҷорагир, калидҳои филтр).
Редшифт/Престо/Трино: Parquet/ORC бо ZSTD, танзимкунӣ. иҷро. компресс. натиҷа ', омор ва тақсимоти файлҳо.

12) Қубурҳо: фишурдасозиро дар куҷо бояд дохил кард

Inest: маҷмӯаҳои фишурдашуда (ZSTD/LZ4) ҳангоми навиштан ба кӯл.
Трансформ/DBT: сохтани ҳадафҳои сутун бо кодек ва навъбандии дилхоҳ.
Хидмат/OLAP: назари моддӣ бо кодекси мувофиқ; пеш аз агрегатҳо барои панелҳои гарм.
Содирот: для CSV/JSON - gzip/zstd; беҳтараш ба Parquet диҳед.

13) Санҷиш ва санҷиш

Профили AB: маҷмӯи дархостҳо → муқоиса кунед p50/p95, байтҳо скан карда шудаанд, вақти CPU, CR.
Маҷмӯаҳои тиллоӣ: санҷиши дурустӣ пас аз сабт/фишурдасозӣ.
Санҷишҳои perf минтақа: огоҳиҳо, агар p95 *> X% пас аз тағир додани codec/сатҳ.
Қоидаҳои DQ: намудҳо/диапазонҳо/NULL-сатҳи ҳангоми боркунӣ набояд тағир ёбад.

14) Сиёсати нигоҳдорӣ ва TTL

Дараҷа: гарм (7-14 рӯз), гарм (30-90 рӯз), хунук (≥ 180 рӯз).
Downsampling: Вақте ки шумо "сард мешавед", воҳидҳо/эскизҳоро ба ҷои хом нигоҳ доред.
Нигоҳдорӣ/Нигоҳдории ҳуқуқӣ: ихтилофотро бо муқаррарот бартараф накунед; феҳристҳо ва версияҳоро нигоҳ доред.

15) Антипаттернҳо

"Дар ҳама ҷо Gzip сатҳи 9 ": CPU гаронбаҳо, ҳеҷ фоидае нест.
Гурӯҳбандӣ/кластерӣ нест: бад RLE/zone-харитаҳо → сканҳои гарон.
JSON ҳамчун формати нигаҳдорӣ: қулай барои ворид кардан, барои таҳлил бад.
Файлҳои хеле хурд: метамаълумот/ҷустуҷӯ; CR меафтад.
Рамзгузории пеш аз фишурдасозӣ: Наздик ба сифр CR.
Lossy аломатгузорӣ: вайрон кардани эътимод ва ҳисоботдиҳӣ.

16) Харитаи роҳсозӣ

1. Кашф: профилҳои дархост/маълумот, SLO ва буҷа.
2. MVP: Parquet + ZSTD/Snappy, навъбандии асосӣ/кластерӣ, фишурдасозӣ.
3. Танзими: Сатҳи ZSTD, андозаи саҳифа, кластер аз рӯи, балоғат/харитаҳои минтақа.
4. Гарм/хунук: нигаҳдории сатҳӣ, нақшакашӣ/эскизҳо, сиёсати egress.
5. Сахткунӣ: санҷишҳои регрессияи perf, DQ, transcoding runbook.

17) Рӯйхати назоратии пеш аз озодкунӣ

• Формат: Parquet/ORC; омор/луғатҳо дохил карда шудаанд.
• Гурӯҳбандӣ тавассути филтр кардани калидҳо; тарафҳо аз рӯи сана/иҷорагир.
• Кодексҳо: гарм = Snappy/LZ4, гарм/хунук = ZSTD (3-7); p95 муқаррарӣ аст.
• Фишурдасозӣ муқаррар карда шудааст; файлҳои хурд нестанд; андозаи файл/саҳифа.
• DQ ва маҷмӯаҳои тиллоӣ сабз мебошанд; намудҳо/диапазонҳо захира карда шуданд.
• Рамзгузорӣ пас аз фишурдасозӣ; PII ниқоб; нигоҳдорӣ/риояи қонунӣ.
• Регрессияи перф назорат карда мешавад; огоҳиҳо бо p95/байтҳои сканшуда/CR.
• Сиёсати нигаҳдорӣ ва ҳуҷҷатгузории дастурҳои рамзгузорӣ омода аст.

18) Қолабҳои хурд

sql create table if not exists analytics.sales_daily cluster by (event_date, tenant_id)
as select from {{ ref('sales_daily_view') }};
-- в конфиге модели: materialized=table, file_format=parquet, compression=zstd

yaml compaction:
target_file_mb: 256 small_file_threshold_mb: 32 schedule: "hourly"

yaml timeseries:
raw:  keep: 14d rollup_1m: keep: 90d rollup_1h: keep: 365d rollup_1d: keep: 1825d

Сатри поён: фишурдани маълумоти таҳлилӣ на танҳо "фурӯзон кардани кодек", балки стратегияи мукаммал: формати дуруст, рамзгузории сутун, навъбандӣ ва тақсимот, сатҳи фишурдасозӣ ва нигоҳдорӣ, эҳтиром ба рамзгузорӣ ва SLO. Тарҳи интеллектуалӣ сканҳои тезтар, ҳисобҳои камтар ва иҷрои пешгӯишавандаро бидуни вайрон кардани эътимод ба маълумот таъмин мекунад.