Содироти бисёрҷониба ва боркуниҳои калон

1) Вақте ки содироти "калон" лозим аст ва чизи муҳим

• Мувофиқати маълумот (лаҳза/нуқта дар вақташ).
• Гузариш дар ҳаҷм (параллел навиштан/хондан, сериализатсияи ҷараён).
• Таҳвили барқароршаванда ва қисман.
• Беайбӣ (checksum) ва санҷиш (ошкор).
• Амният/PII (ниқоб, рамзгузорӣ, назорати дастрасӣ).
• Идоракунии хароҷот (фишурдасозӣ, танаффус, CDN, TTL).

2) Форматҳои маълумот: тарафдор/муқобил

CSV - паймон, тез навиштан/хондан; муқобил: муҳофизат, намудҳои гумшуда. Хуб барои гузоришҳои ҷадвалӣ.
Хатҳои JSON (JSONL) - аз рӯи хат барои як объект, барои ҷараён ва қисман интихоб кардан қулай аст; муқобил: ҳаҷм.
Паркет/Авро - форматҳои сутун/ноҳиявӣ, фишурдасозӣ ва пешгӯии pushdown; беҳтарин барои таҳлил ва маълумоти калон.
Омехта: JSONL барои API зеркашӣ → табдили офлайнӣ ба Parquet.

Фишурдасозӣ: 'gzip '/' zstd' (беҳтар). Барои ҳаҷмҳои хеле калон - бойгонии тақсимшуда (~ дар як қисм 128-512 МБ).

3) Мутобиқат: Чӣ гуна "акс" -ро гирифтан мумкин аст

DB: Ҷудокунии транзаксионии REPATABLE/SNAPSHOT; барои риштаҳо, ҷойҳои такрории мантиқӣ ё нишонаи обӣ (макс. 'updated _ at '/version).
Сарчашмаи чорабинӣ: содирот бо сабти офсет.
Иловаро: "пурра" содирот + "deltas" (боргузории минбаъдаи тағирот пас аз "нишонаи обӣ").

4) Multipart/chunking

4. 1 Намуди "мултипликатсия"

Боркунӣ (ба мо): multipart/form-data (файлҳои хурд), S3 Multipart Upload (MPU )/GCS Resumable (калон).
Боргирӣ (аз мо): HTTP Range ('bytes = start-end'), 'multipart/byteranges' (якчанд диапазон дар як ҷавоб), "zip of parts", феҳристҳо дар анбори объект.

4. 2 Стратегияҳои тақсимкунӣ

Аз рӯи андоза (масалан, 256 МБ дар як қисм).
Аз рӯи калид/сана (аз ҷониби 'иҷорагир _ ид', 'YYYY/MM/DD').
Аз рӯи ҷадвал/объект (файлҳои инфиродӣ барои як намуд).

Тавозун: Қисмҳои 64-512 МБ мувозӣ хуб зеркашӣ мекунанд ва хотираи аз ҳад зиёд гарм намекунанд.

5) Содироти меъмории API (модели асинхронӣ)

1. 'POST/содирот' → кор дар навбат (метамаълумот: формат, филтрҳо, рамзгузорӣ, умр).

2. Коргарон лаҳзаҳо месозанд, маълумотро ҷараён медиҳанд ва қисмҳоро барои нигаҳдории объект менависанд.

3. Тавлиди манифест (JSON) бо рӯйхати қисмҳо, андозаҳо, checksum, нусхаи схема.

4. 'GET/exports/{ id}' ҳолати ва пайвандҳо (ҳо) -ро ба қисмҳои URL-и қаблан имзошуда бармегардонад.

5. 'GET/содирот/{ id }/manifest. json '- мошини ҳақиқат барои тафтиш/аз нав бор кардан.

json
{
"export_id": "exp_2025_10_31_001",
"created_at": "2025-10-31T14:23:00Z",
"schema": "orders_v3",
"format": "parquet+zstd",
"parts": [
{"name":"part-00000. parquet. zst","size":268435456,"sha256":"...","url":"...","range":"bytes=0-268435455"},
{"name":"part-00001. parquet. zst","size":241172480,"sha256":"...","url":"..."}
],
"total_bytes": 509607936,
"encryption": {"type":"AES-256-GCM","key_id":"kms/keys/exp"},
"watermark": {"type":"updated_at","value":"2025-10-31T00:00:00Z"}
}

6) Барқароршаванда

HTTP Диапазон: муштарӣ "думи" файлро бор мекунад: 'Диапазон: байтҳо = 241172480-'.
Диапазонҳои сершумор: 'Диапазон: байтҳо = 0-999,2000-2999' → 'Намуди мундариҷа: вокуниши мултипликатсия/байтерангҳо'.
Стратегияи муштарӣ: "коргарон" -и мувозӣ дар қисмҳо, санҷиши 'sha256' -и ҳар яки онҳо, ретрай бо бозгашти экспоненсиалӣ.
CDN: Дастгирии диапазон, буферкунии калони вокуниш маъюбон.

7) Зеркашиҳои калон ба мо (боркунии дубора)

S3 Multipart Upload: мизоҷон қисмҳои зеркашӣ мекунанд (5-5000), сервер 'Complete

GCS Resumable - як ҷаласа, ҷубронпулӣ - муштарӣ метавонад бо 'Content-Range' идома ёбад.
TUS (протокол) як дастгоҳи мустақили барқароршаванда дар болои HTTP мебошад.

Намунаи B2B: мо URL-и қаблан имзошударо барои бор кардани қисмҳо мустақиман ба мағоза ва метамаълумотро ба API-и худ мефиристем.

8) Фишурдасозӣ, рамзгузорӣ, якпорчагӣ

Фишурдасозӣ: 'zstd' афзалтар аст (таносуби беҳтар/суръат). Ҳар як қисмро алоҳида фишурда кунед (навсозӣ/кэш қулайтар аст).

• Дар сим: TLS 1. 2+.
• Дар истироҳат: сервер-паҳлӯи KMS (SSE-KMS) ё муштарӣ (AES-256-GCM) бо печонидани калидҳо.
• Ҳеҷ гоҳ калиди "хом" -ро дар манифест нагузоред.
• Санҷиш: SHA-256 ҳадди ақал дар як қисм + барои тамоми маҷмӯа. Пеш аз ack муштариро санҷед.

9) Интегратсияи периметрӣ: NGINX/CDN

nginx server {
listen 443 ssl http2;
server_name downloads. example. com;

location /exports/ {
proxy_buffering off;
proxy_request_buffering off;
proxy_read_timeout 3600s;
add_header Accept-Ranges bytes;
proxy_pass http://export-backend;
}
}

• 'Ҷойгиркунии мундариҷа: замима; файл = "содирот _ 2025-10-31 _ қисми-00000. паркет. zst"'
• 'ET' ag '/' If-Range 'for боркунии дуруст.
• 'Кэш-Назорат' (масалан, 'хусусӣ, максималӣ = 3600') барои боркунии шахсӣ.

10) Бехатарӣ ва риояи

Аутентификатсия/авторизатсия: додани содирот танҳо ба соҳиб/нақшҳо; пешакӣ бо TTL кӯтоҳ имзо шудааст.
PII: ниқоб/бегона; дар манифест - танҳо соҳаҳои техникӣ.
GDPR/танзимгарони маҳаллӣ: нест кардани содирот аз ҷониби TTL, аудити зеркашӣ, манъи барориши байниминтақавӣ бе сабаб.
Маҳдудияти меъёрҳо ва квотаҳо: шумораи содироти ҳамзамон ва ҳаҷми умумии як рӯз/моҳро (ба ҳар як иҷорагир) маҳдуд кунед.
Анти-скрепинг: филтрҳои CAP/бот барои додани пайвандҳо, диапазонҳои маҳдуд (қисмҳои максималии параллелӣ).

11) Мушоҳида ва амалиёт

• 'export _ jobs _ total {status}' (навбатдор/иҷро/муваффақ/ноком/ба охир расидааст)
• 'export _ bytes _ total', 'содирот _ қисми _ давомнокӣ _ ms {p50, p95, p99}'
• 'download _ range _ requests _ total', 'дубора _ ҷамъ', 'checksum _ fail _ total'
• 'storage _ cost _ сметаи' i 'egress _ bytes _ cdn'

• Кӣ содирот, филтрҳо, нишонаи обӣ, рӯйхати зеркашӣ (IP/UA/time) -ро офарид.
• Қисмҳо ва мусолиҳаи ҷониби муштариён (тасдиқҳо).

• Spans: snapshot → serialize → қисми боргузорӣ → ба итмом расонидан.

12) Иҷро ва арзиши

Параллелизм: Қисмҳои сершуморро дар як вақт тавлид кунед (коргарони N), аммо маҳдудияти I/O.
Хотира: сериализатсияи ҷараён (итераторҳо, курсорҳои пойгоҳи додаҳо, қисмҳои 4-16 МБ).
Dedup: барои содироти зуд-зуд такрорӣ, кэши интеллектуалии қисмҳо аз ҷониби филтрҳо/ҳаш.
CDN: барои маҷмӯаҳои ҷамъиятии "умумӣ" муфид аст; барои шахсӣ - эҳтиёт (бехатарӣ/PII).

13) Намунаҳои интерфейсҳо

13. 1 Эҷод кардани содирот (REST)

http
POST /exports
Content-Type: application/json
Authorization: Bearer <token>

{
"format": "parquet+zstd",
"filters": {"date_from":"2025-10-01","date_to":"2025-10-31","tenant":"acme"},
"split_size_mb": 256,
"encryption": {"mode":"server-side-kms","key_id":"kms/keys/exp"}
}

json
{
"id":"exp_2025_10_31_001",
"status":"queued",
"estimated_parts": 12,
"manifest_url": "/exports/exp_2025_10_31_001/manifest. json"
}

13. 2 Қисми додани диапазон

http
GET /exports/exp_.../part-00003. parquet. zst
Range: bytes=1048576-

13. 3 Псевдокоди Vorker

pseudo snapshot = db. begin_snapshot()
for shard in plan_shards(snapshot):
part_stream = encode_stream(shard. rows, format="parquet", compress="zstd")
url = object_store. upload_stream(part_stream, part_name, encryption=KMS)
manifest. add(part_name, size, sha256, url)
write_manifest(manifest)

14) Намунаҳои содироти Delta

Содироти пурра дар N (рӯз/ҳафта) + дельтҳо ҳар соат аз ҷониби 'updated _ at> нишонаи обӣ'.
Аз ҷониби истеъмолкунанда, дельтаҳоро бо тартиби санҷиши 'version '/' seq' истифода баред.
Нишони охирини обро дар истеъмолкунанда ва дар манифест нигоҳ доред.

15) Анти-намунаҳо

Тавлиди содирот бо дархост (синхронӣ) - танаффус ва OOM.
Як файли азим бидуни тақсимшавӣ қобилияти дубора/зеркашии параллелиро надорад.
Набудани чек ва ошкор - шумо беайбиро исбот карда наметавонед.
Додани пайвандҳои доимии ҷамъиятӣ ба маълумоти шахсӣ.
Буферкунии SSE/CDN ё диапазони маъюбон - "азнавсозӣ" -ро вайрон мекунад.
Содироти маълумоти ифлос (бе сурат/ҷудокунӣ).

16) Рӯйхати санҷиши амалисозӣ

• Формат ва фишурдасозӣ: CSV/JSONL/Parquet + 'zstd/gzip'.
• Мутобиқат: лаҳзаи транзаксионӣ ё нишонаи обӣ/ҷуброн.
• Қисмбандӣ: қисмҳои 64-512 МБ, тавлиди мувозӣ ва зеркашӣ.
• Манифест: рӯйхати қисмҳо, андозаҳо, SHA-256, нусхаи схема, нишонаи обӣ.

Навсозӣ: HTTP Range, дастгирии 'multipart/byteranges', бозпас гирифтани мизоҷон.

• Амният: URL-ҳои қаблан имзошуда, TTL, рамзгузорӣ (KMS/AEAD), ниқоби PII.
• Маҳдудиятҳо/квотаҳо: ҳар як иҷорагир, ҳаҷми ҳаррӯза, шумораи ҷойҳои кории фаъол.
• Мушоҳидаҳо: ченакҳои кор/қисм, аудити зеркашӣ, огоҳиҳои ноком.
• Арзиш: CDN барои маҷмӯаҳои ҷамъиятӣ, TTL ва тозакунии худкор дар мағоза.
• Китобҳои корӣ/Рӯзҳои бозӣ: танаффуси шабака, дастрас набудани анбор, аз ҳад зиёд гарм кардани пойгоҳи додаҳо, нокомии KMS.

17) Рӯзҳои бозӣ (китобҳои бозӣ)

Ҳангоми боргирӣ тарки шабака: Мизоҷ бояд бо 'Range' идома ёбад.
Як қисм бор карда натавонист: қисман бозпас гирифтани тамоми содирот.
Суқути коргар: Кор бо бори охирини тасдиқнашуда дубора оғоз меёбад.
KMS дастнорас аст: таназзули бехатар (таваққуфи насл, рамзгузорӣ нашавед).
Афзоиши маълумот × 2: вақти тавлидро санҷед, параллелизмро аз нав тақсим кунед, пойгоҳи додаҳоро накушед.

18) Натиҷаҳо

Сарбории боэътимоди калон меъмории асинхронӣ + тақсимот + навсозӣ + тамомияти тасдиқшаванда мебошанд. Сурат гиред, қисмҳоро мувозӣ нависед, манифестро бо checksum нашр кунед, HTTP Range ва пайвандҳои кӯтоҳмуддатро дастгирӣ кунед. Дар бораи амният, маҳдудиятҳо ва мушоҳидаҳо фикр кунед - ва содироти гигабайт барои гурӯҳҳо ва корбарон даҳшатбор хоҳад буд.