Архитектураи ҷараёни маълумот

1) Мақсад ва принсипҳо

Ҳадафҳо: расонидани маълумоти дуруст, саривақтӣ ва мувофиқ барои таҳлил, гузоришдиҳӣ, зидди қаллобӣ, фардикунонӣ ва ML.

• Маълумот ҳамчун маҳсулот: соҳибони равшан, шартномаҳо, SLO ва версия.
• Схема-аввал: схемаҳо лозиманд; эволютсия аз рӯи қоидаҳо.
• Тарроҳии махфият: кам кардани PII, бегона кардан, назорати дастрасӣ.
• Мушоҳидаҳо бо нобаёнӣ: пайҳо, ченакҳо, насл, профилҳои сифат.
• Хароҷот: сатҳи нигаҳдорӣ, интихоби ҳодисаҳои ғалоғула, фишурдасозӣ.

2) Манзараи манбаъ ва ҳодиса

Муомилот: пасандозҳо/бозхонд, гарав/пардохт, мукофотпулӣ, пардохт.
Корбар: ҷаласаҳо, кликҳо, табдилдиҳӣ, маҳдудиятҳои RG, ҳолати KYC.
Амалиёт: гузоришҳои барномаҳо, ченакҳои иҷро, огоҳиҳо.
Таъминкунандагон: PSP/KYC/санксияҳо/студияҳои бозӣ (агрегаторҳо).
Маълумот: каталогҳои бозӣ, феҳристҳои кишвар/асъор, тарифҳо/андозҳо.

json
{
"event_time":"2025-10-31T19:20:11Z",
"event_type":"payment. deposit",
"schema_version":"1. 3. 0",
"user":{"id":"U-123","country":"EE","age_band":"18-24"},
"payment":{"amount":200. 00,"currency":"EUR","method":"card","psp_ref":"PSP-222"},
"ctx":{"ip":"198. 51. 100. 10","session_id":"s-2233","trace_id":"f4c2..."}
}

3) Меъмории истинод дар сатҳи баланд

1. Қабати дохилшаванда

Дарвозаҳо (HTTP/GRPC), пайвасткунакҳои CDC (аз OLTP), навбатҳо/автобусҳо (Кафка/Редпанда), коллекторҳои телеметрӣ.
Санҷиш, муътадилсозӣ, нашри PII дар вуруд, иҷрои шартнома.

2. Қабати ҷараён

Ҷабҳаҳои ҷараён (Flink/Spark Structured Streaming/Beam) бо тақсимот, нишонаи обӣ, агрегатҳои давлатӣ.
Фан-берун ба хидматрасонӣ ва онлайн (fichestore, зидди қаллобӣ).

3. Қабати партия

Оркестр (Airflow/Dagster), зеркашиҳои афзоянда, пасзаминаҳо ва ретропроцессҳо, намудҳои SCD.

4. Анбор (Lakehouse)

Биринҷӣ: рӯйдодҳои хом (танҳо замима, тағйирнопазир).
Нуқра: мизҳои тозашуда, мувофиқ бо сифат ва дефликатсия.
Тилло: намоишҳо/мартҳо барои парвандаҳои мушаххас (BI/танзимкунанда/ML).
Форматҳои ҷадвал бо ACID (Delta/Iceberg/Hudi), қабати гарм/гарм/хунук.

5. Хизматрасонӣ ва дастрасӣ

BI/SQL (Trino/Presto/Duck

6. Идоракунӣ ва бехатарӣ

Феҳрист/хат, қоидаҳои DQ, муҳаррики дастрасии сиёсӣ (RBAC/ABAC), ниқоб/токенизатсия, бойгонии WORM барои гузоришҳо.

4) Шартномаҳо ва нақшаҳо

Шартномаҳои маълумот: Open

Эволютсия: версияҳои семантикӣ; дигаргуниҳои ба қафо мувофиқ - илова кардани майдонҳои нобудшаванда; шикастан - танҳо бо '/v2 'ва воридшавии дукарата барои давраи муҳоҷират.
Бақайдгирандагон: Феҳристи схема, феҳристи домейнҳо (Пардохтҳо, Gameplay, Маркетинг).

5) Намунаҳои ҳамгироӣ

CDC (Тағйир додани сабти маълумот): аз OLTP то автобус (Debezium), тақсимоти калидҳои домейн.
Outbox/Inbox: таҳвили кафолатноки рӯйдодҳои мантиқии домейн.
Маҳз як маротиба/самаранок як бор: муомилот дар давлат, танӯраи idempotent, калидҳои deduplication.
Маълумоти дер ва нишонаҳои обӣ: коркарди рӯйдодҳои дер; тирезаҳо бо lateness иҷозат.
Коркард: қубурҳои бекорхобида, вақти сафар, ислоҳи лаҳзаҳо.

6) Модели Lakehouse: биринҷӣ/нуқра/тилло

• Вақт (event_date) ва ҳизбҳои бозор (юрисдиксия).
• Танҳо илова; нигоҳдории сарбории аслӣ барои криминалистика.

• Навъҳои муқарраршуда, маълумотномаҳо, такрорӣ аз ҷониби '(event_id, event_time)'.
• Тафтиши ФК, стандартикунонии асъор/вақт, ғанисозӣ.

• Намоишҳои ғайримуқаррарӣ (GGR, баҳодиҳии RG, LTV, ҷадвалҳои когорт).
• SLA барои навсозӣ, агрегатҳо барои BI ва гузоришдиҳӣ.

7) Сифати маълумот

Қоидаҳо: тасдиқи ноҳиявӣ, диапазон, беҳамтоӣ, мукаммалӣ, тамомияти истинод.
Профил: тақсимот, кардинализм, "кашидан" -и аломатҳо.
Мониторинг: таъхири қубури p50/p95, сатҳи тарки, буҷаи хато.
Сиёсати таназзул: пастшавии автоматӣ (лаҳзаи охирин), огоҳиҳо ва т-тестҳо барои ченакҳо.

yaml table: silver. payments rules:
- name: amount_positive type: range column: amount min: 0. 01
- name: currency_valid type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: unique_tx type: unique columns: [transaction_id]
slo:
freshness_minutes: 15 completeness_percent: 99. 5

8) Махфият ва риояи он

Кам кардани PII ва ниқоб: нигоҳ доштани псевдо-ID, харитасозии ҷудогона.
Регионализатсия: сатилҳо/каталогҳои гео-маҳаллӣ (EEA/UK/BR), "истиқомати маълумот".
Амалиёти ҳуқуқӣ: DSAR/RTBF (пешгӯиҳои ҳисобшаванда ва таҳрирҳои интихобӣ), Hold Legal, бойгонии ҳисоботи тағйирнопазир.
Сабти вуруд: аудит ҷадвалҳои "ҳассос", дастрасии шишагӣ ва JIT-ро мехонад.

9) Мушоҳида ва идоракунӣ

Linege-Худкор вобастагиро аз манбаъ то дӯкон пайгирӣ мекунад.
Нишондиҳандаҳои қубур: интиқол, ақибмонӣ, меъёри нокомӣ, арзиш/ГБ, арзиш/дархост.
Trace (OTel): 'trace _ id' аз барномаҳо ба рӯйдодҳо партофта мешавад → мо роҳи дархости ниҳоӣ месозем.
Огоҳӣ: буҷаҳои SLO, аномалияҳои тару тоза/ҳаҷм/кардиналӣ.

10) Модели дастрасӣ ва амният

Категорияҳои маълумот: ҷамъиятӣ/дохилӣ/махфӣ/маҳдуд.
Сиёсатҳо: амнияти сатр/сутун; ниқоби динамикӣ (PAN/IBAN/email).
Идоракунии асосӣ: KMS/CMK, рамзгузорӣ дар вақти истироҳат/дар транзит, гардиш.
Ҷудосозии вазифаҳо: нақшҳои алоҳидаи prod/analyst/admin/review.

11) Тарзи маълумот ва равиши маҳсулот

Домены: Пардохтҳо, бозиҳо, маркетинг, хавф, мувофиқат.
Маҳсулоти маълумот: соҳиб, SLA тару тоза, луғати саҳроӣ, санҷишҳо, версияҳо, метрикаи истеъмол.
Шартномаҳо байни доменҳо: санҷишҳои боэътимод, ба қафо мувофиқ, истеъмолкунанда.

12) ҷараёнҳои Fichestor ва ML

Феҳристи хусусиятҳо: тавсифи хусусиятҳо, манбаъҳо, тағирот, SLO.
Мувофиқати онлайн/офлайнӣ: як рамзи тағирот, таъхири материализатсияи онлайн ≤ 200-500 мс.
Мониторинги дрифт: PSI/KS, огоҳиҳои худкор ва роликҳои моделӣ, назорати PII.
Маҷаллаи таҷрибаҳо: метамаълумот, версияҳо, репродуктивӣ, харитаҳои моделӣ.

13) Finmodel ва оптимизатсияи хароҷот

Тақсимот ва Z-фармоиш/Кластер аз ҷониби пешгӯиҳои зуд-зуд.
Нигоҳдории хунук ва TTL барои ҷадвалҳои истифоданашуда, VACUUM.
Назари материализатсияшуда танҳо барои намунаҳои устувори дархост.
Квотаҳо ва буҷетҳо барои кори вазнин; бозпас гирифтани даста.

14) Топологияи минтақавӣ ва бисёрсоҳавӣ

Бисёр минтақаҳои фаъол-фаъол: такрори мавзӯъҳо ва мизҳо, периметри мустақили қубур.
Failover/DR: Ҳадафҳои RPO/RTO, аксҳои метамаълумоти оркестрӣ, санҷиши барқароршавӣ.
Бисёрҳуҷрагӣ: ҷудокунии директория/калид/квота, tenant_id аломатгузорӣ.

15) Равандҳо ва RACI (мухтасар)

R: Платформаи маълумот (воридкунӣ, нигоҳдорӣ, оркестр), муҳандисии маълумот (трансформатсия).
Ҷ: Сардори маълумот/Сармутахассиси маълумот.
C: Мувофиқат/Ҳуқуқӣ/DPO, Меъморӣ, SRE.
I: BI/Таҳлил, Маҳсулот, Маркетинг, Молия.

16) SLO/SLI барои ҷараёнҳо

тару тоза: p95 таъхир нуқра ≤ 15 дақиқа, тилло (ҳаррӯза) омода ≤ 06:00 қулф. вақт.
Пуррагӣ: ≥ 99. 5% рӯйдодҳо дар як тирезаи T.
Дурустӣ: хатогии чекҳои DQ <0. 5% ҳаҷм.
Мавҷудияти хидмат: ≥ 99. 9% барои BI/Feature API.

17) Қолабҳои ҷадвал ва тақсимот

sql
-- Bronze: Deposit events
CREATE TABLE bronze. payment_deposits (
event_time TIMESTAMP,
event_id STRING,
user_pseudo_id STRING,
amount DECIMAL(18,2),
currency STRING,
psp_ref STRING,
payload VARIANT
)
PARTITION BY DATE(event_time)
CLUSTER BY (currency);

-- Silver: normalized model
CREATE TABLE silver. payments AS
SELECT event_id,
CAST(event_time AS TIMESTAMP) AS ts,
user_pseudo_id,
amount,
currency,
psp_ref
FROM bronze. payment_deposits
QUALIFY ROW_NUMBER() OVER (PARTITION BY event_id ORDER BY ts) = 1;

18) Оркестр ва Dev

Infra-as-Code: анборҳои қубурҳо, озмоишҳо, баррасиҳо, GIT.
Шартномаҳои маълумот CI: линтерҳои ноҳиявӣ, санҷишҳои DQ пеш аз ҷойгиркунӣ.
Чаҳорчӯбаи Backfill: равандҳои боэътимоди ретро бо маҳдудиятҳои R/W ва idempotency.
Каталогҳо ва қолибҳо: генераторҳои буридани кукиҳо, таҷрибаи пешқадам.

19) Харитаи роҳсозӣ

1. Автобуси ҳодиса + воридкунандаи 2-3 манбаи асосӣ (OLTP CDC, дарвозаи API).

2. Lakehouse биринҷӣ/нуқра, формати ACID, каталог ва қоидаҳои асосии DQ.

3. 1-2 Ҳолатҳои тиллоӣ (ҳамарӯза GGR ва ҳалқаи табдилдиҳӣ).

4. Нишондиҳандаҳои ақибмонӣ/пуррагӣ, насли асосӣ, RBAC ва ниқоби PII.

• Воҳидҳои ҷараён (p95 таъхир ≤ 5 дақиқа), Дӯкони хусусият, намоиши RG/AML.
• Қабати семантикии ченакҳо, SLA барои ҳисобот; арзиш-панели.
• Регионализатсия (EEA/UK), тартиботи DSAR/RTBF, Нигоҳдории ҳуқуқӣ барои артефактҳо.

• Data Mesh: доменҳои маҳсулот, шартномаҳои истеъмолкунанда.
• Амалиёти ML бо мониторинги drift, гуфтушунидҳои онлайн/офлайнӣ.
• Моделсозии худкори тағироти схема (таҳлили таъсир) ва "чӣ-агар" аз рӯи хароҷот.

20) Хатогиҳои зуд-зуд ва чӣ гуна аз онҳо канорагирӣ кардан

Сарбории хом бидуни схема: иҷрои схема-аввал, сабти ном ва санҷиши CI.
Deduplication нест - калидҳои ҳодиса ва синхронизатсияи idempotent дар Силвер.
PII-ро бо таҳлил омехта кунед - Харитаҳо ва майдонҳои ниқоб.
Тилло бе соҳиби: дорандаи таъиншуда, SLO ва ченакҳои истеъмол.
Стратегияи коркард вуҷуд надорад: вақти сафар, версияи мантиқӣ, назорати "ҳисобкунии дукарата".
Арзиши идорашаванда: маҷмӯаҳо, фишурдасозӣ, TTL, риояи арзиш.

21) Луғат (мухтасар)

CDC - Гирифтани тағирот аз OLTP.
Outbox - мо чорабиниҳои домениро ба таври транзаксионӣ нашр мекунем.
Нишони обӣ - арзёбии пуррагии ҷараён барои тирезаҳо.
Lakehouse - маълумотҳои кӯли + ҷадвалҳои ACID.
Маҳсулоти маълумот - воҳиди маҳсулоти маълумот бо соҳиб ва SLO.
Дӯкони хусусият - паҳнкунии муттасили хусусиятҳои ML.

22) Сатри поён

Архитектураи ҷараёни маълумот як системаи идорашавандаи тартибот аст: шартномаҳои возеҳ, мушоҳида, амният ва арзиши таҳти назорат. Пас аз намунаҳои тавсифшуда (схемаи аввал, биринҷӣ/нуқра/тилло, CDC + Outbox, DQ ва насл, тарроҳии махфият), платформа бизнес, мувофиқат ва ML-ро бо маълумоти босифат бо SLO-ҳои пешгӯишаванда ва арзиши фаҳмо таъмин мекунад. моликият.