Мӯҳлати маълумот

1) Мақсад ва принсипҳо

Ҳадаф аз он иборат аст, ки имкон додани интиқоли пешгӯишаванда, мувофиқ ва камхарҷи маълумот аз ибтидо то ҷойгиркунии ниҳоӣ, дастгирии сенарияҳои таҳлилӣ, амалиётӣ ва танзимкунанда.

• Маълумот ҳамчун маҳсулот: ҳар як маҷмӯа соҳиби, шартнома, SLO, ҳуҷҷатгузорӣ мебошад.
• Схема-аввал: схемаҳо лозиманд; тағирот - тавассути версия.
• Тарроҳии махфият: кам кардани PII, псевдонимизатсия, нигаҳдории минтақавӣ.
• Мушоҳидаҳо аз рӯи пешфарз: ченакҳо, сабти вуруд, насл.
• Хароҷот: сатҳи нигоҳдорӣ, TTL, интихоб, фишурдасозӣ.

2) Марҳилаҳои давраи ҳаёт

2. 1 Эҷод/Ҷамъоварӣ

Манбаъҳо: маҳсулот (веб/мобилӣ), пуштибонӣ, пардохтҳо, провайдерҳои KYC/AML, бозиҳо/студияҳо, маркетинг, гузоришҳои амалиётӣ.
Идентификаторҳо: 'event _ id', 'корбар. pseudo_id', 'session _ id', 'trace _ id'.

Шартномаҳо: Схемаҳои JSON/Avro, Async

Сифати вуруд: тасдиқи схемаҳо, майдонҳои ҳатмӣ, маҳдудиятҳои андоза, зидди нусхабардорӣ.
Махфият: токенизатсияи майдонҳои ҳассос, воридшавии гео-масир (EEA/UK/BR).

2. 2 Inest & Raw

Нақлиёт: HTTP/GRPC → Edge → автобус (Кафка/Редпанда).
Қабати хом (биринҷӣ): бори гарон, ивазнашаванда (барои криминалистика), тақсимот аз рӯи вақт/бозор/иҷорагир.
Сиёсатмадорон: тарҳ аз ҷониби '(event_id, манбаъ)', DLQ барои рӯйдодҳои "шикаста", барчаспҳои ҳуқуқӣ.

2. 3 Коркард ва тозакунӣ (тозакунӣ)

Нормализатсия (нуқра): чопкунӣ, такрорӣ, феҳристҳо, FX/вақтҳо, ғанисозӣ.
Сифат (DQ): мукаммалӣ/беҳамтоӣ/диапазон/тамомияти истинод.
Коркард: конвейерҳои idempotent, вақти сафар, пуркунии назоратшаванда.

2. 4 Хизматрасонӣ/Истифода

Намоишҳои тиллоӣ: BI/ҳисоботдиҳӣ (GGR, RG, AML), моделҳои маҳсулот ва хатар, намоиши вақти воқеӣ.
Дастрасӣ: SQL/Trino, қабати ченкуниҳои семантикӣ, API/GraphL, Store Feature.
Тару тозаи SLA: масалан, намоиши ҳаррӯзаи тиллоӣ то соати 06:00 ба вақти маҳаллӣ омода аст.

2. 5 Мубодила ва нашр кунед

Истеъмолкунандагони дохилӣ: Таҳлил, маҳсулот, хатар, мувофиқат, маркетинг, молия.
Сарбории беруна: танзимгарон, шарикон/провайдерҳо; бастаҳои ивазнашаванда (PDF/CSV/JSON + hash).
Каналҳои назоратшаванда: артефактҳои имзошуда, зеркашӣ/содироти аудит.

2. 6 Бойгонӣ/нигоҳдорӣ

Сиёсати нигоҳдорӣ: аз рӯи намуди маълумот ва юрисдиксия (масалан, танзимкунанда - 5-7 сол).
Қабатҳои нигоҳдорӣ: гарм/гарм/хунук, WORM/Lock Object барои тағйирнопазирӣ.
Индексатсияи бойгонӣ: феҳристҳо, нишонаҳои версия/бозор, ҷустуҷӯи тези метамаълумот.

2. 7 Нест кардан ва ба итмом расонидан (Ихтиёр кардан)

Бартарафсозии умумӣ: TTL/нигоҳдорӣ; тозакунии бехатар, навсозии индексатсияҳо.
Амалиётҳои ҳуқуқӣ: DSAR/RTBF (ҳуқуқи фаромӯш кардан), истисноҳо барои ӯҳдадориҳои нигоҳдории ҳуқуқӣ, Нигоҳдории ҳуқуқӣ (аз байн бурдани ях).
Санҷиш: ҳисоботҳо дар бораи несткунӣ, сабти аудит, назорати кросс-реплика.

3) Тасниф ва каталог

Категорияҳои ҳассосият: ҷамъиятӣ/дохилӣ/махфӣ/маҳдуд.
Домены: Пардохтҳо, Gameplay, Мувофиқат/AML, RG, Маркетинг, Опс, Молия.
Феҳристи маълумот: тавсиф, соҳиб, SLA тару тоза, схемаҳо, насл, сатҳи дастрасӣ.
Теги: 'юрисдиксия', 'иҷорагир', 'pii _ class', 'нигоҳ доштан _ синф', 'legal _ hold'.

4) Модели ва схемаҳои Lakehouse

Биринҷӣ/нуқра/тилло: қоидаҳои возеҳи тағирот ва масъулият.
Форматҳо: Формати ҷадвали Parquet + бо ACID (Delta/Iceberg/Hudi).
Эволютсияи схемаҳо: версияҳои семантикӣ, мутобиқати давомнок, муҳоҷирати дукарата барои шикастани тағирот.
Феҳрист: Феҳристи схема, тасдиқи CI шартномаҳо, санҷишҳои истеъмолкунандагон.

5) Сифати маълумот (DQ)

• Пуррагӣ - Фоизи рӯйдодҳо/сатрҳо воқеан гирифта шудаанд.
• Эътибор: таносуби сабтҳое, ки аз санҷиши схема гузаштаанд.
• Ягонагӣ: назорати такрорӣ.
• Мувофиқат: риояи китобҳои истинодӣ ва истинодҳо.
• Тару тоза: таъхир/воридшавӣ.

• Қоидаҳои DQ ҳамчун рамз (санҷишҳои YAML/SQL), панели панелҳо, огоҳиҳои SLO.
• Пастшавии худкор ҳангоми таназзул (охирин буриши дуруст).

6) Махфият ва риояи он

Кам кардани PII: нигоҳ доштани псевдо-ID, харитасозиро ба ҳалқаи ҷудошуда гиред.
Маска ва RLS/CLS: дар сатҳи сутун/сатр; сиёсати динамикӣ.
Минтақасозӣ: будубоши маълумот аз рӯи бозор; феҳристҳои алоҳида/калидҳои рамзгузорӣ.
DSAR/RTBF: пешгӯиҳои назоратшаванда, таҳрирҳои интихобӣ, масъалаҳои аудит.
Нигоҳдории ҳуқуқӣ: аломатҳои яхкунӣ, бойгонии бетағйир, сабти дастрасӣ.

7) Дастрасӣ ва амният

Аутентификатсия/авторизатсия: SSO, RBAC/ABAC, хусусиятҳои қаламравҳо ва нақшҳо.
Рамзгузорӣ: TLS дар транзит; истироҳат тавассути KMS/CMK; гардиши калидӣ.
Гузоришҳои дастрасӣ: кӣ/чӣ/вақте/дар куҷо; огоҳиҳо оид ба содирот/сканҳои оммавӣ.
Тақсимоти вазифаҳо: нақшҳои гуногун барои prod/analytics/admins/reviewers.

8) Насл ва мушоҳида

Насли техникӣ: аз сарчашма → трансформация → намоиши → ҳисоботҳо.
Хатти амалиётӣ: пайвандҳо бо релизҳо, парчамҳои хусусӣ, моделҳо, қоидаҳои AML/RG.
Нишондиҳандаҳои платформа: интиқол, ақибмонӣ, меъёри нокомӣ, арзиш/дархост, арзиш/ГБ.
Пайгирӣ: интиқоли 'trace _ id' аз барномаҳо ба дӯконҳо/огоҳиҳо.

9) Моделҳои вақт ва ретропроцессҳо

Вақти ҳодиса vs Вақти коркард: вақти ҳодиса-вақти приоритет, нишонаи об/таъхири иҷозат.
Backfill ва коркард: қубурҳои бекорхобида, вақти сафар, назорати "ҳисобкунии дукарата".
Давлатҳои наҷотбахш: TTL, лаҳзаҳо, барқарорсозии офатҳои табиӣ.

10) Иқтисодиёт ва назорати хароҷот

Тақсимот (сана/бозор/иҷорагир), кластер/Z-фармоиш.
Интихоб барои таҳлили басомади баланд (на барои амалиёт/мувофиқат).
Нигоҳдории бисёрқабата (гарм/гарм/хунук), автоматии TTL.
Буҷа/баргардонидани маблағ аз ҷониби гурӯҳ, маҳдудияти дархостҳои вазнин ва бозпардохт.

11) Равандҳо ва RACI

R (Масъул): Платформаи маълумот (воридкунӣ/нигоҳдорӣ/оркестр), муҳандисии маълумот (табдилдиҳӣ), соҳибони домейн (шартномаҳо/DQ/SLO).
A (Ҳисоботдиҳанда): Роҳбари маълумот/Сармутахассиси маълумот.
C (Машварат): Мувофиқат/Ҳуқуқӣ/DPO, Меъморӣ, SRE, Амният.
Ман (Маълумот): BI/Продукт/Маркетинг/Финансы/Операции.

12) SLO/SLI (ҳадафҳои намуна)

13) Панели панелҳо

Харитаи гармии тару тоза аз рӯи домен/бозор.
Пуррагӣ/Дурустӣ аз рӯи ришта.
Арзиши нигаҳдорӣ ва дархостҳо (аз рӯи қабат ва фармон).
Харитаи насл барои гузоришҳои интиқодӣ (танзимкунанда, GGR, RG/AML).
Навбати DSAR/RTBF, статусҳои ҳуқуқӣ.

14) Қолабҳои сиёсати нигоҳдорӣ (мисол)

Санаҳои воқеӣ аз ҷониби ҳуқуқӣ/DPO ва қонунҳои маҳаллӣ муайян карда мешаванд.

15) Ҳуҷҷатгузорӣ ва стандартҳо

Саҳифаи маҳсулоти маълумот: соҳиб, таъинот, SLA, схемаҳо, қоидаҳои DQ, алоқаҳо.
Рӯйхати тағирот: версияҳои схема/мантиқӣ, таҳлили таъсир, муҳоҷират.
Китобҳои корӣ: коркард, backfill, сенарияҳои фавқулодда, тугмаи фриз.

16) Харитаи роҳсозӣ

1. Феҳристи маълумот ва таснифот (доменҳои болоӣ), схемаҳои асосӣ ва сабти ном.

2. Lakehouse биринҷӣ/нуқра, воридшавӣ бо санҷиш ва такрорӣ.

3. 1-2 Ҳолатҳои тиллоӣ (масалан, GGR ва табдили).

4. Ҳадди ақали қоидаҳои DQ ва панели тару тоза/мукаммалӣ.

5. Сиёсати нигоҳдорӣ ва дастрасӣ ба RBAC.

• Линаж, қабати семантикии ченакҳо, тартиботи DSAR/RTBF.
• Регионализатсия (EEA/UK), WORM барои артефактҳои танзимкунанда, Hold Legal.
• Оптимизатсияи хароҷот, огоҳиҳои SLO, ҳисоботи буҷа.

• Data Mesh (маҳсулоти домейн), шартномаҳо ва санҷишҳои истеъмолкунанда.
• Моделсозии худкори таъсир ҳангоми тағир додани схемаҳо/мантиқҳо, такрорӣ.
• Панели ягонаи мутобиқат (танзим, дастрасӣ, DQ, насл).

17) Рӯйхати санҷиши пеш аз фурӯш

• Нақшаҳои тасдиқшуда, шартномаҳо дар сабти ном, санҷишҳои мутобиқат.
• Қоидаҳои DQ фаъоланд, огоҳиҳо танзим карда мешаванд, SLO муқаррар карда мешаванд.
• Нақшҳои RBAC/ABAC тафтиш карда шуданд, сабтҳои дастрасӣ фаъол карда шуданд.
• Сиёсати нигоҳдорӣ/несткунӣ/бойгонӣ аз ҷониби Legal/DPO тасдиқ карда шудааст.
• DSAR/RTBF/Тартиби нигоҳдории ҳуқуқӣ ҳуҷҷатгузорӣ ва озмоиш карда мешавад.
• Lineage/metrics/арзиш дар панели панелҳо нишон дода мешаванд.
• Китобчаҳо барои backfill/коркард/DR омодаанд.

18) Хатогиҳои зуд-зуд ва чӣ гуна аз онҳо канорагирӣ кардан

Таснифот ва феҳристи ягона вуҷуд надорад: кортҳои ҳатмии маълумотро ворид кунед.
Маълумоти хом бидуни схема: санҷиши схема-аввал + CI.
Ҷудокунӣ нест: Равандҳои тарроҳии TTL ва RTBF аз ибтидо.
PII ва таҳлили омехта: харитасозии алоҳида, ниқобро истифода баред.
Тилло бидуни соҳиб ва SLO: Таъин кардани молик ва ҳадафҳои тару тоза.
Арзиши идорашаванда: партияҳо, фишурдасозӣ, нигаҳдории сатҳӣ, квотаҳо.

19) Луғат (мухтасар)

DSAR/RTBF - дархости мавзӯи маълумот/нест кардани ҳуқуқ.
Нигоҳдории ҳуқуқӣ - аз байн бурдани сабабҳои ҳуқуқӣ.
Насл - пайгирии пайдоиш ва тағирот.
Маҳсулоти додаҳо як воҳиди идоракунии маълумот бо SLA-ҳо мебошад.
DQ - қоидаҳо ва ченакҳои сифати маълумот.
Lakehouse - якҷоя кардани ҷадвалҳои кӯли маълумот ва ACID.

20) Сатри поён

Мӯҳлати истифодаи маълумот системаи идоракунии тартибот аст, на танҳо анбори файл. Шартномаҳо ва нақшаҳои возеҳ, таснифот ва феҳрист, сифати андозагиришаванда, махфият ва амният, меъмории камхарҷ ва насли шаффоф маълумотро дороиҳои боэътимод мегардонанд, ки маҳсулот, мувофиқат ва таҳлилро бидуни ногаҳонӣ ва хатарҳои пинҳон дастгирӣ мекунанд.