Идоракунии маълумот ва идоракунии маълумот

1) Маълумот чист ва чаро он лозим аст

Маълумот Ops маҷмӯи амалияҳо, равандҳо ва воситаҳоест, ки кор бо маълумотро ба лӯлаи такроршаванда ва идорашаванда табдил медиҳанд: аз сохтан ва тағир додани схемаҳо то нашри маҳсулоти додаҳо ва ченакҳо. Ҳадаф расонидани маълумоти босифат ба истеъмолкунандагон (маҳсулот, таҳлил, хатар, ML) ҳангоми нигоҳ доштани мувофиқат ва арзиши оптималӣ мебошад.

• SLA-ҳои пешгӯишаванда аз рӯи маълумот (аҳамият, пуррагӣ, дақиқӣ).
• Тағйироти зуд ва бехатар (CI/CD/CT барои маълумот).
• Насли маълумот ва моликият.
• Кам кардани TCO (нигоҳдорӣ, ҳисоббарорӣ, интиқоли маълумот).

2) Намунаҳои меъморӣ

Кӯли маълумот (нигоҳдории ашё, ашёи хом): арзон, фасеҳ, аммо ба шумо маълумоти сахт лозим аст.
Анбор (OLAP/SQL, моделсозӣ): дӯконҳои тез, нақшаи қатъӣ.
Lakehouse (форматҳои ҷадвал + ACID: Delta/Iceberg/Hudi): муттаҳидсозии кӯл ва анбор, вақти сафар, боло/якҷоя.

• Биринҷӣ → нуқра → тилло.
• Қабатҳои хидматкунанда: DWH/OLAP (big-Query/Click-House/Snowflake ва ғайра), API/графика, мағозаи хусусӣ, кэш.

Тавсия: дар як қабат як "манбаи ҳақиқат" ва тағиротро ҳамчун рамз бо версия ва санҷишҳо нигоҳ доред.

3) Модели домейн ва маҳсулоти иттилоотӣ

Равиши Data Mesh: моликияти маълумот аз ҷониби гурӯҳҳои домейн; соҳиби маҳсулоти иттилоотӣ барои сифат ва SLO маҳсулоти иттилоотӣ масъул аст.
Шартномаҳои маълумот: схемаҳо, семантика, SLA/SLO (масалан, "ҷадвали амалиёт то соати 08:00 UTC бо дақиқии 99 дастрас аст. 5% ва таъхири на бештар аз 10 дақиқа бо афзоиш").
Интерфейс: Ҷадвалҳои SQL/борони шадид, мавзӯъҳои CDC, API/Graph Сиёсати возеҳи таҳрир ва беқурбшавӣ.

4) Интегратсия: манбаъҳо ва намунаҳои зеркашӣ

ETL/ELT-Stretch → fold → transform (ба DWH/Lake). ELT бо OLAP-и пуриқтидор бартарӣ дорад.
CDC (Change Data Capture): тағироти ҷараён (Debezium ва ғайра) → таъхири кам ва афзоиши дақиқ.
Batch vs Stream: гибрид - ҷараён барои рӯйдодҳои "гарм", партия барои ҳисобҳо ва бозгашт.
Семантикаи таҳвил: ҳадди аққал як маротиба + мержи idempotent; бобои асосӣ/вақт; маҳз як маротиба ба воситаи форматҳои транзаксионӣ.

5) Идоракунии гардиш ва эволютсия

Феҳристи схема ва озмоишҳои шартнома: майдонҳоро ба таври харобнашаванда илова кунед, тағиротро бидуни версияи нав манъ кунед.
Версия (V1 → V2): нашри мувозӣ, равзанаи муҳоҷират, огоҳӣ ба истеъмолкунандагон.
Сиёсати намудҳо ва воҳидҳои андозагирӣ: асъор, минтақаҳои вақт, калидҳои аблаҳӣ.

6) Сифати маълумот (DQ)

Андозаҳои асосӣ: пуррагӣ, дақиқӣ, пайдарҳамӣ, беҳамтоӣ, дурустӣ, тару тоза/аҳамият, набудани нусхаҳо.

• Санҷишҳои сифат ҳамчун рамз: калидҳои беназир, диапазонҳо, рӯйхати истинодҳо, қоидаҳои тиҷорат (масалан, ҷамъи субстрингҳо = ҳамагӣ).
• Санҷишҳои шартномавӣ/интизорӣ дар ҳар як қабат (биринҷӣ/нуқра/тилло) ва CI.
• Минтақаҳои карантинӣ: маълумоте, ки аз санҷиш нагузаштаанд, ба тилло намеафтанд.
• Созишномаҳои тару тоза: SLA тару тоза ва огоҳиҳои сӯхтан дар таъхир.

7) Мушоҳидаи маълумот

SLI мувофиқи маълумот: ҳиссаи хатҳои дуруст, таъхири афзоиш, ҳиссаи холигоҳҳо, шумораи тағирот дар схемаҳо дар давра.
Насл (пайгирии ниҳоӣ): аз кадом манбаъ майдони X, ки ҷадвали Y-ро истеъмол мекунад; визуализатсияи графикаи вобастагӣ.
Мониторинги аномалия: тамоюлҳои ҳаҷм/тақсимот, сифрҳо/қуллаҳои ногаҳонӣ, кашидани хусусиятҳои категориявӣ.
Сиёсатмадорони ҳушёр: равзанаи кӯтоҳ (офатҳои табиӣ) + дароз (таназзули хазандагон), авҷ гирифтани соҳибони маҳсулоти иттилоотӣ.

8) Амният ва махфият

Таснифи маълумот: PII/молиявӣ/ҳассос/ҷамъиятӣ. Тамғакоғазҳо дар сутунҳо ва маҷмӯаҳо.
Назорати дастрасӣ: RBAC/ABAC, амнияти сатр/сутун, ниқоб, муайянкунии динамикӣ.
Криптография: рамзгузории at-rest/in-transit; токенизатсия ва тахаллуси PII.
Қоидаҳои нигоҳдорӣ: гарм/гарм/хунук; сиёсати нигоҳдорӣ ва "ҳуқуқи фаромӯш шудан".
Аудит ва тағйирнопазирӣ: кӣ мехонд/тағир ёфт; сабти имзои артефакт; содироти артефактҳо барои танзимгарон.

9) Идоракунии оркестр, CI/CD/CT ва тағирот

Оркестр: Airflow/Argo/Kedro ва ғайра; DAG/риштаҳои декларативӣ бо вобастагӣ ва вазифаҳои idempotent.
CI/CD/CT (Санҷиши муттасил): Линтерҳои SQL/Python, санҷишҳои табдилдиҳии воҳидҳо, санҷишҳои ҳамгироӣ дар намунаҳои ҷудошуда, санҷишҳои маълумот пеш аз якҷояшавӣ.
Пешбурди муҳити зист: dev → марҳилаи → prod; зуҳуроти шабеҳ; назорати парчамҳо/феҳристҳои хусусият.

Backfills: амалиётҳои "вазнин" бо захираҳои маҳдуд ва равзанаи равшан; Назорати idempotency ва deduplication

10) Идоракунии хароҷот (Маълумоти FIN)

Моделҳои арзиш: нигоҳдорӣ (ҳаҷм × синф), скан/дархостҳо, egress, backfills дарозмуддат.
Оптимизатсия: тақсимкунӣ/кластерӣ, Z-фармоиш/навъбандӣ, вақт, моделсозии бастаҳои натиҷа, фишурдасозӣ ва сутунҳо.
Иқтисодиёти маълумот: хатҳои $/1 миллион дар тилло, $/як гузориш, $/хусусият барои ML.
Тару тозаи огоҳонаи SLO: ҳар қадаре ки маҳсулот талаб кунад, ҳисоб кунед, на "ҳар 5 дақиқа аз одат".

11) Идоракунии магистр оид ба маълумот (MDM) ва маълумотномаҳо

Сабтҳои тиллоӣ: барҳам додани фармоишгар/тоҷир, иерархияи ҳисоб.
Маълумотномаҳо/истинодҳо: асъорҳо, кишварҳо, рӯйхати BIN, рӯйхати провайдерҳо - бо версияҳо ва равзанаҳои амал.
Идентификаторҳо: калидҳои устувор, гуфтушунидҳои байнисоҳавии ID, харитасозии бисёр ба як.

12) Хусусиятҳои ML ва намоиши таҳлилӣ

Дӯкони хусусият: версияи хусусиятҳо, саёҳати вақт, мувофиқати онлайн/офлайнӣ.
Шартномаҳои маълумот бо DS/ML: SLA-ҳо бо тару тоза/дрифт; схемаҳо ва диапазонҳои қобили қабул.
Намоишҳои BI: "танҳо версияҳои" тасдиқшудаи ченакҳои калидӣ (DAU/GMV/ARPPU ва ғайра) бо санҷишҳо.

13) Равандҳои ҳодисаҳо ва RCA барои маълумот

Муайянкунӣ: паст шудани эътибор, таъхири сарборӣ, тағир додани схемаҳо бидуни эълон, аномалияҳои тақсимот.
Афзоиш: соҳиби маҳсулоти додаҳо → оркестр/платформа → манбаъ/провайдер.
Амалҳои сабуккунанда: фризи нашрияҳо, бозгашти охирин тағирот, нашри нусхаи қаблии "хуб", дар саҳифаи ҳолати маълумот ишора мекунанд.
RCA (фокуси маълумот): решаҳо - нақшаҳо/вайроншавии шартнома, таъхири манбаъ, қоидаҳои нодурусти тиҷорат, кашолакунӣ.
CAPA: назорати схема, санҷишҳои нав, маҳдудиятҳои скан, шарҳи озод, омӯзиш.

14) Нақшҳо ва масъулиятҳо (RACI)

Соҳиби маҳсулоти маълумот: SLA/SLO, афзалият, харитаи роҳ.
Муҳандиси маълумот/Муҳандиси таҳлил: қубурҳо, моделсозӣ, озмоишҳо, оптимизатсия.
Платформа/Инфра: оркестр, кӯл/анбор, амният ва дастрасӣ.
Идоракунӣ/Идоракунӣ: каталог, сифатҳо, тасниф, мувофиқат.
Сек/Мувофиқат: Махфият, аудит, ҳисоботи танзимкунанда.
Соҳибони бизнеси ченакҳо: муайян ва назорат кардани "ҳақиқат" -и нишондиҳандаҳо.

15) Каталог ва метамаълумот

Каталоги маълумот: тавсифи ҷадвалҳо/майдонҳо, соҳибон, барчаспҳо (PII/молия), намунаҳои дархостҳо, сатҳи сифат.
Метамаълумоти фаъол: хатти худкори пуркунӣ, маъруфияти дархостҳо, тавсияҳо барои истифода.
Луғат (луғати бизнес) - таърифи рақамҳои асосӣ ва қоидаҳои ҳисоб, версия ва молик.

16) Панели панели маълумот (маҷмӯи ҳадди аққал)

Саломатии қубур: хатогии муваффақият/вазифа, таъхири DAG, вақти миёнаи иҷро, навбатҳо.
Сифат ва тару тоза: эътибори санҷишҳо, таъхир дар қабатҳои биринҷӣ/нуқра/тиллоӣ, ҳиссаи карантин.

Намуди насл: Таъсири ҷадвали афтиши X ба истеъмолкунандагони Y

Молия: $ дар нигаҳдорӣ ва скан, дархостҳо/моделҳои "гарон", пасандоз аз моделсозӣ.
Тағирот: релизҳо, тағир додани нақша, огоҳиҳои шартнома.

17) Рӯйхати назоратии "Омодагии маҳсулоти додаҳо"

• Воридот/баромади тавсифшуда, соҳиб ва SLA/SLO (тару тоза/пуррагӣ/дақиқ).
• Нақшаҳо ва шартномаҳо дар анбор, санҷишҳои сифат дохил карда шудаанд (ҳадди эътибор).
• Насаб ва феҳристи танзимшуда; Барчаспҳои PII/таснифот татбиқ карда мешаванд.
• RBAC/ABAC ба сиёсати дастрасӣ, ниқоб ва нигоҳдорӣ дастрасӣ дорад.
• Оркестр ва огоҳиҳо: тирезаҳои кӯтоҳ ва дароз, каналҳои шиддат.
• Backfills idempotent мебошанд; нақшаи бозгашт ва карантин мавҷуд аст.
• Оптимизатсияи арзиш: қисмҳо/кластер/материализатсия.
• Ҳуҷҷатгузории ченакҳо ва дархостҳои намунавӣ.

18) Анти-намунаҳо

"Ботлоқи маълумот": кӯл бидуни схема/феҳрист/соҳибон → маълумоти истифоданашуда ва гарон.
Ҳодисаҳои каскадӣ → нақшаи сарчашмаи "ором".
Санҷишҳо танҳо дар prod → муайянкунии дер, ислоҳи гарон.
Як "болгаи нуқра" -и дигаргуниҳо барои ҳама соҳаҳо.
Набудани карантин: издивоҷ ба Gold ва BI рост меояд.
Сканҳо/шодиҳои бемаҳдуд "барои барори кор" → таркиши хароҷот.
PII дар гузоришҳо/намунаҳо, набудани нигоҳдорӣ ва ниқоб.

19) Қолабҳои хурд

Қолаби SLA барои маҳсулоти додаҳо

Тару тоза: 99% афзоиш на дертар аз T + 10 дақиқа; ҳисобкунии пурра - соати 08:00 UTC D + 1.
Пуррагӣ: ≥ 99. 7% сабтҳо ва манбаъҳо; ҳадди ниҳоӣ аз рӯи калидҳо.
Дақиқ - Номутобиқатӣ бо метрикаи назоратӣ ≤ 0. 3%.
Мавҷудият: Нуқтаҳои ниҳоӣ/нуқтаи назари SQL ≥ 99 дастрасанд. 9% (28 рӯз).
Канали афзоиш, соҳиб, равзанаи дастгирӣ.

Сиёсати таҳияи нақша

Ноболиғ: илова кардани майдонҳои ихтиёрӣ, бозгашт мувофиқ.
Асосӣ: нест кардан/иваз кардан; нашри мувозӣ V1/V2 ≥ N ҳафта; нишондиҳандаҳои амортизатсия.

Нақшаи бозгашт

Манбаъ, диапазони сана, сметаи хароҷот/вақт, номутобиқатӣ, равзанаи роҳандозӣ, меъёрҳои муваффақият, бозгашт.

20) Харитаи роҳсозӣ оид ба татбиқи маълумот (масалан 8-12 ҳафта)

1. Нед. 1-2: инвентаризатсияи манбаъ, харитаи домейн, интихоби Lakehouse/OLAP, феҳрист.
2. Нед. 3-4: стандартҳои нақша/шартнома, скелети CI/CD/CT, санҷишҳои асосии DQ.
3. Нед. 5-6: огоҳиҳои наслӣ ва тару тоза, карантин, аввалин маҳсулоти SLA.
4. Нед. 7-8: Оптимизатсияи FIN Ops (қисмҳо/материализатсия), аз рӯи қолаб.
5. Нед. 9-12: MDM/истинодҳо, RBAC/ниқоб, амалияи RCA барои ҳодисаҳои маълумот, камолоти KPI.

21) Сатри поён

Маълумотҳо системаи амалиётии додаҳо мебошанд: масъулияти домейн, шартномаҳо ва озмоишҳо, автоматизатсияи тағирот, мушоҳида ва амният, иқтисодиёт ва равандҳои ҳодисаҳо. Бо ин равиш, маълумот маҳсулоти боэътимод мегардад: онро дар қабули қарорҳо, ҳисоботдиҳӣ ва ML санҷидан, чен кардан, миқёс ва боэътимод истифода бурдан мумкин аст.