Маълумоти калон

1) Фаҳмиш чист ва чаро ин муҳим аст

• data context domain усулҳои дуруст → тафсири тасдиқшуда → татбиқ дар маҳсулот/раванд.

• Паст кардани номуайянӣ ва вақти аксуламал.
• Оптимизатсияи ҳалқаҳо ва хароҷот, зиёд кардани LTV/ARPPU/нигоҳдорӣ (барои ҳама гуна соҳаҳо).
• Ташхиси барвақти хатарҳо, қаллобӣ, таназзул.
• Манбаъҳои нави даромад (маҳсулоти маълумот, API, хадамоти ҳисоботӣ).

2) Контури меъморӣ: роҳи маълумот ба фаҳмиш

1. Манбаъҳо: чорабиниҳои барномавӣ, гузоришҳо, транзаксияҳо, API-ҳои беруна, маълумоти шарикӣ, маҷмӯи кушода.

2. Муҳандисӣ ва ҷараён: CDC/ETL/ELT, навбатҳо (Kafka/Kinesis/Pub

3. Нигоҳдорӣ: Кӯли маълумот (минтақаҳои хом ва тозашуда) + ҳолатҳои намоиши DWH/OLAP, дар ҳолати зарурӣ HTAP.
4. Қабати семантикӣ: таърифҳои якхелаи ченакҳо ва андозаҳо, каталог, насл.
5. Платформаи хусусият: хусусиятҳои дубора истифодашуда, мувофиқати офлайн/онлайн.
6. Таҳлил ва моделҳо: ҳисобҳои партия/ҷараён, ML/омор, графикҳо, NLP, гео, силсилаи вақт.
7. Таҳвили фаҳмишҳо: панели панелҳо, огоҳиҳо, тавсияҳо, API, вебхукҳо, таҳлили дохилӣ.
8. Мушоҳида ва сифат: санҷишҳои додаҳо, мониторинги тару тоза/дрифт, огоҳиҳо барои аномалияҳо.

Принсип: мо ҳисобҳои метрикӣ/хусусиро аз визуализатсия ва интерфейсҳо ҷудо мекунем - ин таҳаввулотро суръат мебахшад.

3) Намудҳои таҳлил ва кай ба кор бурдани онҳо

Тавсиф: "чӣ шуд?" - агрегатҳо, бахшҳо, мавсимӣ, гузоришҳои когорт.
Ташхис: "чаро?" - таҳлили омилҳо, сегментатсия, атрибутсия, графикҳои сабабӣ.
Пешгӯӣ: "чӣ мешавад?" - тасниф/регрессия, силсилаи вақт, моделҳои наҷот/заряд.
Дорухат: "чӣ бояд кард?" - оптимизатсия, бандитҳо, RL, тавсияҳо, афзалияти амалҳо.

4) Блокҳои асосии методологӣ

4. 1 Силсилаи вақт: мавсимӣ/тамоюлҳо, Паёмбар/ARIMA/ETS, регрессорҳо (promo/events), forcasting ierarchical, nowcasting.
4. 2 Сегментатсия: k-means/DBSCAN/HDBSCAN, RFM/кластерҳои рафторӣ, профилҳо аз рӯи канал/гео/дастгоҳ.
4. 3 Аномалия ва хатар: STL-пошхӯрӣ + IQR/ESD, ҷангали ҷудогона, PCA мустаҳкам; баҳодиҳии қаллобӣ.
4. 4 Тавсияҳо: филтри муштарак, омили матритса, ҷобаҷогузории графикӣ, seq2rec.
4. 5 NLP: мавзӯъҳо, истихроҷи субъектҳо, ҳиссиёт/ният, таснифи чипта/бозхонд, ёварони RAG/LLM.
4. 6 Таҳлили графикӣ: мутамарказӣ, ҷомеа, роҳҳои қаллобӣ, таъсири гиреҳ, ченакҳои часпиши шабака.
4. 7 Сабабҳо: Санҷишҳои A/B, фарқиятҳо дар фарқиятҳо, холҳои майл, тағирёбандаҳои инструменталӣ, Do/Why/causal ML.

5) Аз маълумот ба хусусиятҳо: муҳандисии хусусият

Агрегатҳо аз рӯи тиреза: миқдори ҳаракаткунанда/миёна, басомадҳо, беҳамтоӣ.
Ақибмонии соатӣ/ҳаррӯза/ҳафтаина: гирифтани динамикаи кӯтоҳмуддат.
Хусусиятҳои Cohort: вақт аз X, давраи ҳаёти корбар/объект.
Хусусиятҳои гео: кластерҳои ҷойгиршавӣ, харитаҳои гармӣ, мавҷудият.
Хусусиятҳои графикӣ: дараҷа, пӯшиши равандҳо, Rank, ҷобаҷогузории гиреҳ/канорӣ.
Аломатҳои матнӣ: TF-IDF/ҷобаҷогузорӣ, тоналӣ, заҳролудшавӣ, мавзӯъҳо.
Мувофиқати онлайн/офлайнӣ: як мантиқи тағирот барои омӯзиш ва истеҳсол.

6) Таҷрибаҳо ва сабабҳо

Тарроҳӣ: гипотеза → метрика (ҳо) и муваффақият → таъсири ҳадди аққал → андозаи интихоб → тасодуфӣ/стратификатсия.
Таҳлил: p-арзишҳо/таъсири фосилаи эътимод, CUPED, ислоҳи санҷишҳои сершумор.
Таҷрибаҳои квазӣ: агар RCT имконнопазир бошад - DID, назорати синтетикӣ, мувофиқатҳо.
Оптимизатсияи онлайн: бандитҳои бисёр мусаллаҳ, UCB/TS, бандитҳои контекстӣ, истгоҳи барвақт.
Қарорҳои рамзгузорӣ: таҷрибаҳо ба платформаи хусусият-парчам, пайгирии версияҳо ворид карда шудаанд.

7) Сифати маълумот ва эътимод

Схемаҳо ва шартномаҳо: эволютсияи схемаҳо, мутобиқати қафо, қайди схема.
Санҷишҳои маълумот: тару тоза, мукаммалӣ, беҳамтоӣ, якпорчагӣ, диапазон/қоидаҳо.
Linage ва каталог: Сарчашма ба ченак; соҳибон, SLA, ҳолати эътибор.
Гузаронидан/партовҳо: Сиёсатҳое, ки ҳуҷҷатгузорӣ ва автоматӣ шудаанд.
Тафтиши репродуктивии фаҳмиш: ҳамон дархост → ҳамон натиҷа (версияи равзана/формула).

8) Махфият, амният, ахлоқ

PII/PCI/PHI: ниқоб, токенизатсия, махфияти дифференсиалӣ, кам кардан.
RLS/CLS: дастрасии сатр/сутун аз рӯи нақш/иҷорагир/минтақа.
Аудит: кӣ дид/содир кард, нишонаҳои дастрасӣ, сиёсати нигоҳдорӣ.
Этикаи намунавӣ: ғаразҳо ва баробарӣ, фаҳмондадиҳӣ (SHAP), истифодаи бехатари LLM.
Маҳаллисозӣ: минтақаҳои нигоҳдорӣ ва интиқоли наздисарҳадӣ мувофиқи талаботи ҳуқуқӣ.

9) MLO ва таҳлили амалиётӣ

Қубурҳо: омӯзиши DAG 'i (Airflow/Argo/DBT/Prefect), вокуниш ба бозиҳои нав/ҷараён.
Варақаҳои моделӣ: сабти ном (Феҳристи моделӣ), ҳисобҳои канарӣ, кабуд-сабз.
Мониторинг: ниҳонӣ, тару тозаи хусусиятҳо, кашидани маълумот/пешгӯиҳо, сифат (AUC/MAE/BS).
Рӯйпӯшҳо ва дафтарҳо: бозгашти худкор ба версияи қаблӣ, тартиботи таназзул.
Хароҷот барои хидмат: профили хароҷоти ҳисоб кардани фаҳмиш ва нигоҳдории хусусиятҳо.

10) Расонидани фаҳмишҳо: дар куҷо ва чӣ гуна нишон додан

Панели мутобиқшавӣ: навори афзалиятноки KPI, шарҳи ченакҳо, машқ ба рӯйдодҳо.
Таҳлили дохилӣ: JS-SDK/iframe/Headless API, филтрҳои контекстӣ, суратҳои электронӣ/PDF.
Огоҳиҳо ва тавсияҳо: "амали навбатӣ", ҳудудҳо, аномалияҳо, вайронкунии SLA; snooze/deduplication.
Схемаи амалиётӣ: ҳамгироӣ бо CRM/системаҳои чиптаҳо/оркестрҳо барои амалҳои худкор.
Маҳсулоти иттилоотӣ барои шарикон: порталҳои гузоришдиҳӣ, боргузорӣ, нуқтаҳои ниҳоии API бо квота ва аудит.

11) Нишондиҳандаҳои муваффақияти барномаи фаҳмиш

Қабул: ҳиссаи корбарони фаъоли таҳлил/моделҳо (WAU/MAU, басомад).
Таъсир: баланд бардоштани бизнеси асосии KPI (табдилдиҳӣ, нигоҳдорӣ, хатари қаллобӣ, COGS).
Суръати фаҳмиш: вақт аз ҳодиса то баромади/ҳушёрии дастрас.
Эътимоднокӣ: вақти корӣ, p95 таъхири ҳисобҳо ва расонидан, ҳиссаи пӯшишҳо.
Боварӣ: шикоятҳо дар бораи номутобиқатӣ, вақти ҳалли масъала, фарогирӣ бо санҷишҳои додаҳо.
Иқтисодиёт: хароҷот барои фаҳмиш, ROI оид ба ташаббусҳо, баргардонидани маҳсулоти додаҳо.

12) Монетизатсияи фаҳмишҳо

Дохилӣ: афзоиши даромад/пасандоз, оптимизатсияи идоракунии маркетинг/инвентаризатсия/хавфҳо.
Берунӣ: ҳисоботҳо/панелҳои пулакӣ, тамғаи сафед барои шарикон, дастрасӣ ба API/намоишҳо.
Тарифҳо: KPI-ҳои асосӣ ройгон, сегментҳои пешрафта/содирот/вақти воқеӣ - Pro/Enterprise мебошанд.
Бозори маълумот: мубодилаи маҷмӯаҳои маҷмӯӣ, ки ба дахолатнопазирӣ ва ҳуқуқҳо тааллуқ доранд.

13) Антипаттернҳо

"Худи маълумот ҳама чизро мегӯяд" бидуни фарзия ва контексти домен.
Таърифҳои ченакҳоро дар гузоришҳои гуногун (набудани қабати семантикӣ).
Дархостҳои зинда дар OLTP, ки маҳсулотро тарк мекунанд.
Моделҳои Oracle бидуни фикру мулоҳиза ва соҳиби тиҷорат.
Спам ҳушдор бидуни афзалият, такрорӣ ва фаҳмондадиҳӣ.
Набудани таҷриба - қабули қарорҳо оид ба таносуб ва "интуитсия".

14) Харитаи роҳсозӣ

1. Кашф: харитаи ҳалли (JTBD), KPI-ҳои интиқодӣ, манбаъҳо, хатарҳо ва маҳдудиятҳо (ҳуқуқӣ/онҳо).
2. Маълумот ва семантика: каталогҳо, схемаҳо, санҷишҳои сифат, таърифҳои ягонаи KPI.
3. Фаҳмиши MVP: 3-5 ҳолати мушоҳида (масалан, пешгӯии талабот, муайянкунии аномалия, баҳодиҳии чарн), таҳвили оддӣ (панели назоратӣ + ҳушдор).
4. Автоматика: API-и бефосила, ҳамгироӣ бо амалиёт, таҷрибаҳо, таҳлили сабабӣ.
5. Миқёс: платформаи хос, пайдарҳамии онлайн/офлайнӣ, релизҳои канарии моделҳо.
6. Монетизатсия ва экосистема: панелҳои беруна/API, тарифҳо, ҳисоботҳои шарикӣ.

15) Рӯйхати назоратии пеш аз озодкунӣ

• Луғати KPI ва соҳибони тасдиқшуда, версияҳои формула ҳуҷҷатгузорӣ карда шудаанд.
• Санҷишҳои маълумот (тару тоза/пуррагӣ/беҳамтоӣ/диапазон) дар CI гузаронида мешаванд.
• RLS/CLS ва ниқоби саҳроии ҳассос дар саҳна озмуда шуданд.
• p95 ҳисобкунӣ ва пешниҳоди ниҳонӣ ба SLO мувофиқат мекунад; пули нақд/векселҳо мавҷуданд.
• Огоҳиҳо авлавият дода мешаванд, лағжиш ва такрорӣ мавҷуд аст; аудити фаъолият нигоҳ дошта мешавад.
• Таҷрибаҳо ва усулҳои сабабӣ барои арзёбии таъсир омодаанд.
• Китобчаҳо дар бораи таназзули модел/маълумот ва гардиши автоматӣ танзим карда мешаванд.
• Сиёсати нигоҳдорӣ/DSAR ва маҳаллисозии нигаҳдорӣ бо Legal мувофиқа карда шудааст.

16) Намунаҳои фаҳмишҳои маъмулӣ (қолабҳо)

Тиҷоратӣ: драйверҳои табдилдиҳӣ аз рӯи сегмент ва канал; чандирии нарх; дурнамои талабот.
Ҳуҷраҳои амалиётӣ: мушкилиҳои SLA; Аномалияҳои пешгӯии сарборӣ/қобилият аз рӯи қадамҳои раванд.
Хавф/қаллобӣ: занҷирҳои ҳисобҳои шубҳанок; таркишҳои пуркунандаи барқ; баҳодиҳии манбаи маблағҳо.
Мизоҷ: эҳтимолияти баромад; NBO/тавсияҳо; сегментҳо аз рӯи ангеза/рафтор.
Сифати маҳсулот: сабабҳои паст шудани NPS/CSAT; мавзӯъҳо аз баррасиҳо; харитаи регрессияи пас аз озодшавӣ.

Сатри поён: фаҳмиши калони маълумот як интизоми системаест, ки дар он меъморӣ, методология ва иҷрои амалиёт ба схемаи қабули қарорҳо муттаҳид карда мешаванд. Муваффақият на аз рӯи ҳаҷми маълумот ё шумораи моделҳо, балки аз рӯи таъсир ба ченакҳои бизнес, устувории равандҳо ва эътимоди корбарон ба маълумот чен карда мешавад.