تجزیه و تحلیل متنی

1) تجزیه و تحلیل متنی چیست و چرا لازم است

تجزیه و تحلیل متنی استخراج و استفاده از سیگنال های موقعیتی (چه کسی، کجا، چه زمانی، در چه دستگاهی، برای چه هدفی، در چه وضعیتی از سیستم/بازار) برای بهبود تصمیم گیری در لحظه است: توصیه ها، پیشنهادات، محدودیت های خطر، هشدارها، بهترین واکنش بعدی (بهترین اقدام بعدی).
مزایا: ارتباط بیشتر، اقدامات پر سر و صدای کمتر، تبدیل و حفظ سود، کاهش هزینه های عملیاتی و خطرات.

2) طبقه بندی زمینه

کاربر: بخش، مرحله چرخه زندگی، قصد، تاریخ رفتار، زبان.
دستگاه/مشتری: نوع و مدل، سیستم عامل/مرورگر، شبکه، کیفیت اتصال، باتری/CPU.
زمان: زمان روز، روز هفته، فصل، رویدادهای تقویم، «پنجره تازه» فعالیت.
جغرافیایی/محلی: کشور/منطقه/نقطه فروش، قوانین جغرافیایی و قیمت ها، تعطیلات محلی.
عملیاتی: بوت سیستم، صف، محدودیت های API، حوادث فعلی.
محتوا: موضوع/ژانر/دسته از جسم مشاهده شده، ابرداده.
زمینه کسب و کار: کمپین، تبلیغی، قیمت، محدودیت ها، قوانین ضد خطر.
متوسط/خارجی: آب و هوا، ترافیک، نرخ ارز، روند کلان (در صورت لزوم).

3) منابع سیگنال و جمع آوری

رویدادها و سیاهههای مربوط: کلیک ها، نمایش ها، معاملات، معیارهای سیستم.
مشتری SDK/لبه: سنسورهای دستگاه، تاخیر، ویژگی های محلی.
دایرکتوری های تخصصی: تقویم ها/تعطیلات، لایه های جغرافیایی، طبقه بندی محتوا.
مدل های ناظر: قصد، موضوعات، سمیت/خطر، تعبیه محتوا.
پیکربندی و قوانین: کمپین های فعال، پرچم های ویژگی، محدودیت ها.

تمرین: برای هر سیگنال - قرارداد (طرح، فرکانس، مقادیر مجاز) و کیفیت (طراوت/کامل بودن).

4) عادی سازی و شکل گیری ویژگی های متنی

طبقه بندی و هش کردن: ویژگی های کاردینالیتی بالا → ترفند هش/جاسازی.
ویژگی های زمان: رمزگذاری چرخه ای (sin/cos) برای ساعت/روز، پنجره های کشویی «آخرین N دقیقه/ساعت/روز».
جلسه: تشخیص مرزهای جلسه (آستانه عدم فعالیت)، علائم «در یک جلسه».
سلسله مراتب: استرانا → منطقه → گورود ؛ kategoriya → podkategoriya → teg.
تعاملات: ویژگی های نوع "device _ os × locale × hour_bucket'.
آنلاین در مقابل آفلاین: یکی از ویژگی های خاص در فروشگاه ویژگی با گزینه های تحقق: آنلاین (ms) و آفلاین (دسته).

5) معماری تجزیه و تحلیل متنی

طرح کلی: وارد کردن → غنی سازی زمینه → فروشگاه ویژگی (آنلاین/آفلاین) → مدل/قوانین → خدمت → بازخورد.

1. اتوبوس رویداد (کافکا/پولسار/NATS) با قرارداد (آورو/Protobuf).

• آنلاین: KV/کش برای تاخیر کم (Redis/RocksDB).
• آفلاین: DWH/Lake برای آموزش و تجزیه و تحلیل (Parquet/Delta/ClickHouse).
• 3. خدمات غنی سازی زمینه: جمع آوری زمینه از SDK/edge/directories، normalization، TTL و نسخه ها.
• 4. تصمیم گیری: مدل (به ثمر رساند آنلاین) + موتور قانون، راهزنان متنی.
• 5. تحویل: API، webhooks، ویدجت های UI، فشار/چت، CRM/CDP.
• 6. قابلیت مشاهده: SLO، رانش زمینه، اثرات عمل.

6) مدل ها و روش های سازگار با زمینه

راهزنان زمینه (LinUCB/تامپسون): تحقیق/عملیات متعادل برای NBA/پیشنهادات.
مدل سازی بالابرنده: مدل اثر عمل حساس به متن (T-/S-/DR-methods).
GBDT/جدول NN با تعاملات خودکار جستجو برای splines/زمینه تقاطع.
مدل های متوالی (RNN/ترانسفورماتور): الگوهای جلسه، HRED/GRU4Rec، خود توجه توسط رویدادها و زمینه ها.
خوشه بندی زمینه: خوشه های آنلاین برای مسیریابی سیاست/مدل.
قوانین و آستانه با زمینه: آستانه خطر بستگی به کیفیت ساعت/محل/سیگنال دارد.

7) زمان واقعی در مقابل آفلاین

زمان واقعی: راه حل های ≤ (100-500) ms زمینه فروشگاه آنلاین ویژگی، دایرکتوری های از پیش بارگذاری شده، حافظه پنهان.
نزدیک به زمان واقعی: پنجره های 1-5 دقیقه، ویترین های افزایشی، غنی سازی ارزان.
آفلاین: آموزش/کالیبراسیون، طراحی تعاملات ویژگی، تجزیه و تحلیل اثرات.

قانون: تعاریف یکسان از ویژگی ها در هر دو خط ؛ تست های سازگاری آنلاین/آفلاین.

8) کیفیت زمینه و SLO

تازگی: قدیمی تر از X دقیقه/ثانیه (بر اساس نوع سیگنال).
کامل بودن: درصد زمینه های کلیدی که پر هستند.
دقت/سازگاری: انطباق کتاب مرجع، تقاطع معتبر.
تاخیر p95/p99 برای خواندن ویژگی های آنلاین و تصمیم گیری.
Uplift/CTR/ARPPU/Recall @ K معیارهای تجاری حساس به زمینه هستند.

9) علیت و آزمایش

A/B طبقه بندی شده توسط زمینه یا CUPED برای کاهش واریانس.
راهزنان با گارد محافظ: محدودیت آسیب در تحقیقات.
شبه آزمایش: تفاوت در تفاوت/کنترل مصنوعی برای تغییرات خارجی (منطقه/فصل).
چند هدف تجارت کردن: بهینه سازی اهداف زوج (سود/خطر/شکایات) برای زمینه.

10) حفظ حریم خصوصی، رضایت و امنیت

موافقت و اختصاص اهداف به هر منبع زمینه.
به حداقل رساندن PII و نشانه گذاری قبل از غنی سازی/ذخیره سازی.
RLS/CLS: قوانین دید وابسته به متن، موقعیت جغرافیایی ذخیره سازی.
سیاست های TTL: دوره های نگهداری تنگ برای زمینه های حساس.
حسابرسی و DSAR: توانایی نشان دادن/حذف زمینه توسط موضوع داده.

11) مشاهده و تشخیص

داشبورد زمینه: پوشش توسط ویژگی ها، سهم «ناشناخته/دیگر»، پیری سیگنال.

رانش زمینه: PSI/JS توسط توزیع ؛ هشدارهای اتوماتیک

Trace-id: ردیابی رویداد پایان دادن به پایان → غنی سازی → تصمیم → عمل.
انتساب پس از عمل: کدام زمینه ها برای این اثر مهم بودند.

12) ادغام با نمودار دانش و معناشناسی

هستی شناسی زمینه: مقادیر سخت و سلسله مراتب (زمان/جغرافیایی/دستگاه).
غنی سازی KG: استخراج حقایق «مرتبط» (به عنوان مثال، provayder↔kategoriya↔region).
جستجوی معنایی: زمینه به عنوان فیلتر/وزن در رتبه بندی.

13) زمینه لبه

ویژگی های محلی: کیفیت شبکه، تاخیر، باتری، پیکربندی سخت افزار.
راه حل های لبه: مدل های سبک وزن/قوانین ؛ ما فقط مجموعه ها و ویژگی های غیر شخصی را ارسال می کنیم.
هماهنگ سازی: بافر و deduplication از به روز رسانی زمینه.

14) ضد گلوله

"محتوا خیلی زیاد است - به معنای بهتر است. "آموزش مجدد، افزایش تاخیر و هزینه.

ویژگی های ناسازگار آنلاین/آفلاین. نتیجه گیری های متناقض و تخریب

سیگنال های زودگذر بدون TTL. تجمع زباله، نقض حریم خصوصی.
طرح های «آزاد» را انتخاب کنید. مصرف کنندگان در طول تکامل جزئی شکست می خورند.

سیاست های مشابه برای زمینه های مختلف. از دست دادن کارایی و عدالت

علت را نادیده بگیرید. واکنش به همبستگی → آسیب.

15) نقشه راه پیاده سازی

1. کشف: نقشه های راه حل و مهلت، لیست زمینه ها، صاحبان، خطرات.
2. قراردادها و لغت نامه ها: طرح های سیگنال، کتاب های مرجع، TTL، موافقت می کنند.
3. فروشگاه ویژگی: مشخصات ویژگی تک (آنلاین/آفلاین)، تست های سازگاری.
4. مدل/سیاست MVP: 3-5 زمینه کلیدی، معیارها، کانال های تحویل.
5. آزمایشات: A/B طبقه بندی شده، راهزنان در یک بخش کوچک.
6. قابلیت مشاهده: SLO با تاخیر/تازگی/پوشش، هشدار رانش.
7. امنیت/پریو: RLS/CLS، نشانه گذاری، فرآیندهای DSAR.
8. مقیاس: زمینه های بیشتر، شخصی سازی، KG/معناشناسی، لبه.

16) چک لیست قبل از انتشار

• سیگنال های زمینه قرارداد، TTL، صاحبان و موافقت می کنند.
• ویژگی ها در فروشگاه ویژگی اعلام شده است ؛ آنلاین/آفلاین به طور یکسان محاسبه می شود.
• ویژگی های خواندن تاخیر p95 و تصمیم گیری در پنجره هدف.
• رانش/پوشش نظارت می شود ؛ هشدارها و کتابهای اجرا وجود دارد و.
• A/B یا باند پیکربندی می شوند ؛ گارد محافظ تعریف شده است.
• سیاست های حفظ حریم خصوصی و RLS/CLS فعال می شوند ؛ صادرات غیر شخصی است.
• مستندات: واژه نامه زمینه ها، طرح ها، پرسش های نمونه و قوانین.

17) قالب های کوچک

17. 1 مشخصات ویژگی زمینه (pseudo-YAML)

yaml feature:
name: hour_bucket type: categorical source: event_time transform: "floor(minute/15)"  # 15-минутные окна ttl: 30m online: true offline: true dq:
allowed: [0..95]
freshness_sla: 60s

17. 2 بعدی بهترین سیاست عمل با زمینه

yaml nba_policy:
context_require:
- locale in ["en","ru","tr"]
- device_os in ["Android","iOS"]
model: "linucb_v5"
guardrails:
- latency_p95_ms <= 200
- complaint_rate_24h < 0. 02 fallback: "rule_based_offer_if_model_conf<0. 55"

17. 3 ادغام Idempotent برای فروشگاه آنلاین

sql merge into fs_online as t using incoming as s on t. key = s. key and t. feature = s. feature when not matched then insert (key, feature, val, ts) values (...)
when matched and s. ts > t. ts then update set val=s. val, ts=s. ts;

17. 4 آزمایش طبقه بندی شده

yaml ab_test:
strata: [device_os, hour_bucket, region]
allocation: {control: 0. 5, treatment: 0. 5}
metrics: [uplift_cr, arppu, complaints]
duration_min_days: 7 stop_rules: {p_value<=0. 05, min_effect_size: 0. 5pp}

18) خط پایین

تجزیه و تحلیل متنی فقط «ساعت و کشور جایگزین» نیست، بلکه یک مدار مهندسی پایان به پایان است: سیگنال ها و TTL به وضوح شرح داده شده، ویژگی های آنلاین/آفلاین سازگار، مدل ها و سیاست هایی که زمینه را در نظر می گیرند، ارزیابی اثر مبتنی بر شواهد و قوانین سختگیرانه حفظ حریم خصوصی. یک زمینه به درستی تنظیم شده هر تعامل را به یک انتخاب هوشمند، به موقع و ایمن تبدیل می کند که به طور قابل توجهی معیارهای محصول و کسب و کار را بهبود می بخشد.