Снижение размерности
1) Зачем iGaming-платформе уменьшать размерность
Скорость и устойчивость ML: меньше признаков → быстрее fit/serve, ниже риск переобучения.
Визуализация: 2D/3D-проекции для обнаружения сегментов, дрейфа и аномалий.
Шум → сигнал: обобщенные факторы (поведенческие/платежные) устойчивее к выбросам.
Стоимость: меньше фич в онлайне → дешевле хранить/транспортировать/скорить.
Приватность: замена исходных чувствительных признаков агрегированными факторами.
2) «Отбор» vs «Построение» признаков
Отбор (feature selection): фильтры/обертки/веса модели — сохраняем подмножество исходных фич.
Построение (feature extraction): вычисляем новые факторы (проекции/эмбеддинги).
Комбинируем: сначала базовый отбор (leakage, константы, взаимная информация), затем — построение факторов.
3) Методы: краткая карта
3.1 Линейные
PCA / SVD: ортогональные компоненты, максимизируют объясненную дисперсию. Быстро, интерпретируемо (loadings).
Factor Analysis (FA): латентные факторы + специфические ошибки; хороша для поведенческих «шкал».
NMF: неотрицательные аддитивные части («темы»/«мотивы» платежей/игр); интерпретируемо при ≥0.
3.2 Нелинейные
t-SNE: локальная структура и кластера на 2D/3D; только для визуализации (не для сервинга).
UMAP: сохраняет локальную + часть глобальной структуры, быстрее t-SNE; подходит для препроцессинга кластеризации.
Autoencoders (AE/VAE): обучаем кодировщик → латентный вектор; можно онлайн/инкрементально.
Isomap/LE: реже в проде (дороги и капризны).
3.3 Категориальные/смешанные
Эмбеддинги категорий (игра/провайдер/канал/устройство) + PCA/UMAP над эмбеддинг-матрицей.
Расстояние Гауэра → MDS/UMAP для смешанных типов.
4) Пайплайн (эталон)
1. Data hygiene: маски PII, токенизация, заполнение пропусков, winsorizing хвостов.
2. Скейлинг: Standard/Robust scaler; для счетчиков — лог-трансформ.
3. Отбор: remove near-zero variance, corr>0.95 (leave-one), mutual info.
4. Метод снижения: PCA/UMAP/AE; фиксируем random seed и конфиг.
5. Оценка: метрики (ниже), стабильность, визуализации.
6. Serve: сериализуем трансформ (ONNX/PMML/склад registry), time-travel для перепроекций.
7. Мониторинг: дрейф латентных факторов, PSI, kNN-topology сохранность.
5) Метрики качества
Explained Variance (PCA): выбираем k с порогом (например, 90–95%).
Reconstruction error (AE/NMF): MSE/Poisson, SSIM для изображений (если CV).
Trustworthiness / Continuity (UMAP/t-SNE): от 0 до 1 — насколько сохраняются локальные соседи.
kNN-preservation: доля общих соседей до/после проекции.
Downstream-impact: качество кластеризации/классификации после трансформа (F1/AUC, silhouette).
Стабильность: Rand/NMI между перезапусками, чувствительность к seed/hyperparams.
6) Практические рецепты по задачам
6.1 Кластеризация игроков
UMAP → HDBSCAN: хорошо раскрывает сегменты «live/social», «bonus-hunters», «crash-risk».
PCA-baseline для быстрой интерпретации (loadings показывают «ставки/мин», «волатильность», «вечерний паттерн»).
6.2 Антифрод и платежи
NMF на матрице (игрок×метод оплаты) выявляет «мотивы» маршрутов; затем k-means/GMM.
AE на поведении депозитов/выводов — латентный вектор в модель аномалий (IForest/OC-SVM).
6.3 Рекомендательные системы
SVD/ALS-эмбеддинги (игрок↔игра/провайдер) + PCA/UMAP для фильтрации шума и скоринга похожести.
6.4 Тексты/отзывы
Sentence-эмбеддинги → UMAP: визуализация тем и всплесков негатива (см. «Сентимент-анализ»).
NMF на TF-IDF: интерпретируемые «темы» жалоб (выводы, KYC, лаги).
7) Онлайн, инкрементальность и дрейф
IncrementalPCA / Streaming AE: обновляем компоненты без полного переобучения.
Warm-start UMAP: обновление на новых батчах (осторожно с искажением глобики).
Дрейф: мониторим PSI/КС по факторам, drift топологии kNN; пороги → canary/rollback.
Версионирование: `projection@MAJOR.MINOR.PATCH`; MAJOR — несопоставимо, держать dual-serve.
8) Приватность и комплаенс
Zero-PII на входе; сниженные факторы хранятся отдельно от исходников.
k-анонимность витрин (минимум N объектов на срез).
Дифференц. приватность (опционально) в PCA/AE: шум в градиентах/координатах.
DSAR: возможность вычистить вклад субъекта (удалить строки, пересчитать факторы при следующем батче).
9) Интерпретация факторов
Loadings (PCA/FA): топ-фичи компоненты → человеко-читабельные названия («интенсивность ставок», «ночная активность», «чувствительность к бонусам»).
NMF-части: наборы фич с положительными весами → «мотив платежей/игр».
AE: линейная аппроксимация вокруг точки (Jacobian) + surrogate-модель для локальной объяснимости.
10) Интеграции
Кластеризация: UMAP/PCA-пространство → HDBSCAN/k-means.
Аномалии: AE-реконструкция/Latent distance → алерты.
Рекомендации: компактные эмбеддинги для похожести и ANN-поиска.
API аналитики: отдаем агрегаты и факторы вместо «сырых» чувствительных фич.
11) Шаблоны (готово к использованию)
11.1 Конфиг PCA
yaml projection:
method: "pca"
n_components: "auto_0. 95" # cumulative variance ≥95%
scaler: "robust"
random_state: 42 serve:
format: "onnx"
p95_latency_ms: 5 monitoring:
drift_psi_max: 0. 2 privacy:
pii_in: false11.2 Конфиг UMAP→HDBSCAN
yaml umap:
n_neighbors: 30 min_dist: 0. 05 metric: "cosine"
random_state: 42 cluster:
method: "hdbscan"
min_cluster_size: 120 min_samples: 15 evaluate:
metrics: ["silhouette","trustworthiness","knn_preservation"]11.3 AE (серверинг)
yaml autoencoder:
encoder: [256,128,64]
latent_dim: 16 activation: "gelu"
dropout: 0. 1 optimizer: "adamw"
loss: "mse"
early_stop_patience: 10 serve:
route: "light heavy" # router by latent complexity cache_embeddings: true11.4 Паспорт проекции (BI)
yaml version: "proj_pca_1. 3. 0"
explained_variance_cum: 0. 932 top_components:
- id: pc1, name: "rate intensity," top_features: ["bets _ per _ min, ""volatility,"" session _ len"]
- id: pc2, name: "night activity," top_features: ["evening _ share, ""dow _ weekend,"" live _ share"]
usage:
downstream: ["clusters_v4","fraud_iforest_v2","reco_ann_v3"]12) Дорожная карта внедрения
0–30 дней (MVP)
1. Гигиена фич (скейлинг, пропуски, корреляции), Zero-PII.
2. PCA с порогом 95% дисперсии; визуализация 2D UMAP для анализа сегментов.
3. Метрики: explained variance, trustworthiness, downstream uplift.
4. Регистрация трансформа в registry; дашборд дрейфа факторов.
30–90 дней
1. AE для платежей/поведения; NMF для тем отзывов.
2. Инкрементальные апдейты (IncrementalPCA/AE); canary при смене версии.
3. Интеграция с кластеризацией/антифродом/рекомендателем; алерты kNN-topology drift.
3–6 месяцев
1. Гео-/тенант-специфичные проекции; budget-aware сервинг (INT8/FP16).
2. Отчеты интерпретации факторов для продуктовых команд.
3. DP-варианты для регуляторно чувствительных рынков.
13) Анти-паттерны
Использовать t-SNE для прод-сервинга (нестабилен и несопоставим между запусками).
Смешивать PII с факторами; логировать исходные фичи без масок.
Игнорировать скейлинг/пропуски → «фальшивые» компоненты.
Выбирать k «на глаз» без кривой дисперсии/метрик и downstream-валидации.
Пересобирать проекцию без версионирования и dual-serve → «сломанные» модели вверх по цепочке.
Трактовать UMAP-картинку как «ground truth» без проверки стабильности.
14) RACI
Data Platform (R): пайплайны, registry, мониторинг дрейфа.
Data Science (R): выбор/настройка методов, интерпретация факторов.
Product/CRM (A): использование факторов в сегментации/офферах.
Risk/RG (C): правила использования факторов, защита от «агрессивного» таргетинга.
Security/DPO (A/R): приватность, k-анонимность, DSAR.
15) Связанные разделы
Кластеризация данных, Рекомендательные системы, Анализ аномалий и корреляций, Сентимент-анализ отзывов, NLP и обработка текстов, DataOps-практики, MLOps: эксплуатация моделей, Этика данных и прозрачность.
Итог
Снижение размерности — это инструмент производственного ML, а не только «красивые облака точек»: строгая гигиена фич, метрики сохранения структуры, стабильные и версионируемые трансформации. В iGaming такие проекции ускоряют обучение и сервинг, улучшают сегментацию и обнаружение аномалий, экономят бюджет и помогают соблюдать приватность.