Мультимодальные модели

1) Зачем мультимодальность iGaming

• снизить фрод (KYC+liveness, «экран-на-экран», подмена картинок);
• ускорить модерацию и бренд-сейфти креативов/видео по юрисдикциям;
• понимать контекст стримов и упоминаний провайдеров/игр;
• находить корни UX-проблем (видео+лог-события+комментарии);
• давать агентам саппорта «богатые» ответы (текст+скрин/видео/ссылки);
• улучшать RG-процессы (текст жалобы + паттерн визуальной фрустрации + история сессии).

2) Архитектуры и паттерны

2.1 CLIP-подобные (dual encoders, contrastive)

Два энкодера (текст/визуал) обучаются на ITC (image-text contrastive). Быстрый поиск/матчинг: логотипы, игра↔креатив, стрим↔провайдер.

2.2 Encoder→Decoder / VLM

Визуальный энкодер + LLM-декодер для «описывания» картинки/видео, ответа на вопросы по UI/скриншоту, объяснения KYC-решений. Поддерживает Grounding (bbox/маски) и Toolformer-стиль вызова инструментов.

2.3 Perceiver/Perceiver IO / Flamingo-подобные

Длинные последовательности и смешанные модальности (кадры+текст+табличные фичи). Полезно для стримов и последовательных KYC-кадров.

2.4 LLM-как-оркестратор (Router/Agent)

Легкие специализированные модели на критическом пути (детекция карты/лица, OCR, ASR) + LLM, который стыкует результаты, вызывает правила, пишет человеко-читаемые причины.

2.5 Fusion-Late / Fusion-Early / Co-attention

Позднее слияние — надежно и дешево; раннее — мощнее, но дороже. Для прод-пути: чаще late+co-attention (баланс точности/стоимости).

3) Данные и разметка

Синхронизация: кадры/субтитры/события игры/чаты → выравнивание по времени (ASR/диаризация для аудио).
PII/биометрия: редактируем лица/документы (боксы/маски), токенизируем идентификаторы; DSAR-совместимость.
Доменные словари: PSP/провайдеры/игры, термины RG/бонусов, локальные платежки (Papara/Mefete/PIX).
Синтетика: документы/селфи с вариациями света/угла; креативы с разными логотипами/CTA; «пере-съем» экрана.
Активное обучение: модель помечает неуверенные/пограничные кейсы; HITL-контур.
Баланс: редкие классы (спуф, запрещенный символ, 18+) — не реже основной массы.

4) Выравнивание и обучение

ITC (InfoNCE): текст↔изображение/кадр (много негативов, температурный софтмакс).
ITM (Image-Text Matching): бинарка «соответствует/нет».
Instruction tuning: диалоги «вопрос по UI/документу → ответ+обоснование».
Grounding: supervision на bbox/масках для ссылок «вот где ошибка».
Causal/Tool use: шаблоны «увидел → вызвал OCR/NER → сверил лимиты PSP».
RLHF/RLAIF: предпочтения ревьюеров для «защитных» сценариев (реклама/18+/RG).

5) Приватность, безопасность, этика

Biometrics-by-design: on-device предвалидация, edge-инференс, шифрование эмбеддингов, срок хранения.
Zero-PII в логах: ни сырых кадров, ни полного текста документа; токены и ссылки на кейсы.
DSAR/Legal Hold: криптостирание, неизменяемые логи решений (WORM).
Fairness/Bias: освещение/тон кожи/камера/язык → регулярные отчеты и паритетные допуски.
Юрисдикции: фильтры 18+, «ответственная реклама», хранение и ключи в регионе лицензии.

6) Ключевые сценарии (iGaming)

1. KYC+Liveness (видео+текст)

OCR полей документа, сравнение с заявкой (табличные).
Селфи/кадры → эмбеддинги/спуф-скор; объяснение «почему deny» с ссылкой на регион правила.

2. Модерация креативов/видео

Детекция запрещенных текстов/логотипов/символов, возрастные плашки, ставки/вводящие в заблуждение сообщения.
Генерация «политического» отчета для маркетинга: что исправить и почему.

3. Стрим-аналитика (видео+чат)

Лого/игра/события (большой выигрыш, дисконнект), тональность чата, токсичность.
Атрибуция промо-показов провайдеру, выравнивание по таймкодам.

4. Саппорт/UX (скриншоты+текст)

Q&A по скрину: «Где кнопка вывода?», «Почему ошибка KYC?» — с подсветкой области UI.

5. RG/Антифрод

Видеопаттерны «screen re-capture», сопоставление с текстом жалоб и сигналами сессии; HITL-эскалации.

7) Метрики и бенчмарки

Онлайн-SLO: success rate ≥ 99.5%, p95 ≤ 300–500 мс (зависит от маршрута), drift-алерты.

8) Эксплуатация и стоимость (MLOps)

Registry: версии модели/данных/аугментаций; policy «где можно применять».
Релизы: shadow/canary/blue-green; автоматический откат по FPR/latency/drift.
Наблюдаемость: latency p50/95/99, error rate, GPU/CPU util, PSI дрейфа (сцены/языки).
Cost control: дистилляция/квантизация (FP16/INT8), кадр-сэмплинг, кэш эмбеддингов, роутинг «легкая/тяжелая».
HITL: очередь спорных; активное обучение и пополнение golden-сета.
Гео/тенант-изоляция: разные ключи, квоты, route-политики.

9) Шаблоны (готово к использованию)

9.1 API мультимодального модератора

yaml
POST /v1/moderation/mm request:
image_token: "img_..."
text: "Join now and win..."
market: "TR"
channel: "display"
response:
violations: ["age_rating_missing","misleading_promise"]
grounding:
- type: "bbox"
label: "misleading_promise"
box: [x1,y1,x2,y2]
decision: "deny"
trace_id: "..."
slo: {p95_ms: 350}
privacy: {pii: false}

9.2 Политика SLO/Privacy

yaml service: multimodal.core slo:
success_rate: 0.995 latency_p95_ms: 300 drift_psi_max: 0.2 privacy:
store_raw_media: false biometrics_tokenized: true retention: "P30D"
ethics:
bias_gap_pp_max: 3

9.3 Карточка модели (фрагмент)

yaml model: "mm_clip_ui_vlm@2.3.1"
task: ["creative_moderation","ui_qa","kyc_support"]
data: {images: 2.1M, texts: 12M, videos: 90k clips}
metrics:
moderation_precision_deny: 0.92 ui_qa_f1: 0.81 ocr_cer: 0.055 limits:
no_personal_photos_in_training: true region_keys: ["EEA","LATAM","TR"]
review_cycle_days: 90

9.4 Схема «events_mm_gold»

yaml ts: TIMESTAMP brand: STRING country: STRING modality: STRING   # image    video    text    mix task: STRING     # moderation    kyc    ui_qa    stream_logo decision: STRING   # allow    manual    deny scores: MAP<STRING,FLOAT>
grounding: JSON    # bboxes/masks/timecodes trace_id: STRING

9.5 Prompt-шаблон (UI Q&A, безопасность)

Ты ассистент по UI. На входе: описание экрана (OCR/объекты) и вопрос.
1) Отвечай только тем, что видно на экране или в правилах бренда.
2) Если данных не хватает — скажи «недостаточно информации» и предложи шаг.
3) Никогда не проси пользователя присылать документы в чат.
Верни: ответ, краткое обоснование, при наличии — координаты области.

10) Дорожная карта внедрения

0–30 дней (MVP)

1. CLIP-поиск логотипов/игр + простая модерация креативов (текст/18+).
2. UI Q&A на скриншотах (выделение zonas), интеграция в саппорт.
3. Пайплайн PII-редакции и токенизации; наблюдаемость latency/success.

30–90 дней

1. Видеомодуль стримов: лого/хайлайты + привязка чата (ASR/тон).
2. KYC-помощник: объяснения решений (grounding на документ/селфи), hitl-очередь.
3. Canary-релизы, дрейф-алерты (сцены/языки), отчеты bias/fairness.

3–6 месяцев

1. Инструкционное дообучение на доменных задачах (модерация/UX/PSP-правила).
2. Конфиденциальный инференс (TEE) в платежных потоках/VIP.
3. Дистилляция/квантизация, кэш эмбеддингов; бюджет стоимости на запрос.
4. Авто-генерация golden-кейсов из спорных и пост-мортемов.

11) Анти-паттерны

Сырые кадры/аудио в логах и длительное хранение без причины.
«Одна модель для всего» на критическом пути платежей — без роутера и fallback.
Отсутствие grounding/объяснимости в модерации: споры с маркетингом и регуляторами.
Игнор bias/освещения/камер — локальные провалы KYC.
Никаких дрейф-алертов: деградации «расползаются» по регионам.
Модели без HITL: нет улучшения на краевых кейсах.

12) Связанные разделы

Компьютерное зрение в iGaming, NLP и обработка текстов, Сентимент-анализ отзывов, DataOps-практики, MLOps: эксплуатация моделей, Анализ аномалий и корреляций, Алерты из потоков данных, API аналитики и метрик, Безопасность данных и шифрование, Контроль доступа, Этика данных и прозрачность.

Итог

Мультимодальные модели превращают разрозненные каналы — текст, изображение, видео, звук и события — в согласованный, объяснимый и безопасный поток решений. В iGaming это означает быстрее и честнее KYC, меньше фрода, безопасные креативы, прозрачную атрибуцию провайдеров на стримах и умные ответы саппорта — при строгом соблюдении приватности, бюджетов и регуляторики.