分析データの同期
1)エコシステムにアナリティクスの同期が必要な理由
ネットワークは、オペレータ、スタジオ/RGS、アフィリエイト、PSP/APM、 KYC/AMLプロバイダとメディアを結集します。単一の画像(funnels CR→FTD→ARPU/LTV、 RG/compliance、 transport SLO、 finance/RevShare)を表示するには、エコシステムには「2つの真実」がなく、チェーンとストアフロント間の正規性、タイムリーかつ実証可能なデータ同期が必要です変更および費用管理の。
2)オントロジーとデータ契約
Сущности: 'eventId'、 'traceId'、 'participantId'、 'role' (operator/studio/affiliate/psp/kyc/stream)、'管轄'、'brandId'、 'campaignId'、 'apmRouteId'、 'gameId'、 'tableIdバージョン'、'formulaVersion'。
正規イベント(最小):- 'click'、 'session_start'、 'registration'、 'kyc_status'、 'deposit'、 'ftd'、 'bet/spin'、 'reward_actended'、'撤退'、'postback_sent/received'、 'rg_guardrail_hit'、 'stream_sli'。
- スキーマレジストリ内のスキーマ(semver、フィールド互換性)
- 所有者、集計ウィンドウ、鮮度および完全性SLA;
- エラーポリシー(nullable/stubs)、ディレクトリ(通貨、ロケール、RTPプロファイル)。
メトリックストア:数式バージョン(GGR/NetRev/CR/ARPU/LTV、 K-factors)、その所有者とエントリの日付-数式は常にレポートでキックされます。
3)時間的な意味論とウィンドウ
イベントタイムと処理時間:集計は、処理時間ではなく、イベント時間に基づいて行う必要があります。
透かし:「late」イベントを監視する。受諾の方針(例えば、T+24h)。
Windows:スライド/カレンダー、過負荷時の再計算。
ディレイをメトリックとして:'ingest_lag'と'publish_lag'はショーケースごとに公開されます。
4)輸送および同期モード
1.CDC/ストリーミング(リアルタイム):
イベントバス(EDA)、 'traceId/participantId'による参加;
消費者のアイデンポテンシーとボディハッシュを通じて「意味の正確な一度」;
キュレーションされたトピック:生イベント、正規化、集計/オラクル。
2.バッチ/マイクロバッチ:
カーソルページネーション(テンポラリ/ログカーソル)による増分アップロード;
フォーマット:Parquet/Avroスキーマ;パーティー・マニフェスト。
3.API/Webhooks:
'/vN/events'と'Idempotency-Key';
webhooks signed (JWS/HMAC)、 replay registry、 backoff+jitter。
4.アセットシンク:
バージョン管理されたバンドルとしてのゲームのディレクトリ/ロケール/カタログ(ハッシュ、TTL)。
5) Idempotence、 dedupおよび遅れたでき事
Idempotency-Keyとクリティカルパスのボディハッシュ(支払い/ポストバック)。
重複排除:ウィンドウ± 5分/透かし;「見た」ハッシュの保存。
遅いイベント:upsert/backcountポリシー;changelogの店頭。
ビジネスの意味で正確に一度:私たちは「ブローカーの魔法」を必要としません、私たちは、スキームの消費者のアイデンティティと決定主義を必要とします。
6)属性と数式の調整
アトリビューション:最後のオプションのタッチルールには、チャンネル/管轄、クロスデバイスによるウィンドウがあります。
メトリック数式:各エントリは'formulaVersion'を参照します。MAJORの変更は'data_formula_change'として公開されます。
ルールに従ってバックフィル:数式を変更すると、移行期間(凍結期間)で二重出版(古い/新しい)が許可されます。
7)データ品質: SLI/SLOおよびコンフォーマンステスト
データ品質SLI:- 鮮度(publish_lag p95)、
- 完全性(イベントと参照の割合)、
- 一意性(重複の割合)、
- 一貫性(通貨/ロケール/ID)、
- 正確さ(チェックサム/オラクル)、
- 時間直線性(廊下での遅いイベント)。
- publish_lag p95 ≤ 1-5 s(操作パネル)、≤ 15分(ひれ。単位);
- 完全性≥ 99。T+15分で5%、 ≥ 99。T+24hの9%;
- 0 ≤重複します。1‰;oracleの不一致≤ 0。1–0.3%.
適合テスト:スキーム、必須フィールド、ディレクトリ、webhook署名、ギャップのないカーソルアップロード。
8)系統、監査およびoracles
Lineage:ストアフロント/ダッシュボードからプライマリセット(回路図/バージョン/所有者)まで。
WORM監査:immutable schema/formula/key/exceptionログ。
Oracles(署名された要約):GGR/NetRev/SLO/RGと'formulaVersion'、 'hash (inputs)'、 'kid'、 'traceId'-請求書とアピールのための真実の情報源。
トライアル「トレースパッケージ」:P1/P2インシデントのSLA 60-90 s。
9)プライバシー、ローカライズ、セキュリティ
PII最小化:'playerId'のトークン化、ログ/ショーケース内の個人データの禁止、セーフゾーンでのみデトークン化。
ローカリゼーション:管轄区域の地図(データクラスを保存/処理する場所)。
Zero Trust: mTLS、短命トークン、egress-allow-list、 key rotation/JWKS。
ABAC/ReBAC/SoD: 「自分のものを見て同意する」アクセス;「変化≠影響を測定≠」
10)金融和解と決済
キヤノンネット収益(簡略版):[
NetRev=GGR-ボーナスコスト-ジャックポット/プールシェア-支払手数料-チャージバック-税金/レビー-詐欺損失
]
和解:
- カーソルアップロード、"ors'(符号付き集計)、チェックサム;
- 請求書のステータス、不一致行為、およびSLAの解析;
- FXルール、 NET7/14/30、ホールド、クラウバック。
11)同期コスト管理
カーディナリティポリシー:ラベル内の'userId '/raw URLの禁止;'routeId/campaignId' allowed。
ダウンサンプリング/ロールアップ:1時間→1時間→5時間;RAWデータの寿命は短く、集計は長持ちします。
トレースの適応サンプリング:エラー/スローパス/新しいバージョンの基本パーセンテージ+優先度。
SLO-first:ソリューション(SLO/Finance/RG)をサポートするもののみを収集します。
12)同期ダッシュボード
データ同期の概要:publish_lag、完全性、重複、レイトレシオ、スキーマドリフト、コンフォーマンスエラー。
アトリビューションヘルス:ポストバック、デッドアップウィンドウ、物議を醸すケースの適時性。
ファイナンス/オラクル:集計とオラクル、請求書のステータス間の不一致。
管轄マップ:場所/PDフロー、DPA/DPIA準拠。
13)オペレーション、インシデント、RCA
アラート:鮮度/完全度の燃焼率、スキームのドリフト、重複のサージ。
戦争部屋: タイヤ/webhooks/CDC/storefrontsのための既製のplaybooks;集計/数式の停止ボタン
RCA「無罪検索」:faktgipotezaexperimentvyvoddeystviye;死後のSLO。
14)アンチパターン
メトリクス/数式とアクセッションの日付による「2つの真実」。
ロード中の履歴のオフセット・ページネーション(カーソルのみ)。
ログ/ショーケース内の生の個人データ;トークン化はありません。
署名とidempotency→doubles/holesのないポストバック動物園。
集計でのイベント/処理時間のミキシング。
透かしも遅延イベントポリシーもありません。
オラクルの代わりに手動調整(Excel/手動アップロード)。
ラベルの無制限のカーディナリティを持つ単一の大きなテーブル。
15)チェックリスト
デザイン・デザイン
- オントロジー、スキーマレジストリ、所有者、参考書。
- Metric Store-'FormulaVersion'-凍結したピリオド・ミューズMAJOR。
- 時間セマンティクス(イベントタイム、透かし)、レイトイベントポリシー。
- トランスポート:EDA/CDC、 API/署名されたwebhook、カーソル、idempotency。
- データ品質SLI/SLO、適合テスト、アラート。
- プライバシー/ローカライズ(DPIA/DPA)、ゼロトラスト、ABAC/ReBAC/SoD。
- オラクルと和解のルール。
[開始]
- サンドボックスとロード/カオスバスの実行/ディスプレイケース。
- カナリア同期1%→5%→25%→50%→100%ガードレール付き。
- ダッシュボードpublish_lag/completeness/duplicates/drift。
- 数式と発効日の文書化;リリースノート'data_formula_change'
Operation(オペレーション)
- ウィークリーDQレポート;SLO/ガードレールの改訂。
- スキーム/数式/アクセスの毎月の変更履歴。
- ブローカー/ingestors/storefrontsのための規則的なDR/xaoc。
16)成熟度ロードマップ
v1(基礎):統一されたスキーム、基本的なCDC/バッチ、カーソル、DQ-SLI、手動調整。
v2(インテグレーション):透かしとレイトイベントポリシー、オラクル、同期ダッシュボード、ジッタとの自動再トレイ。
v3(オートメーション):予測鮮度/完全性監視、スマートな調整、自動再インデックス作成、アダプティブサンプリング。
v4(ネットワークガバナンス):オラクル/品質信号のチェーン間の交換、数式のDAOルールと透明な宝物。
17)成功指標
データ品質:publish_lag p95、完全性%、重複‰、後半%、スキーマドリフトレート。
均一性:「FormulaVersion」が固定されたレポートの割合、インシデントのないMAJORの数。
ファイナンス:オラクルとの不一致、自動和解のシェア、紛争<X%。
操作:MTTD/MTTR同期インシデント、自動停止/ロールバックの共有。
コンプライアンス:0 PDリーク、成功したDPIA/DPAチェック、WORMログの100%可用性。
Observability Economics: rps/eventあたりのコスト・ツー・シンク、cardinality compliance。
簡単な要約
分析データの同期は、テーブルのコピーではなく、信頼と時間のプロトコルです。スキームと数式のキヤノン、透かし付きのイベントタイム、カーソルと特権、デッドアップと遅延イベント、DQ-SLOとオラクル、プライバシーとローカライゼーション。このフレームワークに従うことで、エコシステムは、迅速なソリューション、正直な計算、スケーラブルなネットワーク成長の基礎となる、統一された新鮮で実証可能な分析を受け取ります。