Վերլուծական տվյալների համաժամացումը
1) Ինչու՞ է էկոհամակարգը վերլուծության համաժամեցում
Ցանցը միավորում է օպերատորները, ստուդիաները/RGS, աֆֆիլատները, PSA/APM, KYC/AML պրովայդերները և լրատվամիջոցները։ Մեկ նկար տեսնելու համար (CR www.FTD www.ARPU/LTV, RG/complaens, SLO տրանսպորտի, ֆինանսավորման/RevExpress), էկոհամակարգին անհրաժեշտ է կանոնական, ժամանակին և ապացուցված տվյալների համաժամացումը շղթաների և վիտրինների միջև 'առանց «երկու ճշմարտության»։ փոփոխության և արժեքի վերահսկման պատմությունը։
2) Ontology և տվյալների պայմանագրեր
Сущности: `eventId`, `traceId`, `participantId`, `role` (operator/studio/affiliate/psp/kyc/stream), `jurisdiction`, `brandId`, `campaignId`, `apmRouteId`, `gameId`, `tableId`, `currency`, `schemaVersion`, `formulaVersion`.
Կանոնական իրադարձությունները (նվազագույն)
`click`, `session_start`, `registration`, `kyc_status`, `deposit`, `ftd`, `bet/spin`, `reward_granted`, `withdrawal`, `postback_sent/received`, `rg_guardrail_hit`, `stream_sli`.
Data Contracts:- սխեմաները Schema Registry-ում (semver, դաշտերի համատեղելիություն);
- սեփականատերերը, ագրեգացիայի պատուհանները, SLA թարմ և լիակատար։
- սխալների քաղաքականությունը (nullable/ducks), տեղեկատու (արժույթ, լոկալի, RTP-պրոֆիլներ)։
Metric Store: բանաձևերի տարբերակները (GGR/NetRev/CR/ARPU/LTV, K գործոններ), նրանց սեփականատերերը և մուտքի ամսաթիվը, բանաձևը միշտ պոկվում է գրանցամատյանում։
3) Ժամանակավոր սեմանտիկներ և պատուհաններ
Event Time vs Processing Time: ագրեգացիաները պետք է ապավինեն իրադարձությունների ժամանակ, ոչ թե վերամշակման։
Watermarks: «ուշ» իրադարձությունների վերահսկման համար։ դոպրիմի քաղաքականությունը (օրինակ, T + 35h)։
Պատուհաններ ՝ սայթաքող/օրացուցային, բեռնման ժամանակ։
Ձգումը որպես մետրիկ 'հրատարակվում է «ingest _ lag» և «publish _ lag» յուրաքանչյուր վիտրինի համար։
4) Տրանսպորտ և համաժամացման ռեժիմներ
1. CDC/striming (real-timm)
իրադարձությունների անվադողերը (EDA), «trance Id/participantid Id» խմբակցությունը։
«Հենց մեկ անգամ իմաստալից է» սպառողների և հեշի համակրանքի միջոցով։
վերահսկվող տեղանուններ 'հում իրադարձություններ, նորմալացված, ագրեգատներ/օրակուլներ։
2. Բաթչ/միկրոբատչ
Ռուսական իրական արտանետումները կուրսային պագինացիայով (ժամանակավոր/լոգ-կուրսորներ);
07: Parquet/Avro սխեմայով; մանիֆեստներ։
3. API/webhuks
«/vN/events »դասընթացներով և« Idempoty-Key »;
Webuks-ը ստորագրվել է (JWS/HMAC), ռուսական վերագրանցումը, backoff + ջիթերը։
4. Asset-կապույտ
գրողներ/լոկալներ/խաղերի և որպես տարբերակված խմբեր (հեշեր, TTL)։
5) Idempotenty, dedup և ուշ իրադարձություններ
Idempotency-Key-Key-ը և մարմնի մաշկը կրիտիկական ճանապարհների վրա (վճարումներ/հետբանկեր)։
Deduplication: պատուհան 355 րոպե/watermark; «տեսանելի» հեշի պահպանումը։
Ավելի ուշ իրադարձությունները 'ups.ru/հակադարձ վերահաշվարկի քաղաքականությունը; changelog վիտրինը։
Exactly-once-ը բիզնես իմաստով. Մենք չենք պահանջում «բրոքերի մոգություն», պահանջում ենք սպառողների և սխեմաների դետերմինալ։
6) Մոսկվան և բանաձևը
Ֆեդուիցիա 'lenseligible touch կանոնը, պատուհաններով' 108/ներարկումներով, քրոսս-Դեյվիսը 'միայն հոսանքների միջոցով (առանց հում PDn)։
Բանաձևը 'յուրաքանչյուր ձայնագրություն կատարվում է "www.Version'; MAJOR-փոփոխությունները հրապարակվում են որպես իրադարձություններ '«բանաձև _ բանաձև _ change»։
Backfill-ը կանոններով 'բանաձևը փոխելիս երկու հրատարակություն է (old/new) անցումային ժամանակահատվածում (frozen-period)։
7) Express Quality: SLI/SLO և կոնֆորմացիայի թեստեր։
SLI տվյալների հատկությունները
Թարմ (publish _ lag p95),
Լիխտա (իրադարձությունների մասնաբաժինը vs ստանդարտ),
Եզակիությունը (կրկնօրինակների մասը),
Համաձայնություն (արտարժույթ/24լ/ID),
Ճշգրտությունը (ստուգման գումարներ/oraculs),
Ժամանակի գծերը (ուշ իրադարձություններ միջանցքում)։
SLO (կենտրոններ)
publish _ lag p95-1-5 (վիրահատական վահանակներ), 3,15 րոպե (ֆին. ագրեգատները);
ամբողջական թիվ 99։ 5 տոկոսը T + 15 րոպե, 3699։ 9 տոկոսը T + 24h;
կրկնօրինակներ 240։ 1‰; տարբերությունը orakula 240-ի հետ։ 1–0. 3%.
Eurmoft-թեստերը 'սխեմաներ, պարտադիր դաշտեր, գրողներ, Webhuks ստորագրություններ, կուրսանտներ, առանց բացթողումների։
8) Lineage, աուդիտ և oracules
Lineage: վիտրինից/dashborda-ից մինչև առաջնային հավաքածուներ (սխեմաներ/տարբերակներ/սեփականատերեր)։
WORM-աուդիտ 'սխեմաների/բանաձևերի/բացառությունների անփոփոխ ամսագրեր։
Oraculs (ստորագրված կամարներ): GGR/NetRev/SLO/RG հետ 'ww.Version', «hash (inputs)», «kid», «trance Id» - invois և խմբակցությունների ճշմարտության աղբյուրը։
Փորձարկման «թրեյսի փաթեթներ» ՝ SLA 60-90 P1/P2 համար։
9) Գաղտնիությունը, տեղայնացումը և անվտանգությունը
PII-նվազեցումը '«playerId», PDn արգելքը լոգարաններում/վիտրիններում, դետոքսենիզացիան միայն սեյֆի գոտիներում։
Տեղայնացում 'միգրացիայի քարտեզներ (որտեղ մենք/տվյալների դասարաններ ենք մշակում)։
Zero Trust: mTSA, կարճ հոսանքներ, egress-allow-list, կոդավորման/JWKS։
ABAC/ReBAC/SoD: հասանելիությունը «տեսնում եմ իր և համաձայնեցված»; «Ես չափում եմ բջիջների ազդեցությունը փոխում եմ»։
10) Ֆինանսական Reconciliation և հաշվարկներ
Net Revenue-ի կանոնիկան (պարզեցված)
[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFees - Chargebacks - Tax/Levy - FraudLosses
]Սավկա
կուրսանտային փոխանցումներ, «արծիվներ» (ստորագրված ագրեգատներ), վերահսկողական գումարներ։
Ստատինվոյսի արձաններ, տարաձայնություններ և SLA վերլուծություններ;
FX կանոնները, NET7/14/30, հոլդները և կլաու-բեքի։
11) Համաժամացման արժեքի կառավարումը
Կարդինալության քաղաքականությունը 'արգելքը' userId '/հում URL պիտակների մեջ; թույլատրվում է 'rope Id/campault Id'։
Downsampling/roll-ups: 1с→1м→5м; RFC տվյալները կարճ են ապրում, ագրեգատները ավելի երկար են։
Adaptive sampling-ը 'հիմնական տոկոսը + առաջնահերթությունը սխալների/դանդաղ ճանապարհների/նոր տարբերակների համար։
SLO-first: Մենք հավաքում ենք միայն այն, ինչ աջակցում է որոշումները (SLO/ֆինանսներ/RG)։
12) Dashbords համաժամացման
Disnc Overview: publish _ lag, completeness, duplicates, latio, schema drift, կոնֆորմացիայի սխալներ։
Attribution Health-ը 'հետբեկների ժամանակացույցը, dedup պատուհանները, վիճահարույց դեպքերը։
Finance/Oracle 'ագրեգատների տարբերությունը օրակուլների հետ, ինվոյսի արձանները։
Jurisdiction Map: տեղայնացում/PDN հոսքեր, DPA/DPIA պահպանումը։
13) Վիրահատություններ, միջադեպեր, RCA
Alerta: burn-rate-ը թարմ/ամբողջական է, սխեմաների դրեյֆը, կրկնօրինակների աճը։
War-room: պատրաստի պլեյբուսներ անվադողերի/webhuks/CDC/վիտրինի համար; պողպատե կոճակներ ագրեգացիայի/բանաձևի համար։
RCA «առանց մեղավոր փնտրելու», ռուսական վարկածի փաստը հաստատեց փորձարկումը ռուսական գործողություն։ post-mortem SLO.
14) Anti-patterna
«Երկու ճշմարտություն» մետրիկների/բանաձևերի և մուտքի ամսաթվերի վրա։
Disset-pagination պատմությունը բեռի տակ (միայն կուրսորները)։
PDn-ի պանիրը լոգարաններում/վիտրիններում։ թունավորման բացակայություն։
Հետպատերազմյան կենդանաբանական այգին առանց ստորագրությունների և կուռքերի։
Event/Processing Time-ի խառնուրդը ագրեգացիաներում։
Չկա watermarks և ուշ իրադարձությունների քաղաքականություն։
Այն պատրաստված է ձեռքով (Excel/runive) նարաքուլների փոխարեն։
Միասնական մեծ սեղաններ, որոնք անսահմանափակ են պիտակների կարդինալության հետ։
15) Չեկ թերթերը
Նախագծումը
- Ontology, Schema Registry, սեփականատերեր, գրողներ։
- Metric Store с `formulaVersion` и frozen-period для MAJOR.
- Ժամանակավոր սեմանտիկները (event time, watermarks), ուշ իրադարձությունների քաղաքականությունը։
- Տրանսպորտ ՝ EDA/CDC, API/webhuks ստորագրություններով, կուրսորներով, գաղափարախոսությամբ։
- Express Quality SLI/SLO, www.orm.ru թեստեր, ալտերտեր։
- Privacy/Localization (DPIA/DPA), Zero Trust, ABAC/ReBAC/SoD.
- Օրակուլները և reconciliation կանոնները։
Մեկնարկը
- Ավազը և բեռը/քաոսը անվադողերը/վիտրինը։
- Կանարեկային համաժամացումը 1% 355% 2425% 2450% 24100 տոկոսը guardrails-ից։
- Publish _ lag/completeness/duplicates/drift.
- Մոսկովյան բանաձևը և մուտքի ամսաթիվը. release-notes `data_formula_change`.
Վիրահատություն
- DQ շաբաթական զեկույցը; SLO/guardrails։
- Ամսական սխեմաների/բանաձևերի/հասանելի։
- Ստացիոնար DR/xaoc բրոքերի/ինգեստորների/վիտրինի համար։
16) Հասունության ճանապարհային քարտեզը
v1 (Foundation) 'միասնական սխեմաներ, հիմնական CDC/batch, կուրսորներ, DQ-SLI, ձեռքով reconciliation։
v2 (Integration): watermarks և ուշ իրադարձությունների քաղաքականությունը, oraculs, dashbords համաժամացման, jitter-ի հետ։
v3 (Automation) 'թարմության/ամբողջության նախատիպային ստանդարտ, smart-reconciliation, auto-perindexing, հարմարվողական sampling։
v4 (Networked Governae) 'oraculs/որակի ազդանշաններ, DAO կանոնները բանաձևեր և թափանցիկ գանձարաններ։
17) Հաջողության մետրերը
Տվյալների որակը ՝ publish _ lag p95, completeness%, duplicate, late, schema drift rate։
Միաձուլումը 'արձանագրված «www.Version» -ի մասնաբաժինը, MAJOR-ի թիվը առանց պայմանագրերի։
Ֆինանսներ 'oraculs, Auto-reconciliation, վիճաբանություն Complaens: 0 PDn արտահոսք, հաջողակ DPIA/DPA ստուգումներ, WORM լոգարանների հասանելիություն 100 տոկոսով։ Դիտարկման տնտեսությունը 'Cost-to-Winnc-ը rps/event-ում, կարդինալության պահպանումը։ Վերլուծական տվյալների համաժամացումը ոչ թե աղյուսակների պատճենումն է, այլ վստահության և ժամանակի արձանագրությունը 'սխեմաների և բանաձևերի կանոնը, event-time-ը watermarks, կուրսորները և գաղափարախոսությունը, դեդուպը և ուշ իրադարձությունները, DQ-SLO-ը և oracula-ը, մասնավորությունը և տեղայնացումը։ Այս շրջանակին հետևելով ՝ էկոհամակարգը ստանում է միակ, թարմ և ապացուցված վերլուծությունը ՝ ցանցի արագ լուծումների, ազնիվ լուծումների և աճող աճի հիմքը։Վիրահատություններ ՝ MTTD/MTTR-ը համաժամացման, ավտոտոպների/ռոլբեկների մասնաբաժինը։
Ռուսական ռեզյումե