Բենչմարքինգը արտադրողականության

1) Ինչու՞ է iGaming-պլատֆորմը բենչմարկի

Տարաների պլանավորումը 'հաստատել, թե արդյոք ենթակառուցվածքը դիմակայելու է «Գազպրոմ-թայմ», մրցույթը կամ նոր պրովայդերը։

Տեխնոլոգիաների ընտրությունը 'տվյալները, SQL/OLAP շարժիչները, սթրիմինգը, FS/ML-serving, kashi, API-դարպասը։

Ռեգրեսիայի վերահսկումը 'օրինագծերից հետո, սխեմաները/ֆիչը, մոդելների նորարարությունը։

Բյուջեն և TCO-ը 'համեմատել «արտադրողականությունը դոլարով» և «լատենտը դոլարով»։

Արդյունքը '«գնել/օպտիմիզացնել/հետաձգել» լուծումը թվերի հիմքում, ոչ թե զգացմունքները։

2) Մեթոդաբանություն 'ինչպես խաբել ինքներդ ձեզ

1. Արձանագրեք ամեն ինչ ՝ տվյալների/կոդի տարբերակները, ալգորիթմները, նստատեղերը, ամսաթվերը։

2. Progrev (warm-up) հաստատվում է կայուն սարահարթը 'չափելով միայն սարահարթը։

3. Կրկնօրինակներ ՝ 363 պրոգոն; վստահելի տրամագիծը 95 տոկոսն է։

4. Իրատեսական պրոֆիլներ ՝ պիկի/« շնչառություն »բեռի, think-time, տաք պարամետրերի գրպաններ։

5. Նույն սեմանտիկան 'նույն SQL/fich-joins/KPI, նույնական պատուհաններ և ֆիլտրեր։

6. Քեշի հիգիենան 'թեստեր «կոտրված քեշով» և «cold start» - առանձին։

7. Անկախություն 'բենշ-ստենդը մեկուսացված է փորձարկումներից։

8. Սթոպի չափանիշները 'SLO-ն խախտված է կամ satur.ru-ն հասնում է թեստին։

3) Աշխատանքային ծանրության պորտֆելը (workload mix)

3. 1 Ingestion/ETL (Bronze → Silver → Gold)

Մետրիկները ՝ events/s, end-to-end freshness, հաջողությունը/retray, արժեքը/1000 հաղորդագրություն։

Թեստեր ՝ PSA/պրովայդերների burst հոսքերը, «կեղտոտ» տվյալները, schema drift։

3. 2 SQL/OLAP (MSH/2019)

Մետրիկները ՝ latency p50/p95/p99, throughput (QPS), սկաններ/բայթ/միջուկի վայրկյանում, cost/query։

Հարցումներ ՝ GGR/NET day/week, պահման կոորդինատներ, ավանդների ձագեր, heavy joins։

3. 3 Striming (խաղային փուլեր, հիբրիդային ազդանշաններ)

Մետրիկները ՝ պատուհանի E2E-լատենտային, watermark, exactly-once, կոնսուումերի հետ։

Սցենարներ ՝ X3 պրովայդերական «ցատկ», մեկ կուսակցության, rebalancing։

3. 4 Feature Store և օֆլինի պատրաստման

Մետրիկները ՝ point-in-time join latency, throughput fich/վայրկյան, ֆիչի խմբի նյութականացման ժամանակը, թարմ։

Սցենարներ ՝ զանգվածային պերոկալիբրովկա, պատմության վերագտնումը (backfill)։

3. 5 ML-serving (onome/batch/stream)

Մետրիկները ՝ p95/p99, error rate, feature freshness, hit-rate, cost/1k-ը, սառը մեկնարկը։

Սցենարները 'spike վճարման համար (KUS/հակաֆրոդ), RG սկորինգը ակցիաների ժամանակ։

3. 6 API վերլուծաբաններ և մետրիկ

Մետրիկները ՝ p95 հազար ռուբլի, success-rate, cache hit, cost/հարցում, FX/TZ սահմանափակումները։

Սցենարներ 'գործընկերային վահանակ, զանգվածային հաշվետվություններ, long-tail ֆիլտրեր։

4) Մետրիկի և SLI/SLO

Բացի այդ, ML-ի համար 'ASE/տրամաչափը բեռի տակ, PSI/dreaff մուտքերի մեջ։

5) Փորձի դիզայն

5. 1 Բեռի պրոֆիլներ

Ramp-up 10-15 րոպե Plateau 30-60 մղոն տրամագծով Ramp-down։

Պիկի '«դեկորատիվ» պրոֆիլը (10 րոպե X3), «հանգստյան ակցիան» (2 ժամ X1։ 8), «108-դիլ» (5 րոպե X5)։

Think-time и key-skew (80/20) для API/Feature Store.

5. 2 Փոփոխականների վերահսկում

Կուսակցությունների/կրկնօրինակների չափի ամրագրումը, կոնեկտների լիմիտները, pool size-ը։

«Խելացի ավտոմեքենաների» անջատումը կամ նրանց արդարության նախազգուշացումը։

Առանձին with/without cash։

5. 3 Վիճակագրությունը և զեկույցը

Մեդիանան, IQR, վստահելի պաշտպանություն։

Latency-histogram, time-series, saturae։

Առանձին բլոկը «անորոշությունն ու վտանգը»։

6) Արտեֆակտների հավաքածու

6. 1 Բենչարքի անձնագիր (ձևանմուշ)

Նպատակը '(օրինակ, հաստատել p95 API 35300 ms X3)

Բեռներ: (SQL TPC-like, API-միկս, ML սկորինգ 200 QPS...)

Տվյալները ՝ ծավալը, տաք մետաղների գրպանները, կեղևի տարբերակը

Կազմաձևը 'կլաստերներ, վարկածներ, սահմաններ, դրոշներ

Մետրիկներ/SLO 'ցուցակ, շեմեր, ալերտներ

Սթենդը 'մեկուսացում, տարածքներ, բանալիներ

Ռիսկեր ՝ սառը մեկնարկներ, ցանցային գծեր, քեշ քաղաքականություն

6. 2 YAML բեռի պրոֆիլը (ուրվագիծ)

yaml name: analytics_api_peak_oct ramp_up: PT10M plateau: PT40M ramp_down: PT5M mix:
- endpoint: /v2/metrics/revenue qps: 180 group_by: [date, brand, country]
cache_ratio: 0. 6
- endpoint: /v2/metrics/retention qps: 60 window: ROLLING_28D cache_ratio: 0. 3 limits:
concurrency: 800 per_ip_qps: 50 think_time_ms: {p50: 80, p95: 250}

6. 3 Չեկ թուղթ

• Տվյալները/սարքավորումները գրված են, քեշը մաքրված է (cold-run)։
• Գեորգի/տարբերակները գրված են անձնագրում։ seed տեղադրված է։
• SLO-ն ներառում է. ուղին և պրոֆիլերները ակտիվ են։
• SLO խախտման ժամանակ/կանգնելու պլանը։
• # bench status, նշանակված է պատասխանատու on-call։

7) iGaming ֆորումների առանձնահատկությունները

7. 1 Պրովայդեր Իվենտներ և մրցավարներ

Համարձակություն/պրովայդերներ, «վիտրինի էֆեկտը» (մեկ-երկու խաղեր տալիս են 40-60 տոկոսը)։

Միացրեք լոբբին (feature flags) որպես դեգրադացիայի արձագանք։

7. 2 Վճարումներ/PSA

Երկտեղանոց գործարքներ, վերափոխումներ, հերթեր, գաղափարախոսություն։

Զուգահեռ փորձարկեք երթուղիների տարբերակները (primary/backup PSA)։

7. 3 RG/Antifrod/KYC

Փորձարկեք tail-լատինականությունը և fallback-evristy (երբ մոդելը անհասանելի է)։

VIP/բարակ ֆայլերի համար առանձին պրոֆիլներ (thin-2019)։

8) Գործիքներ և պրակտիկա

Բեռի գեներացիան ՝ k6/JMeter/wwww.ust (API), իրադարձությունների սեփական ռեգրադները (stream)։

Ավելացումը 'հարցումների հետքեր, flamegraphs, GC/alloc, GPU util։

Observability: build/commit պիտակները մետրերում և լոգարաններում, սեփականատերերի պատասխանատվությունը։

Cost-metriks: դոլար/1k հարցումներ, դոլար/ժամ սարահարթ, «SLO արժեքը»։

9) Վերլուծություն և մեկնաբանություն

Համեմատեք SLO մակարդակում '«ավարտեց/ոչ», իսկ հետո' «որքան արագ»։

Առանձնացրեք քեշի հաղթանակը հաղթած շարժիչից/ճարտարապետությունից։

OLAP-ի համար տե՛ ս բայթերի ժայռերը, «կենտրոնացված տաք կետը» (shuffle, skew)։

ML-ի համար քվանիզացիայի/վերացման էֆեկտն է և քեշի հիթային ռեյթ։

10) Տարաների պլանավորում

Թարգմանեք արդյունքները scaling: QPS/միջուկը, events/s/instans, դոլար/միավոր։

Կառուցեք headro.ru (օրինակ ՝ 30%) և նշեք ավտո սկեյլի սահմանները։

Դեգրադացիայի «կարմիր կոճակը» պահեք, մենք մաքրում ենք ծանր ֆիտներ/վիջետետներ, ներառյալ պարզեցված KPI-ն։

11) Դերեր և RACI

Platform (R) 'սթենդներ, նվագախմբեր, դիտարկումներ, գործիքներ։

Domain Owners (R) 'սցենարներ և SQL/KPI, ճիշտ ստուգում։

ML Lead (R) 'սկորինգի, քեշի/քվանտիզացիայի պրոֆիլներ։

MSE (R) 'սահմաններ, ավտո սկեյլ, միջադեպեր։

System/DPO (C) 'թեստային տվյալների գաղտնիությունը, տոկենիզացիան։

Cort/Finance (A/C): SLO, cost նպատակները և բիզնեսի մեկնաբանությունը։

12) Իրականացման ճանապարհային քարտեզը

0-30 օր (MVP)

1. Բենչ կոդավորման կատալոգը 'ingestion, OLAP, API, ML։

2. Անձնագիր և YAML պրոֆիլ API-ի և վճարումների համար։

3. Dashbord SLO/Saturation/Cost; ալերտներ SLO ձախողումների վրա։

4. «Bench before releae» տերմինը կրիտիկական փոփոխությունների համար։

30-90 օր

1. Strim-bench (late, rebalancing, X3 burst)։

2. ML-serving: shadow + cold-start, քվանտիզացիա և քեշը։

3. Միգրանտների ավտոմատ արտադրությունը (PDF/Medluence) նետերից և անձնագրերից։

4. Նեղ տեղերի բուլարիզացիա, ROI-ի օպտիմիզացման բեկլոգը։

3-6 ամիս

1. Ռուսական սեզոնային բենչի (ամռան/աշուն/արձակուրդներ)։

2. Տարեկան capacity պլանը 'headro.ru, բյուջե, ընդլայնման կետեր։

3. Auto-repley (repro benci), champion-challenger եզրերը։

4. Արտաքին գործընկերները (պրովայդերներ/PSA) ստորագրված վեբհուկի հետ։

13) Anti-patterna

Քեշի խառնուրդը և շարժիչը առանց առանձին թեստերի։

Մեղքի բացակայությունը և կարճ «սպրինտները» սարահարթի փոխարեն։

Խաղալիքների տվյալների վրա Բենչին առանց տաք տեղեկատվության և խաչմերուկների։

P99 և GC/IO։ «միջին արագությունը» պոչերի փոխարեն։

«Խնձոր ապելսինների հետ» համեմատությունը 'տարբեր SQL/ֆիլտրեր/պատուհաններ։

Կրկնության արձանագրություն չկա, անհնար է վերարտադրել արդյունքը։

14) Կապված հատվածներ

APS-ի, API-ի վերլուծությունները և մետրը, MLOps-ը, մոդելների շահագործումը, Alerta-ը տվյալների հոսքերից, Audit-ից և տարբերակից, Տվյալների պահպանման քաղաքականությունից, անվտանգությունից և կոդավորումից, հասանելիության վերահսկումից։

Արդյունքը

Բենչմարկինգը ինժեներական առարկա է, ոչ թե «տարբեր պրոգոն»։ Խիստ մեթոդաբանությունը, iGaming-ի իրատեսական պրոֆիլները, թափանցիկ SLO-ը և գնի բարձրացումը թվերը վերածում են վստահ լուծումների.