Մոդելների իրականացումը

1) Ինչո՞ ւ

Նպատակը մոդելի որոշումների որակը և անվտանգությունն պահպանելն է, երբ SLA/SLO, RG/AML/Legal և ռուսական։ Գրանցումը պետք է վաղ հայտնաբերի դեգրադացիաները (տվյալները, տրամաչափը, latency, արժեքը), նվազեցնի expected cost սխալները և ապահովեն վերարտադրողականությունը/աուդիտը։

2) Մոնիտորինգի ոլորտները (քարտեզը)

1. Հասանելիություն և արտադրողականություն ՝ latency p95/p99, error-rate, RPS, ավտո սկեյլ։

2. Կանխատեսումների որակը ՝ PR-AUC/KS (առցանց պիտակների վրա), տրամաչափը (III), expected-cost @ threshold։

3. Դրեյֆը և կոմպոզիցիան ՝ PSI/KL-ը 'դեմքերի և ժայռերի, բաշխման/կատեգորիաների փոփոխությունը։

4. Ծածկույթն ու ամբողջականությունը 'հաջող սպասվող հարցումների մասնաբաժինը, «դատարկ» ֆիչի մասնաբաժինը, hit-rate քեշը։

5. Slice/Fairness: Չափումներ շուկաների/պրովայդերների/սարքերի/հաշիվների տարիքի վրա։

6. Guardrails (RG/AML) ՝ քաղաքական խախտումներ, միջամտությունների հաճախականությունը, false positives/negatives։

7. Արժեքը ՝ cost/request, cost/feature, GPU/CPU ժամացույց, small-enses/IO (batch/near-RT)։

8. Տվյալները/պայմանագրերը 'ֆիչի սխեման, տարբերակները, on.ru/24.ru համարժեք։

3) SLI/SLO (iGaming-ի համար)

Latency p95: No. 150 ms, RG/AML ալտերտներ 245 e2e-ից։

Availability: ≥ 99. 9%.

Error-rate 5xx: ≤ 0. 5 րոպեի ընթացքում 5% պատուհանը։

Coverage: 3699 տոկոսը ստացել են վալիդային սկոր և լուծում։

Freshness պիտակները onoft-գնահատման համար 'D + 1 (ամենօրյա), արագ կոմպոզիցիաների համար ՝ 241 ռուբլի։

Drift PSI: fichi/score <0։ 2 (warning с 0. 1).
ՌՍՖՍՀ-ի տրամաբանությունը ՝ 240։ 05.

Expected-cost _ 07: ոչ ավելի բարձր, քան մոդելի + X% (X-ը ընտրում է բիզնեսը)։

4) Ազդանշաններ և բանաձևեր

4. 1 Դրեյֆ

PSI: Մենք հավաքում ենք բաժանման տարբերությունը (train vs)։

KL-դիվերգենցիա 'զգայուն է «բարակ» պոչերի համար։ վերահսկել հիմնական ֆիչի/սկորի համար։

KS-ի համար (պիտակների առկայության դեպքում), CDF տարբերությունը դրական/բացասական համար։

4. 2 Տրամաչափություն

4. 3 Expected-Cost

Microsoftizirum (C = C = + fp = cdot FPR + c _ + + fn = cdot FNR) աշխատանքային շեմին։ առցանց դիտարկվում է սայթաքող պատուհանում 'սեղմված պիտակներով։

5) Պիտակների աղբյուրները

Առցանց պիտակները (արագ կոմպոզիցիաներ) 'իրադարձությունը «դեպոզիտ 7 օրվա ընթացքում», տեսահոլովակ/փոխակերպում, որը ավարտվել է RG-ի քեյսը։

Հետաձգված պիտակները ՝ chargeback/frod (45-90 օր), երկարաժամկետ churn/LTV։

Կանոնները 'պահել as-of ժամանակը; չօգտագործել «ապագայից» իրադարձությունները։

6) Dashbords (նվազագույն կազմը)

1. Վիրահատական ՝ RPS, p50/p95/p99 latency, 4xx/5xx, saturation, autoscaling։

2. Որակը 'score-distribution, PR-AUC (112 պիտակների վրա), IV, expected-cost, KS։

3. Դրեյֆ 'PSI/KL-ն լավագույն ֆիգուրներով, novelty կատեգորիաներով, missing-rate, feature-fetch latency-ով։

4. Slice/Fairness: PR-AUC/CSA/expected-cost շուկաներում/պրովայդերներ/dewisam։

5. Guardrails: RG/AML խախտումներ, միջամտություններ/1k հարցումներ, false-stop rate։

6. Արժեքը ՝ cost/request, CPU/GPU time, cache hit-rate, արտաքին lookups։

7) Ալերտինգը (օրինակ կանոնները)

HighP95Latency: p95> 150 ms (5 րոպե) page DRE/MLOps։

ErrorBurst: 5xx > 0. 5% (5 րոպե) www.rollback-ջութակը հասանելի է։

PSI_Drift: PSI(amount_base) > 0. 2 (15 րոպե) nowwarm-up retrain/kanarein։

ECE_Bad: ECE > 0. 220 (30 րոպե) նախատեսվում է վերանայել տրամաչափը/շեմն։

ExpectedCost _ Up: + X տոկոսը բենչարկին (1 օր) պլանավորվում է դիտարկել արձագանքը/pertren։

Slice _ Failure: PR-AUC շուկայում ընկավ> Y% (1 օր) տիկետի տիրույթի սեփականատիրոջը։

Guardrails _ Breach-ը ագրեսիվ օֆֆերերների մասնաբաժինը> cap է, որը տեղադրված է kill-switch-ի կողմից։

8) Տրամաբանություն և ուղի

Հարցման լոգները (նվազագույն) ՝ "request _ id", "trace _ id", "model _ id/version", "feature _ version", "feature _ stats" (missing%, extremes), "score", "decision", "threshold", "" guard _ entk "," latency _ 24", "cost _ estimate", (oporation) բացատրություն (SHAP top-k)։

OTel-трейсы: спаны `feature_fetch` → `preprocess` → `score` → `postprocess` → `guardrail`.

PII 'միայն կեղծանուններ/հոսանքներ; դիմակավորում քաղաքականության, նստավայր։

9) Որակի առցանց գնահատում

PR-AUC/KS արագ պիտակների համար (ժամ/օր)։

Ձերբակալված պիտակները 'D + 7/D + 30/D + 90, expected-cost։

Տրամաբանությունը 'Isotonic/Platt-ի վերագնահատումը D + 1, 71-refresh արտեֆակտը։

10) Լուծումների շեմն ու քաղաքականությունը

Շեմն այն է, որ մենք պահում ենք որպես եզրը։ առցանց մենք համարում ենք expected-cost և ուղղվում ենք թույլատրելի միջակայքի սահմաններում (rate-limited)։

Safety-caps: Գործողության վերին/ստորին սահմանները; ձեռքով override կոմպլանսի համար։

Backtesting 'nightly սիմուլյացիա երեկվա տվյալների վրա։

11) Slice & Fairness

Սեգմենտներ ՝ շուկա/միգրացիա, պրովայդեր, սարք/ASN, հաշիվի տարիքը, դեպոզիտ ուժը։

Մետրիկները ՝ PR-AUC, IV, expected-cost, FPR/TPR տարբերությունը (equalized oddds), parate impact։

Գործողությունները 'տրամաչափություն/սլայզների շեմն, կշիռների փոխակերպումը, դելֆիչը։

12) Համարժեք է on.ru/24.ru

Ֆիչի հավասարության թեստը 'MAE/MAPE վերահսկողական ընտրության ժամանակ; ալերտը, երբ բաժանվում է> շեմն է։

Տարբերակումը '«feature _ spec _ version», «logic _ version»; WORM արխիվը։

Սխեմաների պայմանագրերը 'breaking-change արգելված է առանց կրկնակի գրելու (v1/v2)։

13) Guardrails (RG/AML)

Մոսկվա -/Post-interter, հաճախականության լիմիտներ, cooldown, արգելքների ցուցակներ։

Логи `policy_id/propensity/mask/decision`; զեկույցը խախտումների մասին է։

Time-to-intervene և false-intervention rate։

14) Միջադեպեր և runbook

Սցենարներ և քայլեր

1. Latency 2019/5xx 105: Ստուգել արտաքին fich-պրովայդերները, նախատեսվում է ներառել kash/timauta-ը rollback-ի անհրաժեշտության դեպքում։

2. PSI/ISO/Expected-cost-ը վատացավ 'freeze no (canary), միացրեք fallback շեմերը/մոդելը, սկսեք retrain։

3. Slice ձախողումը 'slais-հատուկ շեմն է, տիրույթի սեփականատիրոջ հյուսետը։

4. Guardrails breach: kill-switch, Քեյսերի աուդիտ, post ծովով։

15) Արժեքը և արտադրողականությունը

Ավելացում 'ժամանակի մասնաբաժինը feature-fetch vs score vs IO-ում։

Քեշի ռազմավարությունը 'TTL/eviction, «տաք» ֆիչին RAM-ում, սառը' lazy։

Քվանտիզացիան/մոդելի օպտիմիզացումը 'FP16/INT8, երբ պահպանում է որակը։

Chargeback: cost/request, cost/feature թիմերում/շուկաներում։

16) Օրինակներ (բեկորներ)

Expected-cost (կեղծ)։

python thr_grid = np.linspace(0.01, 0.99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[np.argmin(costs)]

Prometheus (մեթրիկի գաղափարներ)

text model_inference_latency_ms_bucket feature_fetch_latency_ms_bucket model_request_total{code}
model_score_distribution_bucket psi_feature_amount_base ece_calibration expected_cost_live slice_pr_auc{slice="EEA_mobile"}

Ալերթ (գաղափարը)

text
ALERT DriftDetected
IF psi_feature_amount_base > 0.2 FOR 15m

17) Գործընթացներ և RACI

R (Responsible): MLOps (դիտարկումը/alerts/2019), Direct Science (որակի/տրամաչափման/շեմն), Direct Eng (fici/պայմանագրեր/համարժեք)։

A (Accountable): Head of Data / CDO.

C (Consulted): Compli.ru/DPO (PII/RG/AML/DSAR), System (KMS/աուդիտ), SDE (SLO/միջադեպեր), Finance (արժեքը)։

I (Informed) 'ապրանք/Մարքեթինգ/Վիրահատություն/Աջակցություն։

18) Ճանապարհային քարտեզը

MVP (2-4 շաբաթ)

1. Հիմնական SLI/SLO (latency/5xx/coverage) + dashbord։

2. PSI-ը լավագույն 10 ֆիչի և score-distribution-ի համար։ IV և expected-cost ռուսական պիտակների վրա։

3. Լուծումների լոգները + OTel-treiss; անտարբերության թեստը on.ru/24.ru։

4. Alerts HighP95Latency/PSI _ Drift/MSO _ Bad + runbook ")

Aleksanda 2 (4-8 շաբաթ)

Slice/fairness վահանակներ, nightly backfill metric հետաձգված պիտակների վրա։

Աուտո-պերբորը և շեմերի սիմուլյատորը։

Cost-dashbord և quots/limits fici/repley-ում։

Բրազիլիա 3 (8-12 շաբաթ)

Auto-relaut/retrain-ը կանացի վերահսկողության հետ։

WORM արխիվները որակի և արտեֆակտների մասին։

Chaos-մոնիտորինգի թեստերը և DR-ուսմունքները։

19) Chek-Show-Show-Show-

• SLI/SLO-ն համաձայնեցված և պրոմոնորիզացված է shadow/canary 2424-ի վրա։
• PSI/KL, IV, expected-cost և PR-AUC համարվում են առցանց; փոշիները և ալերտները տեղադրված են։
• Slice/fairness վահանակները ներառում են. հատվածների սեփականատերերը նշանակված են։
• Logs/treiss ամբողջական (լուծումներ, շեմեր, դիմակներ), PII դիմակավորում և բնակություն պահպանվում են։
• Հավասարության թեստը on.ru/2019 կանաչ է։ սխեմաները պայմանագրով։
• Runbook "և one-click rollback ստուգված են; kill-switch для guardrails.
• Արժեքը տեղավորվում է բյուջեներում. Քաշ/քվոտաներ/լիմիտներ ակտիվ են։
• WORM արխիվը մետրիկ/արտեֆակտներ և որակը պահպանված է։

20) Anti-patterns և ռիսկեր

Online պիտակների և հետադարձ գնահատականների բացակայությունը։

Տեղադրված է միայն ROC-AUC-ն առանց expected-cost-ի և տրամաբանության։

Slice/fairness-ի անտեսումը բացատրում է թաքնված ձախողումները տարածաշրջաններում/սարքերում։

Ոչ մի համարժեք on.ru/www.fich-ը «կրկնակի իրականություն» է։

Զրո guardrails 'թունավոր օֆերներ, RG/AML խախտումներ։

Չկա արձագանքի պլաններ/DR, չկա WORM արխիվ։

21) Արդյունքը

Մոդելների իրականացումը վաղ նախազգուշացման և կառավարման համակարգ է, ոչ թե «շաբաթական մեկ անգամ դիտել»։ Մուտքագրեք SLO-ն, չափեք դրեյֆը/չափումը/expected-cost, հետևեք սլայզերին և guardrails-ին, պահեք rollback/kill-switch կոճակները, ավտոմատիզացրեք հաշվետվությունները և ռետրեյները։ Այսպիսով, մոդելները կմնան օգտակար, էթիկական և հաճոյախոսական տվյալների և տեղեկատվության ցանկացած տուրբուլենտ։