Model de formare

1) Scop și principii

Scopul instruirii este de a obține un model sustenabil, reproductibil și rentabil, care îmbunătățește valorile de afaceri (Venituri nete, churn↓, fraud↓) în timp ce respectă RG/AML/Legal.

• Problem→Metric→Data: prima sarcină și costul metric/eroare operațional, apoi setul de date.
• Punct-in-time: Nici o caracteristică/etichetă utilizează viitorul.
• Reproductibilitate: semințe/versiuni fixe, control artefact.
• Simplitate în primul rând: începe cu modele de bază/caracteristică; complica numai cu beneficii dovedite.
• Confidențialitate prin design: PII-minimizare, rezidență, audit.

2) Formalizarea sarcinii și a măsurătorilor

Clasificare: Churn/depozit/fraudă/RG → PR-ASC, F1 @ operas. pragul, KS, costul așteptat.
Regresie/prognoză: LTV/GGR → WAPE/SMAPE, eroare de P50/P90, acoperire PI.
Clasament/recomandări: NDCG @ K, MAP @ K, acoperire/diversitate.
Măsurători online: creșterea veniturilor nete, CTR/CVR, timp de intervievare (RG), rata abuzului.

python best_thr = argmin_thr(cost_fp FPR(thr) + cost_fn FNR(thr))

3) Seturi de date și partiții

Îmbinare punctuală şi măsurători compatibile cu SCD.
Dezechilibru de clasă: eşantionare stratificată, class_weight, pierdere focală, suprasolicitare evenimente rare.
Timp/Piață/Chiriaș Partiții: Gap train↔val↔test pentru scurgeri.

sql
SELECT FROM ds WHERE event_time < '2025-07-01'     -- train
UNION ALL SELECT FROM ds WHERE event_time BETWEEN '2025-07-01' AND '2025-08-15' -- val
UNION ALL SELECT FROM ds WHERE event_time > '2025-08-15' -- test

4) Pregătirea caracteristicilor

Ferestre și unități: 10m/1h/1d/7d/30d, R/F/M, viteze/fracții.
Categorii: hashing/one-hot; codificarea țintei (conștient de timp).
Normalizare/scalare: parametri din tren, salvați în artefacte.
Grafic/NLP/geo: construiți un lot, publicați în Feature Store (online/offline).

5) Algoritmi de bază

GBDT: XGBoost/LightGBM/CatBoost este o bază de date puternică pentru date tabelare.
Regresie logistică/ElasticNet: interpretabil/ieftin.
Consultativ: LambdaMART, factorizare, seq2rec.
Anomalii: Pădurea de Izolare, AutoEncoder.
Seria de timp: Profet/ETS/GBDT-de calendar caracteristici.

6) Regularizarea și prevenirea recalificării

GBDT: 'max _ depth', 'num _ leaves', 'min _ data _ in _ leaf', 'subsample', 'colsample _ bytree', 'lambda _ l1/l2'.
NN: abandon/dezintegrare în greutate/oprire precoce.
Oprire timpurie: prin metrică pe val cu răbdare și îmbunătățire minimă.

7) Selectarea hiperparametrelor

Grid/Aleatoriu pentru căutare proiect; Bayesian/Hyperband pentru tuning fin.
Limitări: buget de iterație/timp/cost, „no-overfit” pe val (verificare încrucișată pe mai multe împărțiri de timp).

python for params in sampler():
model = LGBMClassifier(params, random_state=SEED)
model. fit(X_tr, y_tr, eval_set=[(X_val, y_val)],
eval_metric="aucpr", early_stopping_rounds=200)
log_trial(params, pr_auc=pr_auc(model, X_val, y_val), cost=cost())

8) Probabilitatea de calibrare

Platt/Isotonic на holdout; stocați funcția de calibrare ca artefact.
Verificați ECE/Relayability; să renegocieze pragurile în funcție de costurile preconizate.

9) Interpretabilitate și explicații

Global: importanță caracteristică/SHAP, contribuție de permutare.
Local: SHAP pentru soluții unitare (cazuri RG/AML).
Documentați riscurile și acceptabilitatea utilizării explicațiilor online.

10) Reproductibilitate și artefacte

Semințe peste tot: date/model/fit/split.
Artefacte: versiune de date, conductă de caracteristici, greutăți, calibrare, praguri, configurații.
Deterministic construiește: containere/dependențe fixe.

11) Experimente de urmărire

Ne înregistrăm: git-commit, setul de date/versiunile de caracteristici, configurarea modelului, metrica (off/online), artefacte și comentarii.
Reguli pentru numirea experimentelor, etichetelor (domeniu/piață/model).

12) Transfer online → offline

Cod unificat de transformare (Feature Store); testul de echivalență online/offline.
Servire: REST/gRPC, timeout/retrays/cache; retrageri canare/etapizate.
Prag/politică: configurabil (feature flags), audit și roll-back.

13) Monitorizare și derivă

Date/rată: PSI/KL; alerte atunci când pragurile sunt depășite.
Etalonări și valori: ECE, PR-ASC/KS pe etichetele de streaming.
Valori de afaceri: ridicarea veniturilor nete, salvarea fraudei, intervenții RG, SLA.
Triggers Retrain: Prin Drift/Sezonalitate/Releases/Data de expirare.

14) Confidențialitate, rezidență, corectitudine

Minimizarea PII: pseudonime, CLS/RLS, mapări individuale.
Rezidență: directoare/chei individuale (SEE/UK/BR); interzicerea intrărilor transregionale fără motiv.
Corectitudine: analiza feliilor (piata/dispozitiv/varsta contului), impact disparat, cote egalizate; corectarea caracteristicilor/pragurilor/greutăților.

15) Cost-inginerie

Costul antrenamentului: ore CPU/GPU, I/O, număr de curse.
Costul deducției: latență/cost per cerere; limitele caracteristicilor online și dimensiunea modelului.
Materializare: caracteristici grele - offline; online - rapid, cache.
Chargeback: Bugete experimentale/reluare.

16) Exemple (fragmente)

python params = dict(
objective="binary", metric="average_precision",
num_leaves=64, learning_rate=0. 05, feature_fraction=0. 8,
bagging_fraction=0. 8, lambda_l1=1. 0, lambda_l2=2. 0
)
model = lgb. train(params, train_data,
valid_sets=[valid_data],
early_stopping_rounds=200, verbose_eval=100)
save_artifacts(model, scaler, feature_spec, cal_model)

sql
SELECT a. user_pseudo_id, a. asof, f. dep_30d, f. bets_7d, lbl. churn_30d
FROM features_at_asof f
JOIN asof_index a USING(user_pseudo_id, asof)
JOIN labels lbl USING(user_pseudo_id, asof);

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_val, y_proba >= t, cost_fp, cost_fn) for t in thr_grid]
t_best = thr_grid[np. argmin(costs)]

17) Procese și RACI

R (Responsabil): Data Science (modele/experimente), Data Eng (seturi de date/caracteristici/Feature Store), MLOps (servire/monitorizare/CI-CD-CT).
A (Responsabil): șef de date/CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/secrets/audit), SRE (SLO/value), Finance (ROI).
I (Informat): Produs/Marketing/Operațiuni/Suport.

18) Foaia de parcurs privind implementarea

1. Director de sarcini și valori (costul așteptat), seturi de date punct-in-time.

2. Modele de bază (LogReg/GBDT) + calibrare + carduri model.

3. Experimente de urmărire, semințe fixe/artefacte, clădiri reproductibile.

4. Canare on-line de navigare, praguri cum ar fi config, metrici de alertă/derivă.

• Selecția Bayesian/Hyperband, analiza felie/corectitudine, declanșează recalificarea.
• Caracteristică economică/inferență, cache/TTL, chargeback.
• Documentarea formulelor metrice/prag, ce-dacă simulări.

• Conducte multiregionale, DR/exerciții, WORM-arhivă de versiuni.
• Auto-generarea de rapoarte de calitate/calibrare, auto-over-training de evenimente.
• Experimente A/B/n cu testare secvențială și oprire automată.

19) Lista de verificare pre-vânzare

• Sarcină și afaceri metrice aliniate; calculat costul erorilor.
• Datacet punct-in-time; Împărțirea timpului/pieței fără leucaj.
• Selecție/regularizare, oprire timpurie, calibrare probabilitate.
• Model card: date, caracteristici, valori, riscuri, corectitudine, proprietar.
• Artefacte salvate (greutăți, caracteristică conductă, calibrare, praguri).
• Testul de echivalență online/offline a trecut; surfing cu un steag caracteristică.
• Monitorizarea derivei/calibrării/măsurătorilor de afaceri; planuri de recalificare/revenire.

sunt urmărite politicile PII/DSAR/RTBF, rezidența și auditul accesului.

• Costul de formare/deducție este inclus în buget; Alerte SLA.

20) Anti-modele și riscuri

Lacul: caracteristici/etichete din viitor, SCD necoordonat.
Tuning „la albastru” pe o probă de arbore: fără divizare temporară/verificare încrucișată.
Fără praguri de calibrare și costuri.
Neconcordanță on-line/caracteristică offline: rezultate diferite pe prod.
Ignoră corectitudinea/feliile: disfuncționalități ascunse în piețe/dispozitive.
Reluări nelimitate și caracteristici scumpe: valoare în creștere fără beneficii.

21) Linia de jos

Modelul de instruire este un proces ușor de gestionat: sarcină clară și metrică, disciplină punct-în-timp, tuning inteligent cu regularizare, calibrare și reproductibilitate, transfer transparent către online și monitorizare continuă a calității, costurilor și riscurilor. Urmând această carte de redare, veți obține modele care îmbunătățesc în mod previzibil produsul, retenția și conformitatea - rapid, etic și fiabil.