მოდელების მომზადება

1) დანიშვნა და პრინციპები

ტრენინგის მიზანია მიიღოს სტაბილური, რეპროდუქციული და ეკონომიური მოდელი, რომელიც აუმჯობესებს ბიზნეს მეტრიკას (Net Revenue, churn, fraud) RG/AML/Legal შესაბამისად.

• Problem - Metric: Data: ჯერ დავალება და ოპერაციული მეტრიკა/შეცდომების ღირებულება, შემდეგ თარიღი.
• Point in time: არც ერთი ფიგურა/ეტიკეტი არ იყენებს მომავალს.
• Reproducibility: ფიქსირებული seeds/ვერსიები, არტეფაქტების კონტროლი.
• Simplicity first: დავიწყოთ ძირითადი მოდელებით/fich; გართულებულია მხოლოდ დადასტურებული მოგებით.
• პირადი დიზაინი: PII მინიმალიზაცია, რეზიდენცია, აუდიტი.

2) დავალების ფორმალიზაცია და მეტრიკა

კლასიფიკაცია: churn/დეპოზიტი/frode/RG, PR-AUC, F1 @ oper. ბარიერი, KS, expected cost.
რეგრესია/პროგნოზი: LTV/GGR, WAPE/SMAPE, P50/P90 შეცდომა, PI საფარი.
რანჟირება/რეკომენდაციები: NDCG @ K, MAP @ K, coverage/diversity.
ონლაინ მეტრიკა: uplift Net Revenue, CTR/CVR, time-to-intervene (RG), abuse-rate.

python best_thr = argmin_thr(cost_fp FPR(thr) + cost_fn FNR(thr))

3) Datasets და დანაყოფები

Point in time join და SCD თავსებადი გაზომვები.
კლასების დისბალანსი: stratifling sampling, class _ weight, focal loss, იშვიათი მოვლენების oversampling.
დროის/ბაზრების/ტენანტების დაყოფა: train - val - test „უფსკრული“ (gap) გაჟონვისთვის.

sql
SELECT FROM ds WHERE event_time < '2025-07-01'     -- train
UNION ALL SELECT FROM ds WHERE event_time BETWEEN '2025-07-01' AND '2025-08-15' -- val
UNION ALL SELECT FROM ds WHERE event_time > '2025-08-15' -- test

4) ნიშნების მომზადება

ფანჯრები და შეკრებები: 10m/1h/1d/7d/30d, R/F/M, სიჩქარე/წილი.
კატეგორიები: hashing/one-hot; target encoding (time-aware).
ნორმალიზაცია/სკეილინგი: ტრეინის პარამეტრები, ჩვენ ვიცავთ არტეფაქტებს.
გრაფიკი/NLP/გეო: ჩვენ ვაშენებთ ბრძოლას, ვაქვეყნებთ Feature Store- ში (ონლაინ/ოფლაინ).

5) ძირითადი ალგორითმები

GBDT: XGBoost/LightGBM/CatBoost არის ძლიერი მონაცემთა ბაზა.
ლოგისტიკური რეგრესია/ElasticNet: ინტერპრეტაცია/იაფი.
სარეკონსტრუქციო: LambdaMART, ფაქტორიზაცია, seq2rec.
ანომალიები: იზოლაციის ტყე, AutoEncoder.
დროებითი რიგები: Prophet/ETS/GBDT კალენდარი.

6) რეგულირება და გადამზადების პრევენცია

GBDT: `max_depth`, `num_leaves`, `min_data_in_leaf`, `subsample`, `colsample_bytree`, `lambda_l1/l2`.
NN: dropout/weight decay/early stopping.
ადრეული გაჩერება: მეტრიკის მიხედვით val patience და მინიმალური გაუმჯობესება.

7) ჰიპერპარამეტრების შერჩევა

გრიდ/რანდომი უხეში ძებნისთვის; Bayesian/Hyperband თხელი კონფიგურაციისთვის.
შეზღუდვები: გამეორების/დროის/ღირებულების ბიუჯეტი, „არა-overfit“ val (ჯვარედინი შემოწმება რამდენიმე დროებით ჭრილში).

python for params in sampler():
model = LGBMClassifier(params, random_state=SEED)
model. fit(X_tr, y_tr, eval_set=[(X_val, y_val)],
eval_metric="aucpr", early_stopping_rounds=200)
log_trial(params, pr_auc=pr_auc(model, X_val, y_val), cost=cost())

8) ალბათობის კალიბრაცია

Platt/Isotonic на holdout; შეინახეთ კალიბრაციის ფუნქცია, როგორც არტეფაქტი.
შეამოწმეთ ECE/relayablity; ხელახლა დააკავშიროთ ბარიერები ექსპექტირებული საფარის გასწვრივ.

9) ინტერპრეტაცია და ახსნა

გლობალური: feature importance/SHAP, პერმუტაციის წვლილი.
ადგილობრივი: SHAP ერთჯერადი გადაწყვეტილებებისთვის (RG/AML შემთხვევები).
ახსნა-განმარტებების ინტერნეტით გამოყენების რისკების და დასაშვებია.

10) რეპროდუქცია და არტეფაქტები

თესლი ყველგან: მონაცემები/მოდელი/შერჩევა/დანაყოფები.
არტეფაქტები: მონაცემთა ვერსია, წინა პლანზე, წონა, კალიბრაცია, ბარიერები, კონფიგურაცია.
Deterministic builds: ჩაწერილი კონტეინერები/დამოკიდებულება.

11) ექსპერიმენტების ტრეკინგი

ჩაწერეთ: git-commit, Dataset/fich ვერსიები, მოდელის კონფისკაცია, მეტრიკა (off/online), არტეფაქტები და კომენტარები.
ექსპერიმენტების, ტეგების დასახელების წესები (დომენი/ბაზარი/მოდელი).

12) ოფლაინის გადაცემა ონლაინ რეჟიმში

ერთი ტრანსფორმაციის კოდი (Feature Store); ონლაინ/ოფისის ეკვივალენტობის ტესტი.
სერვინგი: REST/GRPC, Timauts/retrai/kash; კანარის/ეტაპობრივი გადინება.
ბარიერი/პოლიტიკა: კონფიგურაცია (fica დროშები), audit და roll-back.

13) მონიტორინგი და დრიფტი

მონაცემები/სკორი: PSI/KL; ალერტები, როდესაც ბარიერები აღემატება.
კალიბრაცია და მეტრიკა: ECE, PR-AUC/KS ნაკადის ეტიკეტებზე.
ბიზნეს მეტრიკა: uplift Net Revenue, fraud saved, RG ჩარევა, SLA.
Retrain გამომწვევი: დრიფტის/სეზონურობის/გამოშვებების/შენახვის ვადის მიხედვით.

14) კონფიდენციალურობა, რეზიდენცია, fairness

PII მინიმიზაცია: ფსევდონიმები, CLS/RLS, ცალკეული მაპინგები.
Residence: ინდივიდუალური კატალოგები/გასაღებები (EEA/UK/BR); ჯვარედინი რეგიონალური join- ის აკრძალვა უსაფუძვლოა.
Fairness: სლაიდების ანალიზი (ბაზარი/მოწყობილობა/ანგარიშის ასაკი), დაშლა impact, equalized odds; წინსვლის/ბარიერების/წონის კორექტირება.

15) Cost ინჟინერია

ტრენინგის ღირებულება: CPU/GPU საათი, I/O, პროგონების რაოდენობა.
ინვესტიციის ღირებულება: latency/cost per request; ლიმიტები ონლაინ ფიჩებზე და მოდელის ზომაზე.
მატერიალიზაცია: მძიმე ფიჩები - ხაზგარეშე; ონლაინ - სწრაფი, ქეშირებული.
Chargeback: ბიუჯეტები ექსპერიმენტები/რეპლიკები.

16) მაგალითები (ფრაგმენტები)

python params = dict(
objective="binary", metric="average_precision",
num_leaves=64, learning_rate=0. 05, feature_fraction=0. 8,
bagging_fraction=0. 8, lambda_l1=1. 0, lambda_l2=2. 0
)
model = lgb. train(params, train_data,
valid_sets=[valid_data],
early_stopping_rounds=200, verbose_eval=100)
save_artifacts(model, scaler, feature_spec, cal_model)

sql
SELECT a. user_pseudo_id, a. asof, f. dep_30d, f. bets_7d, lbl. churn_30d
FROM features_at_asof f
JOIN asof_index a USING(user_pseudo_id, asof)
JOIN labels lbl USING(user_pseudo_id, asof);

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_val, y_proba >= t, cost_fp, cost_fn) for t in thr_grid]
t_best = thr_grid[np. argmin(costs)]

17) პროცესები და RACI

R (Responsible): მონაცემთა მეცნიერება (მოდელები/ექსპერიმენტები), Data Eng (Datasets/fichi/Feature Store), MLOps (სერვინგი/მონიტორინგი/CI-CD-CT).
A (Accountable): Head of Data / CDO.
C (Consulted): კომპლექსი/DPO (PII/RG/AML/DSAR), უსაფრთხოება (KMS/საიდუმლოებები/აუდიტი), SRE (SLO/ღირებულება), Finance (ROI).
I (ინფორმირებული): პროდუქტი/მარკეტინგი/ოპერაციები/მხარდაჭერა.

18) გზის განხორციელების რუკა

1. დავალებებისა და მეტრიკის კატალოგი, წერტილოვანი დრო.

2. ძირითადი მოდელები (LogReg/GBDT) + კალიბრაცია + მოდელის ბარათები.

3. ექსპერიმენტების ტრეკინგი, ფიქსირებული seeds/არტეფაქტები, reproducible ნივთები.

4. კანარის ონლაინ სერვინგი, ბარიერები, როგორც კონფისკაცია, მეტრული/დრიფტის ალერტები.

• Bayesovsky/Hyperband შერჩევა, სლაისის ანალიზი/fairness, retrain გამომწვევები.
• Fich/ინვესტიციის ეკონომიკა, ქეში/TTL, chargeback.
• მეტრული/რეიდების ფორმულების დოკუმენტაცია, რა-თუ სიმულაცია.

• მრავალ რეგიონალური პლაკატები, DR/სავარჯიშოები, WORM გამოშვებების არქივი.
• ხარისხის/კალიბრაციის ანგარიშების ავტომატური წარმოება, ავტომობილების გადატვირთვა მოვლენებზე.
• ექსპერიმენტები A/B/n sequential testing და ავტომატური გაჩერებით.

19) ჩეკის სია გაყიდვამდე

• დავალება და მეტრი შეთანხმებულია; შეცდომების ღირებულება გამოითვლება.
• Dataset წერტილში; დროის/ბაზრების დაყოფა; არ არსებობს ლეიკინგი.
• შერჩევა/რეგულირება, ადრეული გაჩერება, ალბათობის კალიბრაცია.
• მოდელის ბარათი: მონაცემები, ფიჩები, მეტრიკა, რისკები, fairness, მფლობელი.
• არტეფაქტები შენარჩუნებულია (წონა, pypline, კალიბრაცია, ბარიერები).
• ონლაინ/offline ეკვივალენტობის ტესტი; Serving fich დროშა.
• დრიფტის/კალიბრაციის/ბიზნეს მეტრიკის მონიტორინგი; retrain/rollback გეგმები.
• პოლიტიკოსები PII/DSAR/RTBF, რეზიდენტობა და წვდომის აუდიტი დაცულია.
• ტრენინგის/ინვესტიციის ღირებულება ბიუჯეტში შედის; ალერტა SLA.

20) ანტი შაბლონები და რისკები

ლეიკეჯი: მომავალი ფიჩები/ეტიკეტები, არაკოორდინირებული SCD.
Tuning „Bline- მდე“ ერთ ლილვზე: არ არსებობს დროებითი დათმობა/ჯვარედინი შემოწმება.
კალიბრაციის და ბარიერების არარსებობა ღირებულებით.
ონლაინ/ოფლაინ ფიჩის შეუსაბამობა: სხვადასხვა შედეგი გაყიდვაში.
Fairness/slass- ის უგულებელყოფა: ფარული წარუმატებლობა ბაზრებზე/მოწყობილობებზე.
შეუზღუდავი რეპლიკები და ძვირადღირებული ჩიპები: ფასის ზრდა სარგებლის გარეშე.

21) შედეგი

მოდელების ტრენინგი არის კონტროლირებადი პროცესი: მკაფიო ამოცანა და მეტრიკა, მონაცემთა დისციპლინა (წერტილოვანი დრო), გონივრული რეგულირება, კალიბრაცია და რეპროდუქცია, გამჭვირვალე გადაცემა ინტერნეტით და ხარისხის, ღირებულებისა და რისკების მუდმივი მონიტორინგი. ამ ფლეიბუკის შემდეგ, თქვენ იღებთ მოდელებს, რომლებიც პროგნოზირებად აუმჯობესებენ პროდუქტს, შენარჩუნებას და შესაბამისობას - სწრაფად, ეთიკურად და საიმედოდ.