Maʼlumotlarni belgilash va modellar sifati

1) Vazifasi va prinsiplari

Maqsad: leykedjsiz va komplayensni hisobga olgan holda takrorlanadigan yorliqlar va o’lchanadigan modellar sifatini olish.

• Schema-first: rasmiy ontologiyalar, sinf lug’atlari va mezonlari.
• Point-in-time: yorliqlar hal qilish vaqtida mavjud bo’lgan ma’lumotlardan iborat.
• Quality-as-code: ko’rsatmalar, testlar, chek varaqalari va tanlanmalar - omborxonada.
• Privacy-by-design: PII, DSAR/RTBF minimallashtirish, rezidentlik.
• Cost-aware: belgilash va xato echimlar (expected cost) qiymatini hisoblaymiz.

2) Ontologiya va yorliqlar sxemasi

• Obyekt: tranzaksiya/sessiya.
• Классы: `legit`, `fraud_suspected`, `fraud_confirmed`, `unknown`.
• Istisnolar: dalilsiz chargeback →’unknown’.
• Manbalar: keys-menejment, chargeback-reyestrlar, provayderlar/bank.

yaml task: aml_classification object: "payment_transaction"
labels:
- legit
- fraud_suspected
- fraud_confirmed
- unknown guidelines_version: "1. 3. 0"
positive_class: "fraud_confirmed"
exclusions:
- "dispute opened but no evidence -> unknown"
sources_of_truth:
- "case_system. resolution"
- "issuer. chargeback_code"

3) Annotatsiya yo’riqnomalari (guidelines)

1. Vazifa va biznes kontekstining tavsifi.

2. Ijobiy/salbiy misollar va chegara keyslari bo’lgan sinflarni aniqlash.

3. Manbalar ustuvorligi qoidalari (haqiqat> evristika> fikr).

4. ’unknown’ va eskalatsiya mezonlari.

5. Maxfiylik siyosati (yashirish, ID o’rniga tokenlar).

6. FAQ va chizgichning chek-varaqasi.

• ’fraud _ confirmed’: isbotlangan chargeback/yopiq keys FRAUD tag.
• ’fraud _ suspected’: ≥ 3 ta depozit <10 daqiqada REPORT_LIMIT + IP bog’lamasi/halqali karta.
• ’legit’: 60 kun oynasida bayroqlar va tasdiqlangan keyslar yoʻq.
• ’unknown’: qarama-qarshi belgilar yoki maʼlumot yetarli emas.

4) Yorliqlar manbalari va point-in-time qoidalari

Avto-yorliqlar: qoidalar/keyslar, chargeback, o’z-o’zini istisno qilish (RG), outcome stavkalari.
Graund-trut: tekshirish/tartibga solish natijalari.
Point-in-time: Hal qilingandan keyin hodisalardan foydalanish taqiqlanadi (t0).
Kechikishlar: masalan, chargeback 45-90 kundan keyin paydo bo’ladi → yorliq «pishib yetadi».

sql
SELECT e. id, e. event_time AS asof,
CASE WHEN EXISTS (
SELECT 1 FROM cases c
WHERE c. tx_id = e. id
AND c. decision_time <= e. event_time + INTERVAL '90' DAY
AND c. result = 'FRAUD_CONFIRMED'
) THEN 'fraud_confirmed'
ELSE 'legit'
END AS label
FROM silver. payments e;

5) Tanlanmalar: stratifikatsiya va balans

Noyob hodisalar: use stratified sampling bozorlar/provayderlar/sanalar bo’yicha; oversampling nodir sinflar yoki focal loss.
Validatsiya qatlamlari: haftalar/bozorlar/tenantlar bo’yicha holdout saqlang.
Sanksiyalar/PII: To’g’ridan-to’g’ri identifikatorli maydonlarni o’quv to’plamlaridan chiqarib tashlang.

sql
-- Verification of class shares by market
SELECT market, label, COUNT() FROM dataset GROUP BY market, label;

6) Belgilovchilarning muvofiqligi (IRR)

Cohen’s κ (2 ta annotator )/Krippendorff’s α (N annotator, turli xil shkala).

• κ < 0. 4 - zaif muvofiqlik → yo’riqnoma/misollarni qayta ko’rib chiqish.

0. 4–0. 6 - murakkab vazifalar uchun maqbuldir;> 0. 6 - yaxshi;> 0. 8 - a’lo darajada.

• Qoplash (qancha belgilanganligi), sinflar va slayslar bo’yicha κ/ α,’unknown’ulushi, o’rtacha vaqt, top xatolar.

7) QA-kontur va oltin etalonlar

Golden set: 1-5% belgilangan - ikki marta tekshiriladigan etalon.
Honey-pot vazifalari: vazifalar oqimida yashirin maʼlum keyslar.
Ikkinchi qarash: bahsli misollarda eskalatsiya/arbitraj.
Regression belgilash testlari: gidlar yangilangandan keyin qayta validatsiya qilish.

8) Faol, zaif va yarim nazorat qilinadigan ta’lim

Active Learning: «noaniq» misollarni tanlash (maksimal entropiya/xilma-xillik).
Weak Supervision: evristika/distant supervision + yorliqlar uchun shovqin modeli.
Semi-Supervised: harorat chegarasi bo’lgan va keyinchalik tekshiriladigan psevdoleybllar.

python
U = unlabeled_pool()
scores, conf = model. predict(U)
C = pick_top_k_by_uncertainty(U, conf, k=500)
labels = annotate (C) # person train (model, L ∪ labels) # additional training

9) Anti-leykedj va vaqt nazorati

Point-in-time join fich va yorliqlar uchun.
Kelajakdagi yorliqlarni taqiqlash (’asof’dan keyin).
Transformatsiyalarning ekvivalentlik testiga ega bo’lgan onlayn/offline alohida payplaynlar.
Datasetlar va mantiqni versiya qilish (’logic _ version’,’data _ version’,’asof _ date’).

10) Modellar sifati metrikasi

• Tasniflash: PR-AUC/ROC-AUC, F1 @k, Recall @k, expected cost (FP/FN og’irliklari).
• Xavf skoringi: KS/ROC-AUC, Brier, kalibrlash (ECE), dreyf uchun PSI/CSI.
• Tavsiyalar: NDCG/MAP @K, coverage/diversity, yangilik.
• Anomaliyalar: Precision @k, AUCPR sintetik/oltin to’plamda.

python best_thr = argmin_thr(cost_fpFPR(thr) + cost_fnFNR(thr))

11) Slays-tahlil va fairness

Slayslar: bozor, provayder, devays/ASN, hisobvaraq yoshi, depozit miqdori, sutka vaqti.
Fairness: disparate impact (ratio), equalized odds (разница FPR/TPR).
Harakatlar: fichni qayta tanlash, slayslar bo’yicha kalibrlash, ostonalarni qayta ko’rib chiqish, o’rgatuvchi vazn.

12) Production-sifat monitoringi

Maʼlumot/bashorat dreyfi: PSI/KL fich/skorlar boʻyicha.
Kalibrlash: ECE, reliability-diagrammalar.
Chegaraning barqarorligi: alert, agar expected cost ↑> X% yoki PR-AUC ↓.
Sxemalar/kontraktlar: breaking changes (schema registry) ni ushlash.
Feedback loop: hodisalar bo’yicha tezkor qo’l yorliqlari (case-yopish, RG-natijalar).

13) Maxfiylik, xavfsizlik, komplayens

PII-minimallashtirish: taxalluslar, alohida himoyalangan mapping.
Rezidentlik: alohida payplaynlar/kalitlar (EEA/UK/BR); asossiz kross-mintaqaviy join’onlarni taqiqlash.
DSAR/RTBF: hisoblab chiqiladigan proyeksiyalar va selektiv tahrirlash.
Legal Hold: WORM - keyslar va hisobot paketlari uchun arxivlar.
Jurnallar: foydalanishning/eksportning o’zgarmas auditi.

14) Belgilash jarayonini tashkil etish

Asboblar: task-treker, misollar navbati, kontekstni oldindan koʻrish, PII niqoblash, issiq tugmalar.
Tezlik va sifat nazorati: KPI annotator (tezlik, aniqlik golden), o’qitish va attestatsiya.
Version:’guidelines _ version’,’annotator _ id’,’reviewer _ id’, taymstemplar.
Hujjatlar: to’plam kartochkasi (owner, manba, derazalar, qoidalar, metriklar).

15) Namunalar

yaml name: aml_tx_2025q1_pt owner: ml-risk asof_range: ["2024-10-01", "2024-12-31"]
positive_label: fraud_confirmed guidelines_version: "1. 3. 0"
feature_window: "[-30d, 0d)"
holdout: ["2024-12-15", "2024-12-31"]
pii_policy: "tokenized_user_ids; masked_pan; no_raw_ip"

yaml qa:
min_kappa: 0. 6 golden_accuracy_min: 0. 9 max_unknown_share: 0. 15 reannotation_on_disagreement: true

sql
SELECT pred, label, COUNT() n
FROM eval_predictions
GROUP BY pred, label;

16) Joriy etish yo’l xaritasi

1. Ontologiya va yo’riqnomalar v1, oltin to’plam (domenga 1000 misoldan ≥).

2. PII niqobli annotatsion oqim, har hafta uchun κ-metrika.

3. Asosiy model + offline-baholash (PR-AUC, expected cost), point-in-time tanlash.

4. Fich/tezkor dreyf monitoringi; datasetlar va gidlar versiyalari registri.

• Active/weak-supervision konveyer, auto-triage’unknown’.
• Slays-tahlil va fairness-hisobotlar, ehtimollarni kalibrlash.
• Belgilangan toʻplamlar uchun DSAR/RTBF protseduralari, keyslar uchun Legal Hold.

• To’liq avtomatlashtirish QA (golden/honey-pots), regression belgilash testlari.
• Datasetlar katalogi va «model sifati» kartochkalari; expected-cost ostonalarini orkestrlash.
• Belgilash/inferens qiymati bo’yicha Chargeback, yorliqlarni yangilash bo’yicha SLA.

17) RACI

R (Responsible): Data Science (ontologiya, metrika), Label Ops (jarayon/QA), Data Eng (namunalar/PII/saqlash).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/residency/DSAR), Risk/AML/RG (qoidalar), Security (KMS/audit).
I (Informed): Mahsulot/Marketing/Operatsiyalar/Qo’llab-quvvatlash.

18) Sotishdan oldingi chek-varaq

• Ontologiya va gaydalar tasdiqlangan, versiya qayd etilgan.
• Sifat namunasi: stratifikatsiya, vaqt/bozor bo’yicha holdout.
• κ/ α ≥ maqsadli chegara; golden-accuracy kuzatildi.
• Point-in-time fich va yorliqlarni to’plash; leykedj yo’qligi bo’yicha test o’tkazildi.
• Metriklar expected cost tomonidan tanlangan, slays-tahlil va fairness bajarilgan.
• Dreyf/kalibrlash monitoringi kiritilgan; Alertlar sozlangan.
• PII/DSAR/RTBF va Legal Hold siyosatiga rioya qilingan; audit kiritilgan.

19) Anti-patternlar va xavflar

Aniq mezonlarsiz belgilash → past κ, shovqinli yorliqlar.
Kelajakdagi leykedj (post-faktum belgilari/yorliqlari).
Balanssiz tanlov, qiymatni hisobga olmagan holda ROC-AUC metrikasi.
Golden/QA va regression belgilash testlarining yo’qligi.
PII rezidentlik va niqobsiz datasetlarda.
Slays tahlili yoʻq → hududlarda/provayderlarda yashirin tanazzul.

20) Jami

Modellar sifati yorliqlar sifatidan boshlanadi. Xatolar qiymatini hisobga oluvchi qat’iy ontologiya, namunali yo’riqnomalar, point-in-time intizomi, QA-konturlari va metrikalari - iGaming’da takrorlanadigan MLning asosi. Ushbu amaliyotlarni ma’lumotlar konveyeri va MLOps-ga qo’shib, siz kutilmagan biznes natijalarini yaxshilaydigan barqaror, axloqiy va komplayent modellarni olasiz.