Տվյալների նշումը և մոդելների որակը
1) Նշանակումներ և սկզբունքներ
Նպատակը 'ստանալ վերարտադրված պիտակներ և չափել մոդելների որակը առանց պիտակի և հաշվի առնելով կոմպլանսի։
Սկզբունքները
Schema-first 'ձևավորված ontology, դասարանների բառարաններ և չափանիշներ։
Point-in-time: պիտակները կառուցվում են լուծման պահին հասանելի տեղեկատվությունից։
Quality-as-code: Հրահանգներ, թեստեր, չեկի թերթիկներ և նմուշներ 'փորձարկման մեջ։
Privacy-by-design: PII, DSAR/RTBF, բնակություն։
Cost-a.ru: Կարծում ենք գծագրման և սխալ լուծումների արժեքը (expected cost)։
2) Ontology և պիտակների սխեմա
Նշված նշման օբյեկտ, դասարաններ, բացառություններ և ճշմարտության աղբյուրներ
Օրինակ (AML/Antifrod)
Օբյեկտ 'գործարք/նստաշրջան։
Классы: `legit`, `fraud_suspected`, `fraud_confirmed`, `unknown`.
Բացառություններ ՝ chargeback առանց ապացույցների «unknown»։
Աղբյուրները ՝ քեյս կառավարումը, chargeback-Records, պրովայդերներ/բանկ։
YAML սխեմա
yaml task: aml_classification object: "payment_transaction"
labels:
- legit
- fraud_suspected
- fraud_confirmed
- unknown guidelines_version: "1. 3. 0"
positive_class: "fraud_confirmed"
exclusions:
- "dispute opened but no evidence -> unknown"
sources_of_truth:
- "case_system. resolution"
- "issuer. chargeback_code"3) Նույնականացման հրահանգներ (guidelines)
Կառուցվածքը
1. Առաջադրանքի և բիզնեսի կոնտեքստի նկարագրությունը։
2. Դասերի որոշումները դրական/բացասական օրինակներով և սահմանային։
3. Աղբյուրների գերակայության կանոնները (ճշմարտությունը> եվրիստիկա> կարծիք)։
4. Չափանիշները 'unknown "և էսկալացիա։
5. Գաղտնիության քաղաքականությունը (դիմակավորում, պտտվում են ID-ի փոխարեն)։
6. FAQ-ը և չեկի թերթիկը։
Հրահանգների մի հատված (ֆրոդ)
«fraud _ medirmed» 'ապացուցված chargeback/փակ դեպք FRAUD-ի թղթի հետ։
«fraud _ suspected»: 353 դեպոզիտ "legit ': չկան դրոշներ և ապացուցված դեպքեր 60 օրվա պատուհանում։ «unknown» 'հակամարտող նշաններ կամ բավարար տվյալներ։ 4) Պիտակների աղբյուրները և point-in-time կանոնները Auto-պիտակները 'կանոնները/քեյսները, chargeback, ինքնաբուխ (RG), cope տոկոսադրույքը։ Ground-supt 'հետազոտության/կարգավորող արդյունքներ։ Point-in-time: արգելված է օգտագործել իրադարձությունները լուծումից հետո (t0)։ Ուշացումներ. Օրինակ, chargeback-ը ցույց է տալիս 45-90 օրվա ընթացքում ռուսական պիտակը «տեսարան»։ SQL «առանց ապագայի»։ 5) Նմուշներ 'ստրատիվացում և հավասարակշռություն Հազվագյուտ իրադարձություններ 'use stratified sampling շուկաների/պրովայդերների/ամսագրերի վրա։ oversampling հազվագյուտ դասարաններ կամ focal loss. Վալիդացիայի շերտերը 'պահեք holdout շաբաթ/շուկա/tenants։ Սանկցիաները/PII 'բացառեք դաշտերը ուսուցման հավաքածուից ուղիղ լուծողների հետ։ Ընտրված նմուշների վերահսկումը 6) Գծագրիչների համաձայնությունը (IRR) Չափեք միջանոթային համաձայնությունը 'Cohen 's no (2 նիշատոր )/Kronpendorff' s/( N-ը, մասշտաբի տարբեր տեսակներ)։ Ուղեցույցներ κ < 0. 4 - թույլ ներդաշնակությունը խորհուրդ է տալիս վերանայել հրահանգները/օրինակները։ 0. 4–0. 6 - ընդունելի բարդ խնդիրների համար;> 0։ 6 - լավ;> 0։ 8 հիանալի է։ Նշանի որակի քարտը Ծածկույթը (որքա՞ ն է նշված), դասարանների և սլայզերի հաշվարկը, «unknown» մասնաբաժինը, միջին ժամանակը, լավագույն սխալները։ 7) QA-105 և ոսկու ստանդարտներ Գոլդեն 07: 1-5 տոկոսը կրկնակի ստուգում է։ Honey-pot առաջադրանքները 'թաքնված հայտնի դեպքեր առաջադրանքների հոսքում։ Երկրորդ հայացքը 'շարժասանդուղքները/պարամետրերը վիճահարույց օրինակների վրա։ Ռեգրեսիայի գծագրման թեստերը 'կրկնվող վալիդացիան դելիդների թարմացումից հետո։ 8) Ակտիվ, թույլ և սեռական վերահսկվող ուսուցում Action Learning: «անվստահելի» օրինակների ընտրություն (առավելագույն entropia/բազմազանություն)։ Weak Supervision: evristies/distrone supervision + պիտակների աղմուկի մոդել։ Semi-Supervised: Կեղծ դոլլարներ ջերմաստիճանի շեմով և հաջորդ ստուգմամբ։ Pipeline (ուրվագիծ) 9) Անտի Լեյքեջը և ժամանակի վերահսկումը Point-in-time join ֆիգերի և պիտակների համար։ Պիտակների արգելքը/ապագայի ֆիչը («asof» -ից հետո)։ Pline pline on.ru/wwww.ru-ը փոխակերպման համարժեք թեստի հետ։ Թվանշանների և տրամաբանության տարբերությունը («logic _ version», «բանաձև _ version», «asof _ date»)։ 10) Մոդելների որակի մետրերը Վերցրեք չափումները սխալների բիզնես արժեքի համար Դասակարգումը ՝ PR-AUC/ROC-AUC, F1 @ k, Recall @ k, expected cost (FP/FN քաշը)։ Ռիսկի սկորինգը ՝ KS/ROC-AUC, Brier, տրամաչափը (III), PSI/CSI դրեյֆի համար։ Առաջարկություններ ՝ NDCG/MAP @ K, coverage/diversity, նորություն։ Անոմալիաներ ՝ Precision @ k, AUCPR սինթետիկ/ոսկու հավաքածուի վրա։ Expected-Cost (կեղծ) 11) Սլայզ վերլուծություն և fairness Սլայզները 'շուկա, պրովայդեր, devis/ASN, հաշիվի տարիքը, դեպոզիտի չափը, օրվա ժամանակը։ Fairness: disparate impact (ratio), equalized odds (разница FPR/TPR). Գործողությունները 'ֆիգուրի փոխանակումը, սլայզերի տրամաչափը, շեմերի հաստությունը, քաշը։ 12) Medicrosoftion-որակի Տվյալների/կանխատեսումների դրեյֆը 'PSI/KL-ը ավարտներով/սկորերով։ Տրամաչափություն ՝ III, reliability-դիագրամներ։ Ռուսական շեմը 'al.ru, եթե expected cost 24> X% կամ PR-AUC-ն է։ Սխեմաներ/պայմանագրեր 'բարձրացնել breaking changes (schema registry)։ Feedback loop: արագ ձեռքի պիտակները պատահականներով (com-փակումը, RG-ելքերը)։ 13) Գաղտնիությունը, անվտանգությունը, կոմպլենսը PII-նվազեցումը 'կեղծանուններ, առանձին պաշտպանված մապինգ։ Նստավայրը 'առանձին դաշտային/բանալիներ (EFC/UK/III); խաչաձև-տարածաշրջանային ջոինի արգելքը առանց հիմքի։ DSAR/RTBF 'հաշվարկային պրոյեկտներ և ընտրովի խմբագրություններ։ Legal Hold: WORM արխիվները և զեկույցները։ Ամսագրեր 'մուտքի/էքսպորտի անփոփոխ աուդիտ։ 14) Գծագրման գործընթացի կազմակերպումը Գործիքներ ՝ task-traker, օրինակների շարքը, ենթատեքստի նախադրյալը, PII դիմակավորումը, տաք պարամետրերը։ Արագության և որակի վերահսկումը 'KPI (արագություն, ճշգրտություն golden), ուսուցում և հավաստագրում։ Տարբերակումը '«guidelines _ version», «annotium _ id», «reviewer _ id», թայմստեմպներ։ Մոսկվա 'հավաքման քարտը (owner, աղբյուրը, պատուհանները, կանոնները, մետրերը)։ 15) Ձևանմուշների օրինակներ Դանասետի քարտը (YAML) QA գծագրման կանոնները Delusion matics (SQL գաղափարը) 16) Իրականացման ճանապարհային քարտեզը MVP (2-4 շաբաթ) 1. Ontology և v1 հրահանգներ, ոսկու հավաքածու (1000 օրինակ տիրույթի համար)։ 2. Անվանման հոսքը PII-մասսայականացմամբ, յուրաքանչյուր շաբաթ 108-մետրանոց։ 3. Ռուսական մոդելը + PR-AUC, expected cost), point-in-time մոդելը։ 4. Դելդրեյֆը ֆիչ/սկորներ; Թվիթերի գրանցումը և դելդների տարբերակները։ Aleksanda 2 (4-8 շաբաթ) Action/weak-supervision փոխակրիչ, 112-triage 'unknown "։ Սլայզ-վերլուծություն և fairness հաշվետվություններ, հավանականության տրամաբանություն։ DSAR/RTBF ընթացակարգերը, Legal Hold-ի համար։ Բրազիլիա 3 (8-12 շաբաթ) QA-ի ամբողջական ավտոմատիզացիան (golden/honey-pots), ռեգրեսիայի գծագրման թեստերը։ Թվասետների կատալոգը և քարտերը «մոդելի որակը»։ expected-cost նվագախումբը։ Chargeback-ը գծագրման/infess արժեքով, SLA-ն պիտակների նորարարությունների վրա։ 17) RACI R (Responsible): Windows Science (ontology, metrics), Label Ops (գործընթացը/QA), Direct Eng (նմուշներ/PII/պահեստ)։ A (Accountable): Head of Data / CDO. C (Consensed): Compliant/DPO (PII/residency/DSAR), Risk/AML/RG (կանոններ), Մոսկվա (KFC/աուդիտ)։ I (Informed) 'ապրանք/Մարքեթինգ/Վիրահատություն/Աջակցություն։ 18) Չեկ թուղթ մինչև վաճառելը 19) Anti-patterns և ռիսկեր Առանց հստակ չափանիշների նշանը ցածր է, աղմկոտ պիտակները։ Լեյկեդը ապագայից (փոստ-ֆակտում նշաններ/պիտակներ)։ Անհավասարակշիռ նմուշներ, ROC-AUC մետրը առանց գնի։ Գոլդեն/QA-ի բացակայությունը և ռեգրեսիայի գծագրման թեստերը։ PII-ը առանց դիմակավորման և բնակության։ Սլայզ-վերլուծություն չկա, որը թաքնված դեգրադացիա է տարածաշրջաններում/պրովայդերների վրա։ 20) Արդյունքը Մոդելների որակը սկսվում է պիտակների որակից։ Խիստ ուռուցքաբանությունը, օրինակների հրահանգները, point-in-time կարգապահությունը, QA-ուրվագծերը և չափումները, որոնք հաշվի են առնում սխալների արժեքը, iGaming-ում արտադրված ML հիմքն է։ Ներկառուցելով այս փորձը տվյալների փոխակրիչի և MLOps-ի մեջ, դուք կստանաք կայուն, էթիկական և կոմպլեկտիվ մոդելներ, որոնք բարելավում են բիզնեսի արդյունքները առանց անակնկալների։sql
SELECT e. id, e. event_time AS asof,
CASE WHEN EXISTS (
SELECT 1 FROM cases c
WHERE c. tx_id = e. id
AND c. decision_time <= e. event_time + INTERVAL '90' DAY
AND c. result = 'FRAUD_CONFIRMED'
) THEN 'fraud_confirmed'
ELSE 'legit'
END AS label
FROM silver. payments e;sql
-- Verification of class shares by market
SELECT market, label, COUNT() FROM dataset GROUP BY market, label;python
U = unlabeled_pool()
scores, conf = model. predict(U)
C = pick_top_k_by_uncertainty(U, conf, k=500)
labels = annotate (C) # person train (model, L ∪ labels) # additional trainingpython best_thr = argmin_thr(cost_fpFPR(thr) + cost_fnFNR(thr))yaml name: aml_tx_2025q1_pt owner: ml-risk asof_range: ["2024-10-01", "2024-12-31"]
positive_label: fraud_confirmed guidelines_version: "1. 3. 0"
feature_window: "[-30d, 0d)"
holdout: ["2024-12-15", "2024-12-31"]
pii_policy: "tokenized_user_ids; masked_pan; no_raw_ip"yaml qa:
min_kappa: 0. 6 golden_accuracy_min: 0. 9 max_unknown_share: 0. 15 reannotation_on_disagreement: truesql
SELECT pred, label, COUNT() n
FROM eval_predictions
GROUP BY pred, label;