Մոդելներում կողմնակալության նվազում

1) Ինչու՞ է դա iGaming-ն։

Մոդելները ազդում են պատասխանային խաղի սահմանների վրա (RG), հակաֆրոդներ, լիմիտներ, KYC/AML-ի հավատալիքներ, բողոքների գերակայություն, հերոսացում և օֆեր։ Կանխորոշումները բացատրում են կարգավորող ռիսկերը, բողոքները և հեղինակության վնասը։ Նպատակը արդար, բացատրական, կայուն մոդելներն են, երբ պահպանում են բիզնեսի արժեքը։

2) Որտեղի՞ ց է գալիս կողմնակալությունը (աղբյուրները)

1. Նմուշը (representation bias) 'անթույլատրելի երկրներ/բրենդներ/սարքեր/նոր խաղացողներ։

2. Չափումը (measurium bias) 'ազդանշանները (օրվա ժամանակը, սարքը) կապված են արգելված խողովակների հետ։

3. Լեյբլները (label bias) 'անցյալ կանոնները/մոդերացիան/ձեռքով լուծումները կողմնակալ էին։

4. Կառուցվածքները (construct bias): «Հաջողության» մետրը որոշվում է այնպես, որ խանգարում է խոցելի խմբերին (օրինակ, ագրեսիվ KPI «դեպոզիտ»)։

5. Դրեյֆը/կանոնները 'մոդելները «մոռանում են» նոր շուկաները/կանոնները, փոխվում են վարքագիծը։

6. Փորձարկումներ ՝ չարտահայտված A/B թեստեր, տերմինալների խաչմերուկ, «գոյատևած» նստաշրջաններ։

3) Արդարության տերմինները և չափումները

Demographic Parity (DP), դրական լուծումների մասը հավասար է խմբերի միջև։

Equalized Odds (EO): նույն TPR և FPR խմբերի միջև։

Equal Opportunity (EOp): նույն TPR (զգայունություն) «դրական» դասարանի համար։

Calibration: Խմբերի միջև հավանականության նույն տրամաբանությունը։

Treatom/Discope parity: տարբերությունը նշանակված հայտարարությունների/արդյունքների մեջ։

Uplift fairness: տարբերությունները խմբերի միջև միջամտությունների ազդեցության մեջ։

4) Կողմնակալության նվազեցման ռազմավարությունը փուլերով

4. 1 Pre processing (տվյալների հետ աշխատելը)

Reweighting/Resampling: Դասերի և խմբերի հավասարակշռություն (upsample անթույլատրելի)։

Ստանդարտ statements: Գրանցեք խմբերի, աղբյուրների և սահմանափակումների ծածկույթը։

Feature hygiene: հեռացնել «կեղտոտ» (գեո-գրանուլյացիա, «գիշեր/օր» որպես ռուսական կարգավիճակ), օգտագործել bining/դիմակավորում։

Inthetic international (զգույշ) 'հազվագյուտ դեպքերի համար (chargeback, chargeback, www.f-wwinlusion), ստուգելով, որ սինթեզիկան չի ավելացնում bias-ը։

Label rep.ru 'պիտակների վերամշակում փոփոխվող կանոններով։ պատմական դեպքերի աուդիտ։

4. 2 In-processing (ուսուցման մեջ)

Fairness constrainment/regularizers: Տուգանքներ TPR/FPR/DP տարբերությունների համար խմբերի միջև։

Adversarial debiasing: առանձին «քննադատ» փորձում է կանխատեսել էմբեդինամների զգայուն լուծումը։ խնդիրն է դա անել անհնարին։

Monotonic/causal constrainment: մոնոտոնիությունը կենսական կարևոր հիմքերով (օրինակ, ռիսկի բարձրացումը), պատճառահետևանքային կախվածության արգելափակումը։

Interpretable baselines: GAM/EBM/gradient բուստինգը մոնոնտորներով որպես օժանդակ շերտ։

4. 3 Post processing (սովորելուց հետո)

Threshold optimization per group: TPR/FPR/PPV հավասարեցումը թույլատրելի շեմերի շրջանակներում։

Score calibration: ալյումինի տրամաչափը (Platt/Isotonic)։

Policy overrides: RG/complaens-ի բիզնես կանոնները մոդելի վերևում (օրինակ, «ինքնախաբեությունը միշտ գերակշռում է օֆերի վրա»)։

5) Պատճառական մոտեցումներ և counterfactions fairness

Causal DAG-ը ակնհայտ պատճառական կապերի վարկած է (խաղային կորուստներ RG-ի տրիգեր)։ երկիրը կարգավորում է մրցույթի կանոնները, բայց ոչ «խաղացողի որակը»)։

Counterfactrontes.ru-ի համար x-ի թեկնածուի համար փոխում ենք զգայուն պարամետրը/108-ը, գրանցելով այլ գործոններ ռուսական լուծումը պետք է կայուն լինի։

Do-intervention: սիմուլյացիա «որ եթե», երբ կառավարվող գործոնները փոխվեն (դեպոզիտի սահմանափակում) առանց արգելված ատրիբուտների վրա ազդելու։

6) iGaming-ի համար պրակտիկա 'տիպիկ դեպքեր

RG-ը 'նպատակը Equal Opprontunity-ն է (չթողնել ռիսկերը անկախ խմբից) + տրամաչափը։ Կոշտ overrides-ը ինքնության կանոնների համար։

Antifrod/AML: Equalized Odds (FPR վերահսկողություն) + առանձին շեմեր շուկաների/բյուջետային վճարումների վրա։

KYC-ն ոնբորդինգի ժամանակ '«thin-2019» խաղացողների համար կեղծ ձախողումների նվազեցումը։ ակտիվ ուսուցում չներկայացված փաստաթղթերի/սարքերի համար։

Մարքեթինգային կերպարը 'բացառել high-risk ագրեսիվ օֆֆերից։ սահմանափակել ֆիչին (օրվա ժամանակը, dewis), օգտագործել uplift-fairness։

7) Արդարության պաշտպանությունը վաճառքում

Ի՞ նչ ենք վերահսկում

EO/EOp-դելտա (TPR/FPR) հիմնական խմբերի վրա (երկիր, սարք, ջրանցք), կալիբրացիա, brate drift, feature drift։

Բիզնես էֆեկտը 'տարբերությունը ռուսական/լիմիտների/օֆերի հաստատման մեջ։

Բողոքները/RG ելքերը 'արձագանքի արագությունը և միջամտությունների որակը։

Ինչպես

Dashbords խմբերով, վերահսկողական քարտեզներ, CI/CD ալտերտեր, երբ խախտվում են fairness շեմերը։

Ստրատիզացիայի փորձարկումներ ՝ A/B թեստեր, որոնք պարտադիր հաշվետվություն ունեն fairness-metriks; վաղ կանգառի կանոնները։

Shadow/Champion-Challenger: Նոր քաղաքականության զուգահեռ արտահոսքը արդարության զեկույցներով։

8) Կապը Governational/Privacy-ի հետ

Թույլատրելի ֆիչի քաղաքականությունները 'թույլատրված/արգելված/պայմանական նշանների ցանկը, կոդավորման աուդիտը։

Model Cards + Fairness Appendix: նպատակը, տվյալները, մետրերը, խմբերը, սահմանափակումները, վերանայման հաճախությունը։

DSAR/թափանցիկությունը 'ձախողումների/սահմանների բացատրական պատճառները։ որոշումների լույսերը։

Process RACI: Ով պնդում է fairness-ի շեմերը, ովքեր նկարահանում են միջադեպերը։

9) Ձևանմուշները և չեկի թերթերը

9. 1 Fairness-chek նախքան թողարկումը

• Ուսուցանելու և առաջնորդելու խմբերի ծածկույթը փաստագրված է
• Ընտրվել են արդարության փոխաբերությունները (EO/EOp/DP/Calibration) և շեմերը։
• Իրականացվել են counterfact.ru թեստեր և աուդիտ 2019-fich
• Ձևավորվում է post-processing պլանը (խմբերի/տրամաչափման շեմեր)
• Պայմանագրեր RG/overrides
• Տրամադրություն և ալտերտեր; ձեռնարկության սեփականատերը նշանակվել է

9. 2 Fairness Appendix (մոդելի քարտին)

Նպատակը և ազդեցությունը 'ո՞ ր որոշումների վրա է ազդում մոդելը

Խմբերը և ծածկույթը 'ուսուցչի/վալիդացիոն հավաքածուի բաշխումը

Մետրիկները և արդյունքները ՝ EO/EOp/Calibration վստահելի ընդմիջումներով

Debiasing-ի միջամտությունները 'ինչ է օգտագործվում (reweighing, constrainment, thresholds)

Սահմանափակումներ ՝ հայտնի ռիսկեր, որտեղ մոդելը չի օգտագործվում

Ռևսի հաճախականությունը 'ամսաթիվը, սեփականատերը, վերանայման չափանիշները

9. 3 Նշանների քաղաքականություն (հատված)

Արգելվում է ՝ ուղիղ/անուղղակի ատրիբուտներ (կրոն, առողջություն, նախկին գեո

Պայմանականորեն 'dewis/channel/ժամանակը միայն փորձարկումից հետո և օգուտները հիմնավորելուց հետո

Անշուշտ, PII դիմակավորում, կեղծանունացում, մոնոտոնային սահմանափակումներ risk նշանների վրա

10) Գործիքներ և արտոնագրեր իրականացման համար

Pipeline hooks: ավտոմատ թեստեր հարաբերակցության վրա, TPR/FPR տարբերությունը, խմբերի տրամաչափը։

CI-արգելափակումը 'fairness-ի/չհամաձայնեցված ֆիչի խախտման դեպքում։

Intainability sapport-ի համար 'տեղական (SHAP/IG) + «թույլատրված բացատրությունների բառարան»։

Action Learning: Տվյալների դոզբորը հազվագյուտ խմբերի վրա։ վստահության բազմաշերտ շեմեր։

Champion-Challenger 'անվտանգ ներդրումը; արդարության համեմատության ամսագիր։

11) Իրականացման ճանապարհային քարտեզը

0-30 օր (MVP)

1. Որոշել high-impact մոդելները (RG, AML, վճարումներ, KYC)։

2. Ամրագրել fairness և շեմերը։

3. Ավելացնել pre processing հավասարակշռությունը և հիմնական տրամաչափը։

4. Ներառել dashbord EO/EOp/Calibration հիմնական խմբերի վրա։

5. Թարմացնել մոդելների քարտերը Fairness Appendix-ից։

30-90 օր

1. Ներդրել in processing (constrainment/adversarial)։

2. Տեղադրել per-group (post-processing) և shadow-progons շեմեր։

3. Ներմուծել counterfact.ru թեստեր CI-ում և կիրականացված A/B կանոնները։

4. Համապատասխան ակնարկներ և բողոքներ, նախադրյալներ։

3-6 ամիս

1. Պատճառային գրաֆիկները հիմնական առաջադրանքների, մոնոտոնային/քաուզային սահմանափակումների համար։

2. Action learning-ը և տվյալների հավաքումը հազվագյուտ։

3. Fairness հաշվետվությունների ավտոմատիզացիան և ազդանշանները ստացիոնար գործընթացում։

4. Բոլոր ֆիչի քաղաքական և մրցույթի ցուցակները։

12) Anti-patterna

«Սկզբում AUC, հետո fairness» - ուշ և թանկ։

Անտեսումը խմբերի միջև։

Մեկ ընդհանուր շեմն է արմատական տարբեր հիմնական հաճախությունների համար։

Մշտական «թլփատումը» ֆիչի փոխարեն պատճառներ գտնելու փոխարեն։

Բացատրությունը որպես «գայլ» առանց սապորտի թույլատրելի բառարանի։

Ապահովագրության բացակայությունը A/B թեստերում։

13) Հաջողության մետրերը (KPI 105)

EO/EOp հանգստյան օրերի նվազումը ցածր է ռուսական շեմից

Խմբերի կայուն տրամաչափը (Brier/ACE)

Fairness Game CI

Բողոքների նվազումը/էսկալացիաները կապված են որոշումների անարդարության հետ

RG ելույթի բարելավումը առանց դիսկրետների ավելացման

Fairness Appendix-ի քարտերի մոդելների ծածկումը 90 տոկոսն է

Արդյունքը

Կողմնակալության նվազումը ինժեներական կարգապահությունն է, ոչ թե միանվագ «ֆիլտրը»։ Արդարության հստակ ընտրված նշանները, debiasing-ի մարտավարությունը յուրաքանչյուր փուլում, պատճառական մտածողությունը և կայուն պրոյեկտը տալիս են մոդելներ, որոնք աշխատում են ազնիվ, դիմանում են աուդիտին և բարելավում են բիզնեսի և խաղացողների վստահությունը։