मॉडल बहाव और डेटा अद्यतन

1) यह क्यों मायने रखता है

IGaming में, यातायात, भुगतान और गेमिंग व्यवहार का वितरण तेजी से बदल रहा है (मौसमी, प्रदाता, स्टॉक, नियामक नियम)। प्रणालीगत बहाव नियंत्रण के बिना, त्रुटियों की अपेक्षित लागत बढ़ रही है: नेट राजस्व में नुकसान, झूठे आरजी/एएमएल हस्तक्षेप, और बोनस दुरुपयोग में वृद्धि। लक्ष्य बहाव का जल्दी पता लगाना, कारण का निदान करना और डेटा और मॉडल को सुरक्षित रूप से अपडेट करना है।

2) बहाव वर्गीकरण (क्या "तैर" सकता है)

Covariate बहाव (X): सुविधाएँ बदल गई हैं (उदाहरण के लिए, मोबाइल/ASN का हिस्सा, प्रदाताओं का मिश्रण)।

लेबल/परिणाम बहाव (Y): इवेंट बेस (चार्जबैक-रेट, क्लिक/कन्वर्ट-रेट) बदल गया है।

3) सिग्नल और थ्रेसहोल्ड (स्थल)

पीएसआई (जनसंख्या स्थिरता सूचकांक): 0। 10–0. 20 चेतावनी,> 0। 20 - बहाव घटना।

KL-divergence/JS: प्रमुख विशेषताओं/गति द्वारा थ्रेसहोल्ड में वृद्धि।

दरों के लिए केएस (लेबल के तहत): बढ़ ती सीडीएफ विसंगति।

ईसीई (अंशांकन): > 0। 05 चेतावनी,> 0। 07 - क्रिया।

अपेक्षित-लागत @ दहलीज: बेस मॉडल के लिए एक्स% वृद्धि।

कवरेज और मिसिंग-रेट: <99% कवरेज ड्रॉप, लापता/टाइमआउट> थ्रेशोल्ड ग्रोथ।

स्लाइस मैट्रिक्स: पीआर-एयूसी/ईसीई/बाजार/डिवाइस द्वारा अपेक्षित-लागत; ड्रॉप ट्रिगर> Y%।

विंडो चयन: परिचालन - 1h/6h/24h (स्लाइडिंग), रिपोर्टिंग - D + 1/D + 7 (विलंबित लेबल के लिए लेखांकन)।

4) विंडोज और लेबल (देरी)

फास्ट प्रॉक्सी लेबल: क्लिक करें, 7 डी जमा करें, आरजी केस पूरा करें - शुरुआती मूल्यांकन के लिए।

रिटेन किए गए लेबल: चार्जबैक (45-90 डी), मंथन/एलटीवी - पूर्वव्यापी सत्यापन और सीमा/अंशांकन समायोजन के लिए।

अनुशासन के रूप में: न तो सुविधाओं में, न ही लेबल में - "भविष्य से घटनाएं।"

5) रूट कारण निदान (आरसीए चेकलिस्ट)

1. डेटा: शीर्ष विशेषताओं, गुम/अंतराल, स्कीमा डिफ़ाइल, नई श्रेणियों द्वारा पीएसआई/केएल।

2. स्रोत: प्रदाता अलर्ट (PSP/गेम प्रदाता), API/टाइमआउट त्रुटियां।

3. मौसमी/पदोन्नति: पीक मिशन/टूर्नामेंट, आरटीपी/कैटलॉग परिवर्तन।

4. क्षेत्र/रेजीडेंसी: बाजारों में यातायात बदलाव, नए केवाईसी/आरजी नियम।

5. तकनीक: फीचर कैश का क्षरण, धीमी सीडीसी, छोटी फ़ाइलों का तूफान।

6. संदर्भ पुस्तकें/मुद्रा दरें/कैलेंडर: पुराने से बाहर? (एफएक्स/छुट्टियां)।

7. निष्पक्षता: विशिष्ट स्लाइस में गुणवत्ता विफ

6) बहाव क्रियाओं की प्लेबुक

6. 1 कोवरिएट/फीचर बहाव

त्वरित: अद्यतन अंशांकन (प्लाट/आइसोटोनिक डी + 1), अपेक्षित लागत के अनुसार सीमा को समायोजित करें।

मध्यम अवधि: आंशिक अपवर्तन (स्थिर समुच्चय/खिड़कियां), समय-जागरूक सीवी के साथ टीई/WOE अपडेट करें।

दीर्घकालिक: नए चयन/खिड़कियों के साथ पीछे हटना, यदि आवश्यक हो, तो सुविधा की वास्तुकला को संशोधित करें।

6. 2 लेबल/परिणाम बहाव

ताजा लेबल (D + 1, D + 7) द्वारा थ्रेसहोल्ड को फिर से कैलिब्रेट करें।

रेलिंग ठीक करें (आक्रामक क्रियाओं को स्थिरीकरण तक सीमित करें)।

6. 3 अवधारणा बहाव

नवीनतम डेटा → कैनरी → पूर्ण रोलआउट पर नए संस्करण का छाया प्रशिक्षण।

डोमेन अपघटन पर विचार करें (खंड/बाजार द्वारा अलग मॉडल)।

6. 4 स्कीमा/परिचालन बहाव

दोहरी v1/v2 स्कीमा प्रविष्टि, ऑनलाइन/ऑफ़लाइन समतुल्यता जांच सक्षम करें.

स्रोत ठीक करें, कैश/फोलबैक सक्षम करें, बैकफिल अंतराल की क्षतिपूर्ति करें।

6. 5 निष्पक्षता बहाव

अस्थायी स्लाइड थ्रेसहोल्ड/अंशांकन, लक्षित रिट्रेन/असंतुलन सुविधा, प्रॉक्सी चर ऑडिट।

6. 6 वृद्धि

किल-स्विच (रेलिंग उल्लंघन) → सुरक्षित फॉलबैक/पिछला संस्करण।

रोलबैक एक-क्लिक विकास 5xx/विलंबता/अपेक्षित-लागत के साथ।

7) डेटा अपडेट पॉलिसी

7. 1 वृद्धि और सीडीसी

स्थिर वॉटरमार्क/लॉग प्रतिकृति; पहचान MERGE/UPSERT।

7. 2 बैकफिल/पुनर्संसाधन

बैकफिल: रेंज के लिए डोगन (कोटा और विंडो के साथ)।

पुनर्संसाधन: पुनर्संयोजन जब तर्क परिवर्तन/त्रुटियों को सुधारा जाता है।

Метки: 'तर्क _ संस्करण', 'पुनर्संसाधित _ at', 'कारण'; प्रभाव रिपोर्ट (मैट्रिक्स/लागत)।

7. 3 टाइम-ट्रैवल/WORM

ACID टेबल (डेल्टा/आइसबर्ग/हुडी), रिपोर्ट/रिलीज के WORM अभिलेखागार।

"जैसा कि यह तारीख पर था": नियामक रिपोर्टिंग की प्रजनन क्षमता।

7. 4 निर्देशिका/एफएक्स/पंचांग

ऑटो-अपडेट, हस्ताक्षर, संस्करण और ताजगी की जांच (विलंबता और उम्र पर एसएलओ)।

8) मेट्रिक्स और अलर्ट (न्यूनतम सेट)

डेटा: शीर्ष सुविधाओं, गुम-दर, सुविधा-लाभ विलंबता द्वारा पीएसआई/केएल।

गुणवत्ता: पीआर-एयूसी/केएस (प्रॉक्सी लेबल पर), ईसीई, अपेक्षित-लागत @ thr।

संचालन: p95/p99 विलंबता, 5xx, कवरेज, ऑटोस्कलिंग, लागत/अनुरोध।

निष्पक्षता: स्लाइस पैनल (बाजार/उपकरण/प्रदाता)।

अनुबंध: स्कीमा-उल्लंघन, ऑनलाइन/ऑफ़लाइन समतुल्यता परीक्षण।

9) मॉडल अद्यतन प्रक्रियाएँ

1. छाया: क्वेरी प्रतियों पर नया मॉडल, विलंबता/गुणवत्ता/लागत तुलना।

2. कैनरी: ग्रीन एसएलओ पर 5-10% → 25% → 50% → 100%।

3. सीमा/अंशांकन: D + 1 की गणना करें; थ्रेसहोल्ड - रजिस्ट्री में कॉन्फिग।

4. प्रलेखन: मॉडल कार्ड (डेटा, विंडो, मैट्रिक्स, जोखिम, निष्पक्षता)।

5. संग्रह: WORM रिलीज़ (वजन, अंशांकन, परीक्षण लॉग, बहाव रिपोर्ट)।

10) उदाहरण (टुकड़े)

10. 1 एसक्यूएल विचारों में पीएसआई (पहले से तैयार बाइनिंग)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 अपेक्षित-लागत सीमा समायोजन (स्यूडोकोड)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 समतुल्यता ऑनलाइन/ऑफ़लाइन सुविधा

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. लोड सीमित (ऑर्केस्ट्रेशन विचार) के साथ 4 बैकफिल

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) टेस्ट और नियंत्रण बदलें

अनुबंध योजनाएं/सुविधा: उपभोक्ता-संचालित परीक्षण, डबल प्रविष्टि v1/v2।

मैट्रिक्स के प्रतिगमन परीक्षण: सहिष्णुता से परे पीआर-एयूसी/ईसीई/अपेक्षित-लागत को खराब न करें।

ऑनलाइन/ऑफ़लाइन समतुल्यता परीक्षण: एक संदर्भ नमूने पर।

अराजकता परीक्षण: सुविधा कैश विफलता, स्रोत समय समाप्त, फट यातायात।

12) निष्पक्षता और अनुपालन

स्लाइस रिपोर्ट (असमान प्रभाव, समान बाधाओं), स्लाइस थ्रेसहोल्ड/अंशांकन।

PII-मिनिमाइजेशन, रेजिडेंसी (EEA/UK/BR), DSAR/RTBF, लीगल होल्ड।

ऑडिट निर्णय: 'पॉलिसी _ आईडी', 'थ्रेशोल्ड', हस्तक्षेप के कारण, WORM लॉग।

13) लागत और प्रदर्शन

लागत डैशबोर्ड: लागत/अनुरोध, लागत/सुविधा, राज्य-आकार стрима, आईओ/स्कैन/जीबी для बैच।

अनुकूलन: भारी ऑफ़ लाइन सुविधाओं का भौतिककरण, हॉट विंडो कैश, INT8/FP16 समान गुणवत्ता के साथ।

कोटा: बैकफिल/रीप्ले सीमा, बाजार/टीम द्वारा बजट को वापस लेना।

14) आरएसीआई

आर (जिम्मेदार): MLOps (निगरानी/रजिस्ट्री/किकआउट), डेटा इंग (डेटा/सीडीसी/बैकफिल/अनुबंध), डेटा साइंस (निदान/अंशांकन/रिट्रेन/निष्पक्षता)।

ए (जवाबदेह): डेटा के प्रमुख/सीडीओ।

सी (परामर्श): अनुपालन/डीपीओ (पीआईआई/आरजी/एएमएल/डीएसएआर), सुरक्षा (केएमएस/लेखा परीक्षा), एसआरई (एसएलओ/मूल्य), वित्त (बजट/आरओआई)।

I (सूचित): उत्पाद/विपणन/संचालन/सहायता।

15) रोडमैप

1. शीर्ष सुविधाओं और स्कोर द्वारा पीएसआई/केएल, ईसीई, प्रॉक्सी लेबल पर अपेक्षित-लागत।

2. डैशबोर्ड कवरेज/लापता/फीचर-लैग, अलर्ट और रनबुक 'और।

3. पुनर्गणना (D + 1) और थ्रेसहोल्ड के लिए प्रक्रियाएं; नए मॉडल के लिए छाया पथ।

4. योजना अनुबंध/सुविधा और ऑनलाइन/ऑफ़लाइन समतुल्यता परीक्षण।

• आरसीए पैनल, स्लाइस/फेयरनेस मॉनिटरिंग, कोटा के साथ बैकफिल प्लान।
• ऑटो-रोल अंशांकन/थ्रेसहोल्ड, थ्रेशोल्ड सिम्युलेटर (क्या-यदि)।
• बहाव रिपोर्ट और रिलीज का WORM संग्रह।

• बहाव घटनाओं (कैनरी), बहु-क्षेत्रीय नीति पर ऑटो-रिट्रेन।
• लागत-कोटा/चार्जबैक, अराजकता-/डीआर-अभ्यास, ऑटोजेन प्रलेखन।

16) प्री-सेल चेकलिस्ट

• SLI/SLO और अलर्ट कॉन्फ़िगर किए गए हैं (PSI/ECE/अपेक्षित-लागत/कवरेज/विलंबता/5xx)।
• स्कीमा अनुबंध/सुविधा और v1/v2 डबल प्रविष्टि हरा है।
• पुनर्गणना/दहलीज-अद्यतन प्रक्रियाएं प्रलेखित और स्वचालित हैं।
• एक-क्लिक रोलबैक की जाँच के साथ छाया/कैनरी।
• बैकफिल/कोटा और विंडो के साथ पुनर्संसाधन - तैयार; WORM संग्रह सक्षम है।
• स्लाइस/निष्पक्षता पैनल और खंड मालिकों को सौंपा गया है।
• PII/DSAR/RTBF/कानूनी पकड़ नीतियों को लागू किया गया; ऑडिट सक्षम।
• नियंत्रण में लागत (लागत/अनुरोध, लागत/सुविधा), कैश/टीटीएल कॉन्फ़िगर किया गया।

17) एंटी-पैटर्न और जोखिम

हमने एक उच्च पीएसआई देखा - आरसीए और अंशांकन के बिना तुरंत "आंखों पर पट्टी बांधकर"।

विलंबित लेबल के लिए कोई लेखांकन नहीं है - झूठे निष्कर्ष, हर दिन "आरी थ्रेसहोल्ड"।

एक ऑनलाइन/ऑफ़लाइन समतुल्यता परीक्षण की कमी - "दोहरी वास्तविकता"।

निष्पक्षता की अनदेखी करें: बाजार/उपकरण विफलताएं अदृश्य रहती हैं।

कोटा/खिड़कियों के बिना बैकफिल - लागत और एसएलए के लिए एक हिट।

दहलीज को "हमेशा के लिए" तय किया गया है - मौसमी विकास के साथ अपेक्षित लागत वृद्धि।

18) नीचे की रेखा

बहाव प्रबंधन एक बार की रिट्रेन नहीं है, लेकिन एक प्रक्रिया: अवलोकन - निदान न्यूनतम-जोखिम कार्रवाई (अंशांकन/दहलीज) सुरक्षित रिट्रेन/पुनर्विचार लागत नियंत्रण और ऑडिटिंग। इस अनुशासन के साथ, मॉडल सटीक, नैतिक और आज्ञाकारी बने हुए हैं, यहां तक कि खिलाड़ी, प्रदाता और बाजार व्यवहार में बदलाव भी।