प्रयोग झंडे और ए/बी परीक्षण

1) आपको इसकी आवश्यकता क्यों है

प्रयोग भोजन को तोड़ ने के जोखिम के बिना रूपांतरण और विश्वसनीयता में सुधार करने का एक प्रबंधनीय तरीका है। "आईगेमिंग में, यह प्रभावित करता है: पंजीकरण, जमा/निकासी, दांव/सेटल, केवाईसी/एएमएल फ़नल, लॉबी/यूएक्स, बोनस और विरोधी धोखाधड़ी। Ficheflags तेजी से, प्रतिवर्ती परिवर्तन का उत्पादन करते हैं; A/B परीक्षण - स्केलिंग से पहले प्रभाव का प्रमाण।

2) मंच सिद्धांत

1. सुरक्षा-दर-डिजाइन: टीटीएल, रोलबैक और पहुंच सीमा के साथ झंडे; लाल SLO पर स्विच करने का निषेध।

2. अनुपालन-जागरूक: संवेदनशील झंडे (भुगतान, आरजी, पीआईआई) के लिए; भू-निवास डेटा।

3. सत्य का एकल स्रोत: सभी झंडे/प्रयोग - डेटा (गिट/नीति भंडार) के रूप में।

4. नियतात्मक असाइनमेंट: स्थिर बकेटिंग (हैश (उपयोगकर्ता)	उपकरण	खाता))।
5. अवलोकन: एक्सपोज़र/रूपांतरण लॉग किए जाते हैं, एसआरएम/रेलिंग स्वचालित रूप से जांचे जाते हैं।
6. लागत-जागरूक: कार्डिनैलिटी और टेलीमेट्री प्रयोगों की लागत पर सीमा।

3) झंडे की वर्गीकरण

रिलीज-फ्लैग्स: संस्करणों के रोलिंग को नियंत्रित करें (कैनरी/रोलआउट/किल-स्विच)।

प्रयोग झंडे: ए/बी/एन, बहु-सशस्त्र डाकू, रैंकिंग के लिए इंटरलेविंग।

ऑप्स फ्लैग्स: सुविधाओं का क्षरण (अस्थायी), स्विचिंग प्रदाताओं (PSP/KYC)।

कॉन्फ्लैग: बिना रिलीज के पैरामीटर (सीमा, ग्रंथ, गुणांक)।

सुरक्षा-झंडे: आपातकालीन स्विच (निर्यात पीआईआई बंद, बोनस कैप)।

प्रत्येक ध्वज में 'मालिक', 'जोखिम _ वर्ग', 'स्कोप (किरायेदार/क्षेत्र)', 'रोलआउट _ रणनीति', 'ttl', 'slo _ gates', 'ऑडिट' है।

4) मंच वास्तुकला

फ्लैग सर्विस (CDN कैश): ≤10 -20 ms में समाधान देता है; GitOps/pe-consiler की सदस्यता ली।

असाइनमेंट इंजन: स्थिर हैश + स्तरीकरण (GEO/ब्रांड/डिवाइस) → बाल्टी।

प्रयोग सेवा: टेस्ट कैटलॉग, एमडीई/पावर गणना, एसआरएम/रेलिंग, सांख्यिकी।

एक्सपोज़र लॉगर: "फ्लैग/वेरिएंट के नीचे गिरने" + इवेंट कुंजी का पहचानने वाला लॉग।

मेट्रिक्स एपीआई: एसएलआई/केपीआई/केआरआई और प्रयोग एग्रीगेट्स (CUPED/समायोजन)।

नीति इंजन: SoD/4-eyes, फ्रीज विंडो, भू-बाधाएं, एसएलओ गेट।

डैशबोर्ड और बॉट: रिपोर्ट, अलर्ट रेलिंग, चैटबॉट में छोटे कमांड।

5) डेटा मॉडल (सरलीकृत)

ध्वज: 'id', 'type', 'varants', 'allocation {A: 0. 5,B:0। 5} ',' स्ट्रैटा {जियो, किरायेदार, डिवाइस} ',' बाधाएं ',' टीटीएल ',' किल _ स्विच ',' स्लो _ गेट्स ',' रिस्क _ क्लास ',' ऑडिट '।

प्रयोग: 'आईडी', 'परिकल्पना', 'मेट्रिक्स {प्राथमिक, माध्यमिक, रेलिंग}', 'दर्शक', 'शक्ति', 'एमडीई', 'अवधि _ नियम', 'अनुक्रमिक?', 'गोपनीयता _ स्कोप'।

6) आइडिया-टू-इंजेक्शन प्रक्रिया

1. परिकल्पना: मीट्रिक-लक्ष्य, जोखिम/अनुपालन मूल्यांकन, एमडीई (न्यूनतम ध्यान देने योग्य प्रभाव)।

2. डिजाइन: दर्शकों की पसंद और स्तरीकरण (GEO/किरायेदार/उपकरण), शक्ति और अवधि की गणना।

3. रैंडमाइजेशन और शुरुआत: पॉलिसी-इंजन (एसएलओ ग्रीन, एसओडी पास) के माध्यम से सक्षम करना।

4. निगरानी: एसआरएम जाँच (यादृच्छिक विरूपण), रेलिंग (त्रुटियाँ/विलंबता/राजस्व)।

5. एनालिटिक्स: आवृत्ति (टी-परीक्षण, यू-टेस्ट) या बायेसियन; विचरण में कमी के लिए CUPED।

6. समाधान: प्रचार/रोलबैक/पुनरावृत्ति; ज्ञान निर्देशिका में प्रवेश

7. संग्रह: टीटीएल फ्लैग बंद करना, कॉन्फ़िगरेशन/कोड जारी करना, टेलीमेट्री की सफाई करना।

7) उद्देश्य और बाल्टी

निर्धारक: 'बाल्टी = हैश (secret_salt + user_id) मॉड एन'।

स्तरीकरण: अलग से 'भू, किरायेदार, उपकरण, परतों में एकरूपता।

एक अवधि के लिए एकल नमक: टकराव/लीक से बचने के लिए नियंत्रित परिवर्तन।

एक्सपोज़र: पहले लक्ष्य मीट्रिक पर लॉग किया गया (चयनात्मक लॉगिंग से बचने के लिए)।

8) मेट्रिक्स और रेलिंग

प्राथमिक: पंजीकरण/जमा रूपांतरण, ARPPU, D1/D7 प्रतिधारण, KYC गति, CTR लॉबी।

द्वितीयक: LCP/JS त्रुटियां, p95 "stavka→settl", औथ-सफलता PSP।

गार्ड: error_rate, p99 विलंबता, एसएलओ-बर्न-रेट, शिकायतें/टिकट, आरजी-थ्रेशोल्ड (जिम्मेदार गेम)।

दीर्घकालिक: मंथन, एलटीवी प्रॉक्स, चार्जबैक, आरजी झंडे।

9) सांख्यिकी और निर्णय लेना

एमडीई क्षमता: पूर्वनिर्धारित (उदा। एमडीई = + 1। 0 पीपी, पावर = 80%, × = 5%)।

एसआरएम (नमूना अनुपात मिसमैच): - हर एन मिनट परीक्षण; एसआरएम के साथ - परीक्षण रोकें और जांच करें।

CUPED: सहसंयोजक - पूर्व-परीक्षण व्यवहार/मूल रूपांतरण (विचरण को कम करता है)।

बहुलता सुधार: बोनफेरोनी/होल्म या नियंत्रण एफडीआर।

अनुक्रमिक: समूह अनुक्रमिक/हमेशा-वैध पी-मान (एसपीआरटी, एमएसपीआरटी) - सुरक्षित प्रारंभिक स्टॉप।

बायेसियन: सुधार और अपेक्षित नुकसान की पीछे की संभावना; मूल्य विषमता त्रुटियों के साथ निर्णय लेने के लिए अच्छा है।

हस्तक्षेप/झांकना: अनुक्रमिक प्रक्रियाओं के बाहर "देखो और निर्णय लो" का निषेध; सभी दृश्यों के लॉग।

गैर-पैरामीट्रिक: भारी पूंछ के लिए मान-व्हिटनी; स्थिरता के लिए बूटस्ट्रैप।

10) गोपनीयता और अनुपालन

लेबल और एक्सपोज़िशन में पीआईआई के बिना: टोकन, जियो-स्कोप स्टोरेज।

SoD/4-eyes: भुगतान/सीमा/पीआईआई/जिम्मेदार नाटक को प्रभावित करने वाले प्रयोग।

आरजी/अनुपालन द्वारा होल्डआउट: यातायात का हिस्सा हमेशा नियंत्रण में होता है (नियामक/नैतिक प्रभाव देखने के लिए)।

डेटा न्यूनतम - केवल आवश्यक समुच्चय और कुंजियों को संग्रहीत करें।

WORM ऑडिट: जिसने शुरू किया/बदला/रोका, मापदंड, संस्करण।

11) एकीकरण (परिचालन)

CI/CD & GitOps: फ्लैग्स डेटा के रूप में; पीआर समीक्षा, योजनाओं का सत्यापन।

अलर्टिंग: फ्लैग guardrail→avto, आईसी/मालिक अधिसूचना।

हादसा बॉट: कमांड '/फ्लैग ऑन/ऑफ ', '/exp ठहराव/फिर से शुरू', '/exp रिपोर्ट '.

रिलीज-गेट्स: मालिक-ऑनलाइन के बिना संवेदनशील क्षेत्रों में सक्रिय प्रयोग करने पर प्रतिबंध जारी कर

मेट्रिक्स एपीआई: रिपोर्ट, एसएलओ-गेट्स, उदाहरण (गिरावट के लिए)।

स्थिति पृष्ठ: प्रयोगों का विवरण प्रकाशित नहीं करता है; केवल अगर उपलब्धता को प्रभावित करता है

12) कॉन्फ़िगरेशन (उदाहरण)

12. 1 कैनरी रोल फ्लैग

yaml apiVersion: flag.platform/v1 kind: FeatureFlag metadata:
id: "lobby.newLayout"
owner: "Games UX"
risk_class: "medium"
spec:
type: release scope: { tenants: ["brandA"], regions: ["EU"] }
allocation:
steps:
- { coverage: "5%", duration: "30m" }
- { coverage: "25%", duration: "1h" }
- { coverage: "100%" }
slo_gates: ["slo-green:auth_success","slo-green:bet_settle_p99"]
ttl: "30d"
kill_switch: true

12. रेलिंग और CUPED के साथ 2 प्रयोग A/B

yaml apiVersion: exp.platform/v1 kind: Experiment metadata:
id: "payments.depositCTA.v3"
hypothesis: "Новая кнопка повышает депозит-конверсию на +1 п.п."
owner: "Payments Growth"
spec:
audience:
strata: ["geo","tenant","device"]
filters: { geo: ["TR","EU"] }
split: { A: 0.5, B: 0.5 }
metrics:
primary: ["deposit_conversion"]
secondary: ["signup_to_kyc","auth_success_rate"]
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_burnrate<1x"]
stats:
alpha: 0.05 power: 0.8 mde: "1pp"
cuped: true sequential: true operations:
srm_check: "5m"
pause_on_guardrail_breach: true ttl: "21d"

13) डैशबोर्ड और रिपोर्टिंग

Exec: प्रमुख मैट्रिक्स द्वारा लिफ्ट, सफल प्रयोगों का प्रतिशत, आर्थिक प्रभाव

ऑप्स/एसआरई: रेलिंग-अलर्ट, एसआरएम, एसएलओ गिरावट, लैग्स/कतारों पर प्रभाव।

डोमेन: फ़नल (registratsiya→depozit→stavka), GEO/PSP सेगमेंट/डिवाइस।

कैटलॉग: पूर्ण प्रयोगों पर ज्ञान आधार (क्या कोशिश की, क्या काम किया/नहीं किया, आरजी/अनुपालन पर प्रभाव)।

14) केपीआई/केआरआई कार्य

टाइम-टू-टेस्ट: ideya→start (दिन)।

टेस्ट वेग: प्रयोग/महीने प्रति टीम/डोमेन।

सफलता दर: एक सकारात्मक, सांख्यिकीय रूप से महत्वपूर्ण प्रभाव के साथ परीक्षणों का अनुपात।

गार्ड ब्रीच दर: SLO/त्रुटि दर।

एसआरएम घटना: बिगड़ा हुआ यादृच्छिक के साथ परीक्षणों का अनुपात।

प्रलेखन लैग: समय पूरा होने से लेकर निर्देशिका लिखने तक।

प्रति टेस्ट लागत: $ टेलीमेट्री/सेटलमेंट/रखरखाव।

दीर्घकालिक प्रभाव: एलटीवी/मंथन/चार्जबैक जीतने वाले वैरिएंट सहकर्मियों पर बदलते हैं।

15) कार्यान्वयन रोडमैप (6-10 सप्ताह)

नेड। 1–2:

झंडे/प्रयोगों, योजनाओं का भंडार (JSON Schema), कैश के साथ बुनियादी ध्वज सेवा।
नीति-इंजन (SoD/4-eyes, SLO-गेट्स), GitOps के साथ एकीकरण।

नेड। 3–4:

असाइनमेंट इंजन (हैश + स्ट्रैटा), एक्सपोज़र लॉगर, एसआरएम चेक, गार्ड अलर्ट।
झंडे का पहला सेट: रिलीज + ऑप्स (किल-स्विच), 1-2 सुरक्षित ए/बी।

नेड। 5–6:

सांख्यिकीय मॉड्यूल: CUPED, आवृत्ति और बायेसियन रिपोर्ट, अनुक्रमिक नियंत्रण।
डैशबोर्ड (Exec/Ops/Domain), घटना-बॉट कमांड '/फ्लैग ', '/exp'।

नेड। 7–8:

रेलिंग द्वारा ऑटोपॉज़, रिलीज ़-गेट्स के साथ एकीकरण, ज्ञान कैटलॉग।
प्रक्रिया प्रलेखन, टीम प्रशिक्षण (विकास/भुगतान/खेल)।

नेड। 9–10:

बहु-क्षेत्र और भू-निवास, कार्डिनैलिटी, अराजकता शिक्षाओं (एसआरएम व्यवधान) की फिनोप्स सीमा।
प्रयोग मालिकों का प्रमाणन, WORM ऑडिट।

16) एंटीपैटर्न

कैनरी और एसएलओ-गेट्स के बिना "सभी एक साथ" झंडे शामिल करें।

स्पष्ट लक्ष्यों के बिना एक इकाई में झंडे और प्रायोगिक झंडे जारी करें।

नमक/नियतात्मकता के बिना ऑन-क्लाइंट यादृच्छिकता → एसआरएम/हेरफेर।

अनुक्रमिक नियंत्रण के बिना पीकिंग; तथ्य के बाद विजेता मीट्रिक चुनें।

रेलिंग और मालिक-ऑन-ड्यूटी की कमी - घटनाओं में वृद्धि।

एक्सपोज़िशन/लेबल में पीआईआई स्टोर करें; भू-निवास की अनदेखी।

TTL फ्लैग्स → "जमे हुए" शाखाओं और व्यवहार को बंद न करें।

17) सर्वश्रेष्ठ अभ्यास (संक्षिप्त)

छोटी, स्पष्ट परिकल्पना; प्रति परीक्षण एक प्राथमिक मैट्रिक्स।

5-10% ट्रैफिक और सख्त रेलिंग के साथ शुरू करें।

CUPED लगभग हमेशा; बायेसियन - जब समाधान की गति महत्वपूर्ण होती है और त्रुटियों की लागत असममित होती है।

हमेशा SRM और अपरिवर्तनीय मेट्रिक्स की जांच करें।

विश्लेषण के बाद लिखें और ज्ञान सूची में जोड़ें।

जिम्मेदार खेल (आरजी) का सम्मान करें: अल्पकालिक राजस्व मैट्रिक्स के साथ हानिकारक व्यवहार को प्रोत्साहित न करें।

परिणाम

झंडे और ए/बी परीक्षण परिवर्तन के उत्पादन समोच्च हैं: झंडे के रूप में डेटा, सुरक्षित यादृच्छिक और सख्त आंकड़े, एसएलओ/अनुपालन-रेल, अवलोकन और ऑडिटिंग। यह दृष्टिकोण आपको व्यापार और नियामकों के लिए सिद्ध प्रभाव के साथ, बढ़ ते जोखिम के बिना बिक्री, बढ़ ते रूपांतरण और गुणवत्ता से जल्दी से सीखने

प्रयोग झंडे और ए/बी परीक्षण

कैनरी और एसएलओ-गेट्स के बिना "सभी एक साथ" झंडे शामिल करें।

रेलिंग और मालिक-ऑन-ड्यूटी की कमी - घटनाओं में वृद्धि।

छोटी, स्पष्ट परिकल्पना; प्रति परीक्षण एक प्राथमिक मैट्रिक्स।

हमेशा SRM और अपरिवर्तनीय मेट्रिक्स की जांच करें।

परिणाम

हमसे संपर्क करें

त्वरित संपर्क

वीडियो जल्द ही अपडेट किया जाएगा

हम इस समय परियोजनाओं में बहुत व्यस्त हैं