एआई एल्गोरिदम का ऑडिट
1) एआई ऑडिट क्या है और इसकी क्यों जरूरत है
एआई एल्गोरिदम का एक ऑडिट डेटा, मॉडल, प्रक्रियाओं और नियंत्रणों की एक व्यवस्थित जांच है जो साबित करता है कि एआई मज़बूती से, निष्पक्ष, सुरक्षित और कानूनी रूप से काम करता है, और जोखिमों का प्रबंधन किया जाता है।
उद्देश्य:- विश्वास बढ़ाएं (हितधारकों, ग्राहकों, नियामक)।
- परिचालन/प्रतिष्ठित/कानूनी जोखिमों को कम करना।
- जीवन चक्र (एमएल/एलएलएम ऑप्स) की प्रजनन क्षमता और प्रबंधनीयता सुनिश्चित करें।
- औसत दर्जे की गुणवत्ता और जोखिम मैट्रिक्स के साथ व्यावसायिक निर्णयों
2) लेखा परीक्षा के दायरे और सीमाएँ
डेटा का स्तर: संग्रह/सहमति, गुणवत्ता, पूर्वाग्रह, गोपनीयता, मूल रेखाएं।
मॉडल स्तर: कार्यप्रणाली, सत्यापन, व्याख्याता, मजबूती, कमजोरियां।
उत्पाद स्तर: यूएक्स जोखिम, व्यक्ति-इन-द-लूप, प्रतिक्रिया और वृद्धि।
संचालन का स्तर: निगरानी, एसएलओ, घटनाएं, रोलबैक, संस्करण प्रबंधन।
कानूनी और नैतिकता: डेटा विषयों के अधिकार, निषेध/प्रतिबंध, प्रलेखन।
आपूर्तिकर्ता और तीसरा पक्ष: बाहरी मॉडल, एपीआई, डेटा, लाइसेंस, अनुबंध की गारंटी।
3) जोखिम-आधारित कार्यप्रणाली (कंकाल)
1. उपयोग की आलोचना: वित्त/स्वास्थ्य/अधिकारों (निम्न/मध्यम/उच्च) पर प्रभाव।
2. जोखिम पहचान: डेटा, निष्पक्षता, सुरक्षा, गोपनीयता, मतिभ्रम, दुरुपयोग।
3. नियंत्रण और सबूत: क्या तंत्र जोखिम को कम करते हैं और क्या कलाकृतियां पुष्टि करती हैं।
4. स्कोरिंग और स्कोरिंग: डोमेन द्वारा स्कोरिंग तराजू (0-3/0-5), "गो/नो-गो" थ्रेसहोल्ड।
5. उपचारात्मक और सुधार योजना: एसएलए सुधार, मालिकों, समय सीमा।
6. निरंतरता: बार-बार ऑडिट की आवृत्ति, अनिर्धारित निरीक्षण के ट्रिगर।
4) प्रलेखन और कलाकृतियाँ (सबूत)
डेटा शीट: स्रोत, योजनाएं, अधिकार और सहमति, सफाई, विस्थापन, प्रतिधारण।
मॉडल कार्ड: उद्देश्य, प्रशिक्षण डेटा, मैट्रिक्स, प्रतिबंध, सुरक्षित उपयोग की स
ईवल रिपोर्ट: ऑफ़ लाइन मूल्यांकन पद्धति, विभाजन, बूटस्ट्रैप/सीआई, तनाव के मामले।
जोखिम रजिस्टर: संभावना/प्रभाव, उपचारात्मक स्थिति के साथ जोखिमों की सूची।
लॉग बदलें: डेटा/कोड/मॉडल/प्रांप्ट संस्करण, रिलीज़ तिथि।
प्लेबुक: रोलबैक, एस्केलेशन, डीएसएआर/डेटा विलोपन, घटना प्रतिक्रिया रनबुक।
आपूर्तिकर्ता डोजियर: प्रदाताओं की शर्तें (एलएलएम एपीआई, मॉडल), सीमा और गारंटी।
5) डेटा ऑडिट
वैधता और सहमति: कानूनी आधार, प्रसंस्करण के उद्देश्य, सीमा पार हस्तांतरण।
गुणवत्ता/विश्वास: ताजगी, पूर्णता, विशिष्टता, वितरण का बहाव।
पूर्वाग्रह: वर्ग असंतुलन, प्रतिनिधित्व, प्रॉक्सी विशेषताएं।
गोपनीयता: छद्म नामकरण/टोकन, अंतर गोपनीयता (यदि लागू हो), एक्सेस लॉग।
वंश: स्रोत से शोकेस और फीचर प्लेटफॉर्म तक ट्रेसिंग; डेटासेट की प्रजनन क्षमता।
लाइसेंस और आईपी: डेरिवेटिव सीखने/वितरित करने के अधिकार।
मिनी चेकलिस्ट: क्या मेट्रिक्स/फील्ड्स, स्कीमा कॉन्ट्रैक्ट, डीक्यू टेस्ट, सहमति लॉग, डीएसएआर प्रक्रियाओं की एक शब्दावली है?
6) क्लासिक एमएल मॉडल का ऑडिट
सत्यापन और रिट्रेनिंग: सही विभाजन, रिसाव जांच, समय स्लाइस पर स्थिरता।
मजबूती: तनाव परीक्षण (शोर, उत्सर्जन, चूक, बदलाव), उचित डोमेन में प्रतिकूल नमूने।
निष्पक्षता: असमान प्रभाव, समान अवसर, अंशांकन समता; खंड द्वारा विश्लेषण।
स्पष्टीकरण: स्थानीय/वैश्विक SHAP/ICE, महत्व की स्थिरता।
एप्लिकेशन सीमाएं: अनिश्चितता क्षेत्र, फॉलबैक तर्क, मानव-इन-द-लूप।
गुणवत्ता अर्थशास्त्र: लागत घटता, त्रुटि प्रोफाइल, रेलिंग मैट्रिक्स।
7) एलएलएम/जेनरेटिव सिस्टम ऑडिट (वैकल्पिक)
मतिभ्रम और वैधता: स्रोतों के साथ प्रतिक्रियाओं का अनुपात, तथ्यात्मक निष्कासन।
सामग्री सुरक्षा: दुर्भावनापूर्ण/निषिद्ध, जेलब्रेक/प्रांप्ट-इंजेक्शन से सुरक्षा।
संदर्भ और लीक: आरएजी (पीआईआई/रहस्य) में प्रतिबंध, स्रोतों के उद्धरण पर नीति।
उपकरण और कार्य: कार्यों को कॉल करते समय सुरक्षित सीमाएं (कोई डीडीएल/डीएमएल, सीमा)।
व्यवहार प्रतिगमन: ए/बी संकेत सेट द्वारा, सिस्टम निर्देशों का "ठंड", शीघ्र संस्करण।
उपयोगिता और नैतिकता: जोखिम के मामलों में इनकार/पुनर्निर्देशन, सही अस्वीकरण, दुरुपयोग के स्वचालन से सुरक्षा।
8) सुरक्षा और परिचालन जोखिम
मॉडल सुरक्षा: प्रशिक्षण डेटा, सदस्यता निष्कर्ष, मॉडल चोरी - परीक्षण और गार्ड निकालना।
आपूर्ति-श्रृंखला एमएल: कलाकृतियों की अखंडता (मॉडल, वजन, एम्बेडिंग), हस्ताक्षर, निर्भरता नियंत्रण।
बुनियादी ढांचा: पर्यावरण, गुप्त प्रबंधन, नियंत्रण, कोटा का अलगाव।
अवलोकन: लॉग/मैट्रिक्स/ट्रेसिंग, बहाव और गुणवत्ता अलर्ट, अनुरोध/निर्यात ऑडिट।
घटनाएं: "एआई घटना", आरएसीआई, नोटिस अवधि, पोस्टमार्टम की परिभाषा।
9) मेट्रिक्स और अस्पष्ट प्रथाएं
कार्य द्वारा गुणवत्ता: accuracy/AUC/MAE/F1; для एलएलएम - पास @ k, वफादारी, आधारहीनता।
निष्पक्षता: खंड द्वारा अंतराल, समान बाधाओं/टीपीआर-अंतर, अनुचितता-स्कोर।
मजबूती: शोर/कतरनी मैट्रिक्स में गिरावट; खंड द्वारा सबसे खराब स्थिति।
सुरक्षा: जेलब्रेक-रेट, विषाक्तता/दुरुपयोग दर, डेटा एक्सफिल सफलता दर।
अर्थव्यवस्था: लागत-से-सेवा, विलंबता p95/p99, कैश हिट-दर, त्रुटियां/1000 अनुरोध।
विश्वास और अनुभव: शिकायतें, अपील, मैनुअल ओवरराइड्स का हिस्सा, प्रतिक्रिया समय।
10) ऑनलाइन निगरानी और जोखिम प्रबंधन
बहाव डिटेक्टर: सुविधाओं/भविष्यवाणियों की जनसंख्या तुलना; अलर्ट और ऑटो-डिग्रेडेशन।
रेलिंग: रेंज, आत्मविश्वास थ्रेसहोल्ड, ब्लॉक लिस्ट/अनुमति सूची।
मानव-इन-द-लूप: महत्वपूर्ण मामलों में - अनिवार्य सत्यापन, प्रतिक्रिया प्रशिक्षण।
ए/बी और मनाया प्रभाव: मॉडल मैट्रिक्स को बिजनेस मैट्रिक्स और रेलिंग केपीआई से जोड़ ना।
रोलबैक और रिलीज़ समोच्च: कैनरी/ब्लू-ग्रीन, मॉडल/प्रॉम्प्ट/डेटा संस्करण।
11) विनियमों और आंतरिक नीतियों का अनुपालन
विषयों की गोपनीयता और अधिकार: अभिगम/निकालने/समझाने, प्रतिधारण, स्थानीयकरण का अधिकार।
पारदर्शिता आवश्यकताएं: उद्देश्य, अपील के लिए संपर्क, प्रतिबंध।
एआई जोखिम प्रबंधन: उच्च जोखिम वाली प्रणालियों का पंजीकरण, प्रभाव मूल्यांकन (एआईए/पीआईए), आवधिक समीक्षा।
विक्रेताओं के साथ अनुबंध और एसएलए: निर्यात लॉग, प्रसंस्करण स्थान, उप-प्रोसेसर, ऑडिट अधिकार।
12) भूमिकाएँ और जिम्मेदारियां
एआई/एमएल मालिक: मॉडल मालिक और गुणवत्ता।
डेटा स्टीवर्ड: डेटा मालिक और डीक्यू/वंश।
जोखिम और अनुपालन: नीति, जाँच, नियामक के साथ बातचीत।
सुरक्षा/गोपनीयता: पहुंच नियंत्रण, हमला/रिसाव परीक्षण।
उत्पाद/UX: जोखिम-आधारित इंटरफ़ेस और सामग्री डिज़ाइन।
ऑडिट लीड (बाहरी/आंतरिक): स्वतंत्र मूल्यांकन और रिपोर्ट।
13) समाधान उपकरण और कक्षाएं
डीक्यू/कैटलॉग/वंश: गुणवत्ता परीक्षण, वंश, शब्दावली, किट पासपोर्ट।
Evals और टेस्ट किट: ऑफ़ लाइन/ऑनलाइन मूल्यांकन, तनाव केस जनरेशन, बेंचमार्क किट।
एलएलएम सुरक्षा: प्रांप्ट-इंजेक्शन स्कैनर, कंटेंट फिल्टर, पॉलिसी-चेकर्स।
निगरानी: निष्कर्ष की दूरमिति, बहाव डिटेक्टरों, कार्यों/निर्यातों की लेखा परीक्षा।
संकेत/मॉडल प्रबंधन: रजिस्टर, संस्करण नियंत्रण, प्रजनन योग्यता।
रेड टीम प्लेटफार्म: कैटलॉग, परिदृश्य, स्वचालित परीक्षण पर हमला करें।
14) एंटीपैटर्न
केवल सटीकता: निष्पक्षता/मजबूती/गोपनीयता/सुरक्षा की अनदेखी करें।
कोई दस्तावेज नहीं: गुम मॉडल कार्ड, डेटा शीट, लॉग बदलें।
एलएलएम सुविधाओं/संदर्भ में रॉ पीआईआई: लीक और कानूनी जोखिम।
ऑनलाइन निगरानी की कमी: घटना हुई - किसी ने ध्यान नहीं दिया।
अपारदर्शी UX: उपयोगकर्ता यह नहीं समझता है कि AI क्या है और कैसे चुनौती देना है।
एक बार का ऑडिट: कोई साइकिल चलाने और संशोधन ट्रिगर नहीं।
15) ऑडिट कार्यान्वयन रोडमैप
1. फाउंडेशन: एआई नीति, रोल मॉडल, जोखिम रजिस्टर, मॉडल कार्ड/डेटा शीट टेम्पलेट।
2. डेटा नियंत्रण: अनुबंध, डीक्यू परीक्षण, वंशावली, लाइसेंस और सहमति।
3. ईवल-फ्रेम: गुणवत्ता/निष्पक्षता/सुरक्षा मैट्रिक्स, तनाव के मामलों के सेट।
4. एलएलएम स्वच्छता: आरएजी नीतियां, फिल्टर, इंजेक्शन सुरक्षा, स्रोत लॉग।
5. निगरानी और घटनाएं: टेलीमेट्री, अलर्ट, किकबैक, रनबुक, स्टाफ प्रशिक्षण।
6. बाहरी तत्परता: नियामक/ग्राहकों को रिपोर्टिंग, उच्च आलोचना का स्वतंत्र ऑडिट।
7. निरंतर सुधार: रेट्रो साइकिल, बजट गार्ड, नियमित लाल टीम सत्र।
16) प्री-लॉन्च एआई मॉडल/फ़ंक्शन चेकलिस्ट
- डेटा शीट और मॉडल कार्ड भरा; अधिकार/लाइसेंस की पुष्टि की
- संचालित होता है: गुणवत्ता, खंड द्वारा निष्पक्षता, मजबूती, सुरक्षा।
- एलएलएम के लिए: मतिभ्रम/आधारहीनता माप; संकेत-इंजेक्शन/जेलब्रेक के खिलाफ सुरक्षा।
- निगरानी और अलर्ट (गुणवत्ता, बहाव, विषाक्तता, विलंबता/लागत) स्थापित हैं।
- महत्वपूर्ण निर्णयों के लिए एक मानव-इन-द-लूप और अपील प्रक्रिया है।
- DSAR/निष्कासन/प्रतिधारण मंच पर वर्णित और परीक्षण किया जाता है।
- मॉडल/प्रांप्ट रजिस्टर अद्यतन; तैयार रोलबैक और कैनरी।
- सुरक्षा-समीक्षा और लाल टीम का संचालन; अवरोधक निष्कर्षों को समाप्त कर
17) ऑडिट रिपोर्ट की संरचना का उदाहरण (कंकाल)
1. सारांश और जोखिम स्कोरिंग (डोमेन द्वारा तालिका)।
2. तंत्र विवरण (उद्देश्य, उपयोगकर्ता, संदर्भ)।
3. डेटा (स्रोत, अधिकार, गुणवत्ता, ऑफसेट, मूल लाइनें)।
4. मॉडल/एलएलएम (वास्तुकला, प्रशिक्षण, मैट्रिक्स, बाधाएं)।
5. सुरक्षा/गोपनीयता (नियंत्रण, हमला परीक्षण, एक्सेस लॉग)।
6. Eval परिणाम (गुणवत्ता, निष्पक्षता, मजबूती, सुरक्षा, UX)।
7. संचालन (निगरानी, एसएलओ, घटनाएं, रोलबैक)।
8. अनुपालन (नीतियां, प्रक्रियाएं, कलाकृतियाँ)।
9. उल्लंघन/अंतराल और उपचारात्मक योजना (एसएलए, मालिक)।
10. अनुप्रयोग: मॉडल कार्ड, डेटा शीट, प्रयोगों के लॉग, संस्करण।
18) मिनी-टेम्पलेट (छद्म-YAML)
मॉडल कार्ड (छोटा)
yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_greenएलएलएम गार्ड
yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on19) नीचे की रेखा
एआई एल्गोरिदम का एक ऑडिट एक बार का "टिक" नहीं है, बल्कि डेटा और मॉडल की पूरी श्रृंखला के साथ जोखिम प्रबंधन की एक निरंतर प्रक्रिया है: सहमति और पूर्वाग्रह से लेकर मतिभ्रम और घटनाओं तक। जब प्रलेखन, अस्पष्ट ढांचा, परिचालन नियंत्रण और पारदर्शी यूएक्स एक साथ काम करते हैं, तो एआई एक विश्वसनीय, सत्यापित और लागत प्रभावी उत्पाद घटक बन जाता है।