حسابرسی الگوریتم های AI

1) حسابرسی AI چیست و چرا مورد نیاز است

حسابرسی الگوریتم های هوش مصنوعی یک بررسی منظم از داده ها، مدل ها، فرایندها و کنترل ها است که ثابت می کند هوش مصنوعی به طور قابل اعتماد، عادلانه، ایمن و قانونی کار می کند و خطرات مدیریت می شوند.

• افزایش اعتماد (سهامداران، مشتریان، تنظیم کننده).
• کاهش خطرات عملیاتی/اعتباری/قانونی.
• اطمینان از تکرارپذیری و مدیریت چرخه عمر (ML/LLM Ops).
• تصمیمات کسب و کار را با معیارهای کیفیت و ریسک قابل اندازه گیری تقویت کنید.

2) محدوده و مرزهای حسابرسی

سطح داده ها: جمع آوری/رضایت، کیفیت، تعصب، حریم خصوصی، خطوط مبدا.
سطح مدل: روش شناسی، اعتبار سنجی، توضیح پذیری، استحکام، آسیب پذیری.
سطح محصول: خطرات UX، شخص در حلقه، بازخورد و تشدید.
سطح عملیات: نظارت، SLO، حوادث، بازگشت، مدیریت نسخه.
قانونی و اخلاقی: حقوق افراد داده، ممنوعیت/محدودیت ها، مستندات.
تامین کنندگان و شخص ثالث: مدل های خارجی، API، داده ها، مجوزها، تضمین قرارداد.

3) روش مبتنی بر ریسک (اسکلت)

1. انتقاد از استفاده: تاثیر بر امور مالی/بهداشت/حقوق (کم/متوسط/بالا).
2. شناسایی ریسک: داده ها، انصاف، امنیت، حریم خصوصی، توهم، سوء استفاده.

3. کنترلها و شواهد: چه مکانیسمهایی ریسک را کاهش میدهند و چه مصنوعاتی آن را تأیید میکنند ؟

4. به ثمر رساند و به ثمر رساند: مقیاس به ثمر رساند (0-3/0-5) توسط دامنه، «برو/بدون» آستانه.
5. اصلاح و بهبود طرح: رفع SLA، صاحبان، مهلت.
6. تداوم: فرکانس ممیزی های مکرر، محرک های بازرسی برنامه ریزی نشده.

4) اسناد و مصنوعات (شواهد)

برگه اطلاعات: منابع، طرح ها، حقوق و موافقت ها، تمیز کردن، جابجایی، نگهداری.
کارت مدل: هدف، داده های آموزشی، معیارها، محدودیت ها، شرایط استفاده ایمن.
گزارش Eval: روش ارزیابی آفلاین، تقسیم، بوت استرپ/CI، موارد استرس.
ثبت ریسک: لیستی از خطرات با احتمال/تاثیر، وضعیت اصلاح.
تغییر ورود: داده ها/کد/مدل/نسخه های prompt، تاریخ انتشار.
Playbooks: بازگشت، تشدید، حذف DSAR/داده ها، runbooks پاسخ حادثه.
پرونده تامین کننده: شرایط ارائه دهندگان (LLM API، مدل)، محدودیت ها و تضمین.

5) حسابرسی داده ها

قانونی بودن و رضایت: زمینه های قانونی، اهداف پردازش، انتقال مرزی.
کیفیت/اعتماد: طراوت، کامل بودن، منحصر به فرد بودن، رانش توزیع.
تعصب: عدم تعادل طبقاتی، نمایندگی، ویژگی های پروکسی.
حریم خصوصی: pseudonymization/tokenization، حریم خصوصی دیفرانسیل (در صورت وجود)، سیاهههای مربوط به دسترسی.

Linage: ردیابی از منبع به ویترین و پلت فرم ویژگی ؛ تجدید پذیری داده ها

مجوزها و IP: حقوق یادگیری/توزیع مشتقات.

چک لیست کوتاه: آیا واژه نامه ای از معیارها/زمینه ها، قراردادهای طرح، آزمون های DQ، ورود به سیستم رضایت، روش های DSAR وجود دارد ؟

6) حسابرسی مدل های کلاسیک ML

اعتبار سنجی و بازآموزی: انشعابات صحیح، چک نشت، ثبات در برش زمان.
استحکام: تست استرس (سر و صدا، انتشار، حذفیات، شیفت)، نمونه های خصمانه در حوزه های معقول.

عدالت: تاثیر متفاوت، فرصت برابر، برابری کالیبراسیون ؛ تحلیل بر اساس بخش

توضیح: محلی/جهانی SHAP/ICE، ثبات از اهمیت.
محدودیت های برنامه: مناطق عدم اطمینان، منطق عقب نشینی، انسان در حلقه.
اقتصاد کیفیت: منحنی هزینه، پروفیل خطا، معیارهای guardrail.

7) LLM/سیستم های تولیدی حسابرسی (اختیاری)

توهمات و اعتبار: نسبت پاسخ ها با منابع، وقایع واقعی

امنیت محتوا: فیلتر کردن مخرب/ممنوع، حفاظت در برابر فرار از زندان/سریع تزریق.

زمینه و نشت: محدودیت در RAG (PII/اسرار)، سیاست در استناد به منابع

ابزارها و توابع: مرزهای امن در هنگام فراخوانی توابع (بدون DDL/DML، محدودیت).
رگرسیون رفتار: A/B توسط مجموعه های سریع، «انجماد» دستورالعمل های سیستم، نسخه سریع.
قابلیت استفاده و اخلاق: امتناع/تغییر مسیر در موارد خطر، سلب مسئولیت صحیح، حفاظت در برابر اتوماسیون سوء استفاده.

8) خطرات ایمنی و عملیاتی

امنیت مدل: استخراج داده های آموزشی، استنباط عضویت، سرقت مدل - تست ها و نگهبانان.
ML زنجیره تامین: یکپارچگی مصنوعات (مدل ها، وزن، جاسازی)، امضا، کنترل وابستگی.
زیرساخت: جداسازی محیط، مدیریت مخفی، کنترل خروج، سهمیه ها.
قابلیت مشاهده: سیاهههای مربوط/معیارها/ردیابی، هشدار رانش و کیفیت، ممیزی درخواست/صادرات.
حوادث: تعریف «حادثه AI»، RACI، دوره های اطلاع رسانی، پس از مرگ.

9) معیارهای و شیوه های eval

کیفیت بر اساس وظیفه: accuracy/AUC/MAE/F1 ؛ LLM для - عبور @k، وفاداری، groundedness.
عدالت: شکاف های بخش، شانس برابر/TPR-شکاف، ناعادلانه نمره.
استحکام: قطره در معیارهای سر و صدا/برشی ؛ بدترین مورد توسط بخش.
امنیت: نرخ فرار از زندان، میزان سمیت/سوء استفاده، میزان موفقیت داده ها.
اقتصاد: هزینه برای خدمت، تاخیر p95/p99، نرخ کش کش، خطاها/1000 درخواست.
اعتماد و تجربه: شکایات، تجدید نظر، سهم لغو دستی، زمان واکنش.

10) نظارت آنلاین و مدیریت ریسک

آشکارسازهای رانش: مقایسه جمعیت ویژگی ها/پیش بینی ها ؛ هشدار و کاهش خودکار.
Guardrails: محدوده، آستانه اطمینان، لیست بلوک/اجازه لیست.
انسان در حلقه: در موارد بحرانی - تأیید اجباری، آموزش بازخورد.
A/B و اثرات مشاهده شده: ارتباط معیارهای مدل به معیارهای کسب و کار و KPI های guardrail.
رول بک ها و کانتور انتشار: canary/blue-green، model/promptt/data version.

11) انطباق با مقررات و سیاست های داخلی

حریم خصوصی و حقوق افراد: حق دسترسی/حذف/توضیح، حفظ، محلی سازی.
الزامات شفافیت: هدف، تماس برای تجدید نظر، محدودیت ها.
مدیریت ریسک هوش مصنوعی: ثبت سیستم های پر خطر، ارزیابی اثرات (AIA/PIA)، بررسی های دوره ای.
قراردادها و SLA ها با فروشندگان: سیاهههای مربوط به صادرات، محل پردازش، زیر پردازنده ها، حقوق حسابرسی.

12) نقش ها و مسئولیت ها

AI/ML مالک: مالک مدل و کیفیت.
کارگزار داده: مالک داده و DQ/اصل و نسب.
ریسک و انطباق: سیاست، چک، تعامل با تنظیم کننده.
امنیت/حریم خصوصی: کنترل دسترسی، تست حمله/نشت.
محصول/UX: رابط مبتنی بر ریسک و طراحی محتوا.
سرب حسابرسی (خارجی/داخلی): ارزیابی مستقل و گزارش.

13) ابزار راه حل و کلاس

DQ/کاتالوگ/اصل و نسب: آزمون کیفیت، اصل و نسب، واژه نامه ها، گذرنامه کیت.
Evals و کیت های تست: ارزیابی آفلاین/آنلاین، تولید مورد استرس، کیت های معیار.
امنیت LLM: اسکنرهای سریع تزریق، فیلترهای محتوا، چک کننده های سیاست.
نظارت: تله متری استنتاج، آشکارسازهای رانش، ممیزی اقدامات/صادرات.
پیشنهادات/مدیریت مدل: ثبت، کنترل نسخه، تکرارپذیری.
سیستم عامل تیم قرمز: کاتالوگ حمله، حالات، آزمون خودکار.

14) ضد گلوله

فقط دقت: عدالت/استحکام/حریم خصوصی/امنیت را نادیده بگیرید.
بدون اسناد: کارت مدل گم شده، برگه داده، تغییر ورود به سیستم.
PII های خام در ویژگی های LLM/زمینه: نشت و خطرات قانونی.
عدم نظارت آنلاین: این رویداد اتفاق افتاد - هیچ کس متوجه نشد.
UX مبهم: کاربر نمی داند AI چیست و چگونه به چالش بکشد.
ممیزی یک بار: هیچ دوچرخه سواری و تجدید نظر باعث می شود.

15) نقشه راه اجرای حسابرسی

1. بنیاد: سیاست AI، مدل نقش، ثبت ریسک، قالب کارت مدل/ورق داده.
2. کنترل داده ها: قراردادها، تست های DQ، سلسله ها، مجوزها و رضایت نامه ها.
3. Eval-frame: معیارهای کیفیت/انصاف/ایمنی، مجموعه موارد استرس.
4. بهداشت LLM: سیاست RAG، فیلتر، حفاظت از تزریق، ورود به سیستم منبع.
5. نظارت و حوادث: تله متری، هشدارها، ضربات، کتابهای اجرا، آموزش کارکنان.
6. آمادگی خارجی: گزارش به تنظیم کننده/مشتریان، حسابرسی مستقل از انتقاد بالا.
7. بهبود مستمر: چرخه یکپارچهسازی با سیستمعامل، نگهبانان بودجه، جلسات تیم قرمز به طور منظم.

16) چک لیست مدل/عملکرد AI قبل از راه اندازی

• ورق داده و کارت مدل پر شده است ؛ حقوق/مجوزها تایید شده است.
• انجام evals: کیفیت، انصاف توسط بخش، استحکام، ایمنی.
• برای LLM: اندازه گیری توهم/پایه ؛ حفاظت در برابر تزریق سریع/فرار از زندان.
• نظارت و هشدار (کیفیت، رانش، سمیت، تاخیر/هزینه) نصب شده است.
• یک فرآیند انسان در حلقه و تجدید نظر برای تصمیمات انتقادی وجود دارد.
• DSAR/حذف/احتباس شرح داده شده و تست شده در مرحله.
• مدل/ثبت نام سریع به روز شد ؛ چرخ دنده هاي آماده و قناري.
• بررسی امنیت و تیم قرمز انجام; یافته های مسدود شده را حذف کرد.

17) نمونه ای از ساختار گزارش حسابرسی (اسکلت)

1. خلاصه و نمره ریسک (جدول به دامنه).
2. توصیف سیستم (هدف، کاربران، زمینه).
3. داده ها (منابع، حقوق، کیفیت، جبران خسارت، خطوط مبدا).
4. مدل/LLM (معماری، آموزش، معیارها، محدودیت ها).
5. امنیت/حریم خصوصی (کنترل، تست حمله، ورود به سیستم دسترسی).
6. نتایج ایوال (کیفیت، انصاف، استحکام، ایمنی، UX).
7. عملیات (نظارت، SLO، حوادث، عقب نشینی).
8. انطباق (سیاست ها، فرآیندها، مصنوعات).
9. نقض/شکاف و طرح اصلاح (SLA، صاحبان).
10. برنامه های کاربردی: کارت مدل، ورق داده، سیاهههای مربوط از آزمایش، نسخه.

18) مینی قالب (شبه YAML)

مدل کارت (کوتاه)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) خط پایین

ممیزی الگوریتم های AI یک بار «تیک» نیست، بلکه یک فرایند مداوم مدیریت ریسک در طول کل زنجیره داده ها و مدل ها است: از رضایت و تعصب به توهم و حوادث. هنگامی که مستندات، چارچوب eval، کنترل های عملیاتی و UX شفاف با هم کار می کنند، AI جزء محصول قابل اعتماد، قابل اثبات و مقرون به صرفه می شود.