AI算法审核

1）什么是AI审计，为什么需要

AI算法审核是对数据，模型，过程和控制进行系统的验证，证明AI可以可靠，公平，安全和合法地运行，并且可以管理风险。

• 提高信心（stakeholders，客户，监管机构）。
• 降低运营/声誉/法律风险。
• 确保生命周期的可重复性和可管理性（ML/LLM Ops）。
• 以可衡量的质量和风险指标支持业务解决方桉。

2）审核领域和边界

数据级别：收集/同意,质量,偏差,隐私,血统。
模型级别：方法，验证性，可解释性，可理解性，漏洞性。
产品级别：UX风险、人轮廓、反馈和升级。
操作级别：监视，SLO，事件，回滚，版本控制。
法律和伦理：数据主体的权利，禁令/限制，文件。
供应商和3rd派对：外部模型，API，数据，许可证，合同担保。

3）面向风险的方法（骨架）

1.关键用途：对财务/健康/权利的影响（低/中等/高）。
2.风险识别：数据，正义，安全，隐私，幻觉，滥用。
3.控制和证据：哪些机制降低了风险，哪些人工制品得到了证实。
4.得分和得分：领域得分（0-3/0-5），"go/no-go"阈值。
5.重新调整和改进计划：SLA修复，所有者，截止日期。
6.连续性：重复审核的频率，计划外检查的触发因素。

4）文档和文物（evidence）

数据表：来源，计划，权利和同意，清理，转移，重建。
模型卡：分配、培训数据、指标、限制、安全使用条件。
Eval报告：离线评估技术，拆分，bootstrap/CI，压力案例。
风险注册：概率/影响风险列表，重整状态。
更改日志：数据/代码/模型/程序集版本,发布日期。
Playbooks： runbooks回滚、升级、DSAR/数据删除、事件响应。
Supplier Dossier：提供商条款（LLM API、型号）、限制和保修。

5）数据审计

合法性和同意：法律依据，处理目的，跨境转移。
质量/信誉：新鲜,丰满,独特,分布漂移。
偏差（bias）：类不平衡、代表性、代理特征。
私有性：别名/代号，差异私有性（如果适用），可用性日志。
线条：从源头到店面和菲奇平台的跟踪；数据集的可重复性。
许可证和IP：衍生产品的培训/发行权。

迷你支票清单：是否有指标/字段词汇表，电路合同，DQ测试，同意日志，DSAR程序？

6）经典ML模型审核

验证和再培训：正确的拆分，泄漏检查，时间切片的稳定性。
健壮性：压力测试（噪音，排放，跳过，移位），在合理的领域中的超凡表现。
正义：解散冲击，平等机会，亲和力；分段分析。
可解释：本地/全球SHAP/ICE，重要性的稳定性。
应用限制：不确定区，落后逻辑，人为循环。
质量经济学：成本曲线，错误配置文件，guardrail度量。

7） LLM/生成系统审计（额外）

幻觉和有效性：与来源的答案比例，事实证明。
内容安全：过滤恶意/禁止,防爆防护/防爆。
上下文和泄漏：RAG（PII/秘密）中的限制，引用源的政策。
工具和功能：调用函数时的安全边界（无DDL/DML,限制）。
行为回归：按程序集排列A/B，系统指令"冻结"，程序集版本。
可用性和道德：拒绝/重定向到风险案例，正确的软盘，防止滥用自动化。

8）安全性和操作风险

模型安全性：提取培训数据、记忆无障碍、模型堆积-测试和后卫。
供应链ML：工件的完整性（模型，重量，栓塞），签名，依赖性控制。
基础设施：环境隔离，秘密管理，监视，配额。
可观察性：逻辑/度量/跟踪、漂移和质量差异、查询/导出审核。
事件："AI事件"的定义，RACI，通知时间，后面面纱。

9）度量标准和eval实践

任务质量： accuracy/AUC/MAE/F1；для LLM — pass@k, faithfulness, groundedness.

公平：细分差距,均等化的oddds/TPR-gap, unfairness-score。
杂音：噪音/移位时度量的下降；逐段逐个逐个桉例。

安全性： jailbreak-rate, toxicity/abuse rate, data exfil success rate.

经济学：成本服务,latency p95/p99, cache命中率,错误/1000查询。
信心和经验：投诉，上诉，手工覆盖率，反应时间。

10）在线监控和风险管理

漂移探测器：人群相对/预测的比较；异位和自动降解。
Guardrails：范围，信心阈值，单位/allow单。
人为循环：在关键桉例中-强制验证,反馈培训。
A/B和观察到的效果：将模型指标与业务指标和KPI guardrail联系起来。
发行版的回滚和轮廓：canary/blue-green, 型号/prompts/数据版本。

11）遵守规范和内部政策

隐私和主体权利：访问/删除/解释权，重组，本地化。
透明度要求：目的、上诉联系、限制。
AI风险管理：高风险系统注册，影响评估（AIA/PIA），定期审查。
与供应商的合同和SLA：逻辑导出，处理位置，子处理器，审计权。

12）角色和责任

AI/ML所有者：模型和质量的所有者。

Data Steward： 数据所有者和DQ/Lineage.

风险与合规：政策、验证、与监管机构的互动。
安全/隐私：访问控制、攻击/泄漏测试。
产品/UX：面向风险的界面和内容设计。
审计主管（外部/内部）：独立评估和报告。

13）解决方桉工具和类别

DQ/目录/品格：质量测试，品格，词汇表，套件护照。
Evals和测试工具包：离线/在线评估、压力桉例生成、基准工具包。

LLM安全： prompt-injection扫描仪,内容过滤器,policy-checkers.

监视：地狱遥测，漂移探测器，活动/出口审计。
程序集/模型管理：注册表，版本控制，可重复性。
红色团队平台：攻击目录，脚本，自动测试。

14）反模式

"仅适度"：忽略公平性/robustness/隐私/安全性。
没有文档：没有模型卡,数据表,更改日志。
LLM期货/上下文中的原始PII：泄漏和法律风险。
缺乏在线监控：事件发生-没有人注意到。
不透明的UX：用户不明白这是AI，以及如何挑战。
一次性审计：没有周期性和修订触发因素。

15）审计实施路线图

1.基金会：AI政策，角色模型，风险注册，模型卡/数据表模板。
2.数据控制：合同，DQ测试，原产地，许可证和同意。
3.Eval框架：质量/公平性/安全性指标，压力案例集。
4.LLM卫生：RAG政策，过滤器，喷射保护，来源日志。
5.监视和事件：遥测，Alerta，回滚，运行手册，人员培训。
6.外部准备：为监管机构/客户报告，独立高临界审计。
7.持续改进：复古周期，预算卫队，定期的红色团队会议。

16） 机型/AI功能启动前的支票清单

• 填写了数据表和模型卡；已确认权利/许可证。
• Evals：质量，细分公平性，健壮性，安全性。
• 对于LLM：幻觉/接地测量值；防护prompt-injection/jailbreak。
• 监视和Alerta（质量，漂移，毒性，后坐力/费用）被压倒。
• 有人类在循环和上诉程序的关键决定。
• DSAR/删除/重建在桩上进行了描述和验证。
• 模型/程序注册表已更新；回滚和金丝雀准备就绪。
• 进行安全审查和红色小组；消除了锁定查找。

17）审计报告结构示例（骨架）

1.风险摘要和评分（领域表）。
2.系统说明（目标、用户、上下文）。
3.数据（来源，权利，质量，偏差，来源）。
4.模型/LLM（体系结构，培训，度量，限制）。
5.安全/隐私（控制，攻击测试，访问记录）。
6.Eval结果（质量，公平性，健壮性，安全性，UX）。
7.操作（监视，SLO，事件，回滚）。
8.遵守规范（政策，过程，工件）。
9.违规行为/差距和重整计划（SLA，所有者）。
10.应用：模型卡,数据表,实验日志,版本。

18）迷你模板（伪YAML）

模型卡（简要）

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19）结果

AI算法的审核不是一次性的"勾选"，而是整个数据和模型链中的持续风险管理过程：从同意和偏移到幻觉和事件。当文档，eval框架，操作控制器和透明UX一起工作时，AI将成为可靠的，可验证且具有成本效益的产品组件。