Auditar algoritmos de IA

1) O que é uma auditoria da IA e o que é necessário

A auditoria dos algoritmos de IA é uma verificação sistemática de dados, modelos, processos e controles que prova que a IA funciona de forma segura, justa, segura e legal e que os riscos são controlados.

• Aumentar a confiança (stakeholders, clientes, regulador).
• Reduzir riscos operacionais/reputacionais/legais.
• Garantir a reprodução e a governabilidade do ciclo de vida (ML/LLM Ops).
• Reforçar soluções de negócios com métricas mensuráveis de qualidade e risco.

2) Área e limites de auditoria

Nível de dados: coleta/consentimento, qualidade, deslocamento, privacidade, linhas de origem.
Nível do modelo: metodologia, validação, explicabilidade, robasticidade, vulnerabilidade.
Nível de produto: Riscos UX, humanos-em-circuito, feedback e escalas.
Nível de operações: monitoramento, SLO, incidentes, reversões, gerenciamento de versões.
Direito e ética: direitos dos sujeitos de dados, proibições/restrições, documentação.
Fornecedores e 3rd-party: modelos externos, API, dados, licenças, garantias contratuais.

3) Metodologia orientada por risco (esqueleto)

1. Criticidade de uso: impacto sobre finanças/saúde/direitos (baixa/média/alta).
2. Identificação de risco, dados, justiça, segurança, privacidade, alucinações, abusos.
3. Controladores e provas de que mecanismos reduzem o risco e que artefatos confirmam.
4. Avaliação e mapeamento: escalas de pontos (0-3/0-5) em domínios, liminares «go/no-go».
5. Remdiação e plano de melhorias: SLA correções, proprietários, deadline.
6. Continuidade: frequência de áudios repetidos, desencadeadores de verificação não programada.

4) Documentação e artefatos (evidence)

Data Sheet: fontes, esquemas, permissões e consentimentos, limpeza, deslocamento, retenção.
Modelo Card: destino, dados de treinamento, métricas, limitações, condições de uso seguro.
Eval Report: Técnicas de avaliação off-line, splits, bootstrap/CI, malas de estresse.
Risk Register: lista de riscos com probabilidade/influência, status de remunção.
Mudança Jobs: versões de dados/código/modelo/prompt, datas de lançamento.
Playbooks: reversão de runbooks, escalação, DSAR/remoção de dados, resposta a incidentes.
Suplier Dossier: Condições do provedor (LLM API, modelos), limites e garantias.

5) Auditoria de dados

Legalidade e consentimento: fundamentos legais, fins de processamento, transferências.
Qualidade/confiança: frescura, cumplicidade, singularidade, à deriva das distribuições.
Deslocamentos (bias): desequilíbrios de classes, representatividade, sinais proxy.
Privacidade: pseudonimização/toquenização, privacidade diferencial (quando aplicável), revistas de acessibilidade.
Linha: rastreamento de fonte a vitrines e plataforma de fiche; Reprodutividade de datasets.
Licenças e IP: direitos de aprendizagem/distribuição de derivados.

Lista de cheques: há glossário de métricas/campos, contratos de esquema, testes de DQ, registro de concordâncias, procedimentos DSAR?

6) Auditar modelos ML clássicos

Validação e reaproveitamento: slits corretos, verificações leakage, estabilidade em cortes temporários.
Robasticidade: testes de stress (ruído, emissões, omissões, deslocamento), adversarial sample's em domínios inteligentes.
Justiça: disparate impact, equal prestunity, calibration parity; Análise por segmento.
Explicável: SHAP/ICE local/global, estabilidade de importância.
Limitações de aplicação: zonas de incerteza, lógica fallback, human-in-the-loop.
Economia de qualidade: cux curves, perfis de erro, métricas de guerrail.

7) Auditoria LLM/sistemas genéricos (opcional)

Alucinações e credibilidade, proporção de respostas com fontes, evals factuais.
Segurança de conteúdo: filtragem maliciosa/proibida, proteção contra jailbreak/prompt-inhation.
Contexto e fugas: restrições no PII/segredos, policy para citação de fontes.
Ferramentas e funções: limites de segurança quando as funções são chamadas (no DDL/DML, limites).
Regressão de comportamento: A/B por conjunto de prompts, «bloqueio» de instruções de sistema, versão de prompt.
Yusabiliti e ética: falha/redirecionamento em malas de risco, discreterações corretas, proteção contra automação de abuso.

8) Segurança e riscos operacionais

Segurança de modelo: extração de dados de aprendizagem, membership inference, model stealing - testes e guardas.
Suply-chain ML: integridade de artefatos (modelos, peso, embeddings), assinaturas, controle de dependências.
Infraestrutura: isolamento de ambientes, gestão secreta, controle de egress, quotas.
Observabilidade: logs/métricas/trailing, alertas de drible e qualidade, auditoria de pedidos/exportação.
Incidentes: determinação de «incidente AI», RACI, data de notificação, pós-mortem.

9) Métricas e práticas de eval

Qualidade por tarefa: accuracy/AUC/MAE/Fórmula; для LLM — pass@k, faithfulness, groundedness.
Justiça: quebras de segmentos, equalized odds/TPR-gap, unfairness-score.
Robasticidade: queda de métricas no ruído/deslocamento; worst-case por segmento.
Segurança: jailbreak-rate, toxicity/abuse rate, data exfil sucess rate.
Economia: custo-to-serve, latency p95/p99, cachê hit-rate, erros/1000 consultas.
Confiança e experiência: queixas, apelações, proporção de overraides manuais, tempo de reação.

10) Monitoramento online e gerenciamento de risco

Detetores Draft: comparações populacionais de fichas/previsões; alertas e degradação automática.
Guardrails: faixas, liminares de confiança, listras de bloco/alow.
Human-in-the-loop: Em malas críticas - verificação obrigatória, treinamento de feedback.
A/B e os efeitos observados: Vinculando as métricas do modelo com métricas de negócios e guardrail KPI.
Retrocessos e roteiros de lançamento: canary/blue-green, versão de modelos/prompt/dados.

11) Conformidade com as normas e políticas internas

Privacidade e direitos das entidades: direito de acesso/remoção/explicação, retenções, localização.
Requisitos de transparência: destino, contato para apelações, restrições.
Gerenciamento de risco de IA: registro de sistemas de alto risco, avaliação de impacto (AIA/PIA), revisões periódicas.
Contratos e SLA com vendedores: exportação de logs, local de processamento, subprocessadores, permissões de auditoria.

12) Papéis e responsabilidades

AI/ML Owner: proprietário de modelo e qualidade.
Data Steward: dono de dados e DQ/lineage.
Risk & Compliance: políticas, verificações, interação com o regulador.
Segurança/Privaciy: controle de acessibilidade, testes de ataques/fugas.
Produt/UX: Design focado em risco de interface e conteúdo.
Check Lead (externo/interno): avaliação independente e relatório.

13) Ferramentas e classes de soluções

DQ/catálogo/lineage: testes de qualidade, lineage, glossário, passaportes de conjunto.
Evals e kits de testes: avaliação off/online, geração de malas de estresse, kits benchmark.
Segurança LLM: scanners prompt-inhation, filtros de conteúdo, policy-checkers.
Monitoramento: telemetria de inferência, detectores draft, auditoria de ações/exportação.
Gerenciamento de prompts/modelos: registros, controle de versões, reprodução.
Plataforma Red Team: diretórios de ataque, cenários, testes automáticos.

14) Antipattern

Apenas accuracy: ignorar fairness/robustness/private/security.
Sem documentação: falta do Modelo Card, do Data Sheet, da Mudança.
PII cru em fichas/contexto LLM: fugas e riscos legais.
Falta de monitoramento online, o evento aconteceu, ninguém reparou.
UX opaco: O usuário não entende o que é a IA nem como contestar.
Auditoria exclusiva, sem ciclicência ou revezamento.

15) Mapa de trânsito para implementação de auditoria

1. Foundation: política de IA, modelo de papel, Risk Register, modelos Model Card/Data Sheet.
2. Controle de dados: contratos, testes DQ, linhas de origem, licenças e consentimentos.
3. Eval-marco - métricas de qualidade/justiça/segurança, conjuntos de malas de estresse.
4. HIGIENE LLM: Políticas de RAG, filtros, protecção contra injation, registro de fontes.
5. Vigilância e incidentes, telemetria, alertas, reversões, runbooks, treinamento de pessoal.
6. Disponibilidade externa: relatórios para regulador/cliente, auditoria independente de alta criticidade.
7. Melhorias contínuas: ciclos retrô, orçamento-guard, sessões regulares red team.

16) Folha de cheque antes de iniciar o modelo/função de IA

• Preenchidos o Data Sheet e o Modelo Card; direitos/licenças confirmados.
• Evals realizados: qualidade, fairness por segmento, robasticidade, segurança.
• Para LLM: medidas de alucinações/groundedness; proteção contra prompt-inhation/jailbreak.
• Monitoramento e alertas (qualidade, deriva, toxicidade, latency/cost).
• Há human-in-the-loop e um processo de apelações para decisões críticas.
• Os DSAR/Remoção/Retensas são descritos e testados no estante.
• O registro de modelos/prompts foi atualizado; estão prontos os desvios e canary.
• Realizado seguro-review e red teaming; Os findings de bloqueio foram eliminados.

17) Exemplo de estrutura de relatório de auditoria (esqueleto)

1. Resumo e mapeamento de risco (tabela de domínios).
2. Descrição do sistema (alvo, usuários, contexto).
3. Dados (fontes, direitos, qualidade, deslocamento, linhas de origem).
4. Modelo/LLM (arquitetura, treinamento, métricas, limitações).
5. Segurança/privacidade (controles, testes de ataque, registro de acessibilidade).
6. Resultados Eval (qualidade, fairness, robasticidade, segurança, UX).
7. Operações (monitoramento, SLO, incidentes, reversões).
8. Conformidade (políticas, processos, artefatos).
9. Violações/gap 's e plano de remunção (SLA, proprietários).
10. Aplicativos: Modelo Card, Data Sheet, logs de experiências, versões.

18) Mini-modelos (pseudo-YAML)

Modelo Card (breve)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) Resultado

A auditoria dos algoritmos de IA não é um selo descartável, mas um processo contínuo de gerenciamento de riscos em toda a cadeia de dados e modelos, de consoantes e deslocamentos a alucinações e incidentes. Quando a documentação, o quadro de eval, os controles operacionais e a UX transparente funcionam juntos, a IA torna-se um componente confiável, verificável e rentável do produto.