Аудит алгоритмів ШІ

1) Що таке аудит ШІ і навіщо він потрібен

Аудит алгоритмів ШІ - систематична перевірка даних, моделей, процесів і контролів, яка доводить, що ШІ працює надійно, справедливо, безпечно і законно, а ризики управляються.

• Підвищити довіру (stakeholders, клієнти, регулятор).
• Знизити операційні/репутаційні/правові ризики.
• Забезпечити відтворюваність і керованість життєвого циклу (ML/LLM Ops).
• Підкріпити бізнес-рішення вимірними метриками якості та ризику.

2) Область і межі аудиту

Рівень даних: збір/згоди, якість, зміщення, приватність, лінії походження.
Рівень моделі: методологія, валідація, пояснюваність, робастність, уразливості.
Рівень продукту: UX-ризики, людина-в-контурі, зворотний зв'язок і ескалації.
Рівень операцій: моніторинг, SLO, інциденти, відкати, управління версіями.
Юридика та етика: права суб'єктів даних, заборони/обмеження, документація.
Постачальники та 3rd-party: зовнішні моделі, API, дані, ліцензії, контрактні гарантії.

3) Ризик-орієнтована методологія (скелет)

1. Критичність використання: вплив на фінанси/здоров'я/права (низька/середня/висока).
2. Ідентифікація ризиків: дані, справедливість, безпека, приватність, галюцинації, зловживання.
3. Контролі та докази: які механізми знижують ризик і які артефакти підтверджують.
4. Оцінка та скоринг: бальні шкали (0-3/0-5) по доменах, пороги «go/no-go».
5. Ремдіація і план поліпшень: SLA виправлень, власники, дедлайни.
6. Безперервність: періодичність повторних аудитів, тригери позапланової перевірки.

4) Документація та артефакти (evidence)

Data Sheet: джерела, схеми, права і згоди, очищення, зміщення, ретеншн.
Model Card: призначення, дані навчання, метрики, обмеження, умови безпечного використання.
Eval Report: методика офлайн-оцінки, спліти, bootstrap/CI, стрес-кейси.
Risk Register: перелік ризиків з імовірністю/впливом, статус ремедіації.
Change Log: версії даних/коду/моделі/промптів, дати релізів.
Playbooks: runbooks відкату, ескалації, DSAR/видалення даних, відповідь на інциденти.
Supplier Dossier: умови провайдерів (LLM API, моделі), ліміти та гарантії.

5) Аудит даних

Законність і згоди: правові підстави, цілі обробки, транскордонні передачі.
Якість/довіра: свіжість, повнота, унікальність, дрейф розподілів.
Зміщення (bias): дисбаланси класів, представництво, проксі-ознаки.
Приватність: псевдонімізація/токенізація, диференціальна приватність (при застосовності), журнали доступів.
Лінідж: трасування від джерела до вітрин і фіче-платформи; відтворюваність датасетів.
Ліцензії та IP: права на навчання/розповсюдження похідних.

Міні-чек-лист: чи є глосарій метрик/полів, контракти схем, тести DQ, журнал згоди, DSAR-процедури?

6) Аудит класичних ML-моделей

Валідація та перенавчання: коректні спліти, leakage-перевірки, стабільність на тимчасових зрізах.
Робастність: стрес-тести (шум, викиди, пропуски, зрушення), adversarial sample'и в розумних доменах.
Справедливість: disparate impact, equal opportunity, calibration parity; аналіз за сегментами.
Пояснюваність: локальні/глобальні SHAP/ICE, стабільність важливостей.
Обмеження застосування: зони невизначеності, fallback-логіка, human-in-the-loop.
Економіка якості: cost curves, профілі помилок, guardrail-метрики.

7) Аудит LLM/генеративних систем (додатково)

Галюцинації та достовірність: частка відповідей з джерелами, фактологічні evals.
Безпека контенту: фільтрація шкідливого/забороненого, захист від jailbreak/prompt-injection.
Контекст і витоки: обмеження в RAG (PII/секрети), policy на цитування джерел.
Інструменти та функції: безпечні межі при виклику функцій (no DDL/DML, ліміти).
Регресії поведінки: A/B по наборах промптів, «застигання» системних інструкцій, версія промптів.
Юзабіліті та етика: відмова/перенаправлення в ризик-кейсах, коректні дисклеймери, захист від автоматизації зловживань.

8) Безпека та експлуатаційні ризики

Модельна безпека: витяг навчальних даних, membership inference, model stealing - тести і гварди.
Supply-chain ML: цілісність артефактів (моделі, ваги, ембеддинги), підписи, контроль залежностей.
Інфраструктура: ізоляція оточень, секрет-менеджмент, контроль egress, квоти.
Спостережуваність: логи/метрики/трейсинг, алерти дрифту та якості, аудит запитів/експорту.
Інциденти: визначення «AI-інциденту», RACI, терміни повідомлень, пост-мортеми.

9) Метрики та eval-практики

Якість за завданням: accuracy/AUC/MAE/F1; для LLM — pass@k, faithfulness, groundedness.
Справедливість: розриви по сегментах, equalized odds/TPR-gap, unfairness-score.
Робастність: падіння метрик при шумі/зсуві; worst-case за сегментами.
Безпека: jailbreak-rate, toxicity/abuse rate, data exfil success rate.
Економіка: cost-to-serve, latency p95/p99, cache hit-rate, помилки/1000 запитів.
Довіра та досвід: скарги, апеляції, частка ручних оверрайдів, час реакції.

10) Онлайн-моніторинг та управління ризиком

Drift-детектори: популяційні порівняння фіч/передбачень; алерти і авто-деградація.
Guardrails: діапазони, пороги впевненості, блок-листи/allow-листи.
Human-in-the-loop: в критичних кейсах - обов'язкова перевірка, навчання на зворотному зв'язку.
А/В і спостережувані ефекти: ув'язка метрик моделі з бізнес-метриками і guardrail KPI.
Відкати і контур релізів: canary/blue-green, версія моделей/промптів/даних.

11) Відповідність нормам і внутрішнім політикам

Приватність і права суб'єктів: право на доступ/видалення/пояснення, ретеншн, локалізація.
Вимоги до прозорості: призначення, контакт для апеляцій, обмеження.
Управління ризиками АІ: реєстрація високоризикових систем, оцінка впливу (AIA/PIA), періодичні огляди.
Контракти і SLA з вендорами: експорт логів, місце обробки, субпроцесори, права аудиту.

12) Ролі та відповідальність

AI/ML Owner: власник моделі та якості.
Data Steward: власник даних і DQ/лінееджа.
Risk & Compliance: політика, перевірки, взаємодія з регулятором.
Security/Privacy: контроль доступів, тести атак/витоків.
Product/UX: ризик-орієнтований дизайн інтерфейсу і контенту.
Audit Lead (зовнішній/внутрішній): незалежна оцінка та звіт.

13) Інструменти та класи рішень

DQ/каталог/лінеедж: тести якості, lineage, глосарії, паспорти наборів.
Evals і тестові набори: офлайн/онлайн-оцінка, генерація стрес-кейсів, benchmark-набори.
LLM-безпека: сканери prompt-injection, фільтри контенту, policy-checkers.
Моніторинг: телеметрія інференсу, drift-детектори, аудит дій/експортів.
Управління промптами/моделями: реєстри, контроль версій, відтворюваність.
Red Team платформи: каталоги атак, сценарії, автоматичні випробування.

14) Антипатерни

«Тільки accuracy»: игнор fairness/robustness/privacy/security.
Немає документації: відсутні Model Card, Data Sheet, change log.
Сирі PII у фічах/контексті LLM: витоку і юридичні ризики.
Відсутність онлайнового моніторингу: подія сталася - ніхто не помітив.
Непрозорий UX: користувач не розуміє, що це ШІ і як оскаржити.
Одноразовий аудит: без циклічності і тригерів перегляду.

15) Дорожня карта впровадження аудиту

1. Foundation: політика ШІ, рольова модель, Risk Register, шаблони Model Card/Data Sheet.
2. Контроль даних: контракти, DQ-тести, лінії походження, ліцензії та згоди.
3. Eval-рамка: метрики якості/справедливості/безпеки, набори стрес-кейсів.
4. LLM-гігієна: RAG-політики, фільтри, захист від injection, журнал джерел.
5. Моніторинг та інциденти: телеметрія, алерти, відкати, runbooks, навчання персоналу.
6. Зовнішня готовність: звітність для регулятора/клієнтів, незалежний аудит високої критичності.
7. Безперервне поліпшення: цикли ретро, бюджет-гварди, регулярні red team-сесії.

16) Чек-лист перед запуском моделі/функції ШІ

• Заповнені Data Sheet і Model Card; підтверджено права/ліцензії.
• Проведені evals: якість, fairness за сегментами, робастність, безпека.
• Для LLM: заміри галюцинацій/groundedness; захист від prompt-injection/jailbreak.
• Налаштовані моніторинг і алерти (якість, дрейф, токсичність, latency/cost).
• Є human-in-the-loop і процес апеляцій для критичних рішень.
• DSAR/видалення/ретеншн описані і перевірені на стейджі.
• Реєстр моделей/промптів оновлено; готові відкати і canary.
• Проведено security-review і red teaming; усунуто блокуючі findings.

17) Приклад структури звіту з аудиту (скелет)

1. Резюме і скоринг ризиків (таблиця по доменах).
2. Опис системи (мета, користувачі, контекст).
3. Дані (джерела, права, якість, зміщення, лінії походження).
4. Модель/LLM (архітектура, тренування, метрики, обмеження).
5. Безпека/приватність (контроль, тести атак, журнал доступів).
6. Eval-результати (якість, fairness, робастність, безпека, UX).
7. Операції (моніторинг, SLO, інциденти, відкати).
8. Відповідність нормам (політики, процеси, артефакти).
9. Порушення/gap'и і план ремедіації (SLA, власники).
10. Додатки: Model Card, Data Sheet, логи експериментів, версії.

18) Міні-шаблони (псевдо-YAML)

Model Card (коротко)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) Підсумок

Аудит алгоритмів ШІ - це не одноразова «галочка», а безперервний процес управління ризиками по всьому ланцюжку даних і моделей: від згоди та зміщень до галюцинацій та інцидентів. Коли документація, eval-рамка, операційні контролі і прозорий UX працюють разом, ШІ стає надійним, перевіряється і економічно ефективним компонентом продукту.