Süni intellekt alqoritmlərinin auditi

1) AI auditi nədir və niyə lazımdır

Süni intellekt alqoritmlərinin auditi - süni intellektin etibarlı, ədalətli, təhlükəsiz və qanuni işlədiyini və risklərin idarə olunduğunu sübut edən məlumatların, modellərin, proseslərin və nəzarətlərin sistematik yoxlanılmasıdır.

• Etimadı artırın (stakeholders, müştərilər, tənzimləyici).
• Əməliyyat/reputasiya/hüquqi riskləri azaltın.
• Həyat dövrünün təkrarlanabilirliyini və idarə olunabilirliyini təmin edin (ML/LLM Ops).
• Ölçülebilir keyfiyyət və risk metrləri ilə biznes həllərini gücləndirin.

2) Audit sahəsi və sərhədləri

Məlumat səviyyəsi: toplama/razılıq, keyfiyyət, yerdəyişmə, gizlilik, mənşə xətləri.
Model səviyyəsi: metodologiya, validasiya, izahlılıq, ehtiyatlılıq, zəifliklər.
Məhsul səviyyəsi: UX riskləri, insan-kontur, rəy və eskalasiya.
Əməliyyat səviyyəsi: monitorinq, SLO, insidentlər, geri çəkilmələr, versiyaların idarə edilməsi.
Hüquq və etika: məlumat subyektlərinin hüquqları, qadağalar/məhdudiyyətlər, sənədləşmə.
Təchizatçılar və 3rd-party: xarici modellər, API, məlumatlar, lisenziyalar, müqavilə zəmanətləri.

3) Risk yönümlü metodologiya (skelet)

1. İstifadənin kritikliyi: maliyyə/sağlamlıq/hüquqlara təsiri (aşağı/orta/yüksək).
2. Risklərin identifikasiyası: məlumatlar, ədalət, təhlükəsizlik, gizlilik, hallüsinasiyalar, sui-istifadə.
3. Nəzarət və sübut: hansı mexanizmlər riski azaldır və hansı artefaktlar təsdiqləyir.
4. Qiymətləndirmə və skorinq: domenlər üzrə bal (0-3/0-5), «go/no-go» eşikləri.
5. Remdiasiya və təkmilləşdirmə planı: SLA düzəlişlər, sahibləri, son tarixlər.
6. Davamlılıq: təkrar auditlərin dövriliyi, plandankənar yoxlama triggerləri.

4) Sənədləşmə və artefaktlar (evidence)

Data Sheet: mənbələr, sxemlər, hüquq və razılıq, təmizləmə, yerdəyişmə, retenshn.
Model Card: təyinat, təlim məlumatları, metriklər, məhdudiyyətlər, təhlükəsiz istifadə şərtləri.
Eval Report: oflayn qiymətləndirmə metodikası, split, bootstrap/CI, stress halları.
Risk Register: ehtimal/təsir ilə risklərin siyahısı, remediasiya statusu.
Change Log: məlumat/kod/model/prompt versiyaları, buraxılış tarixləri.
Playbooks: runbooks geri, eskalasiya, DSAR/data silinməsi, hadisələrə cavab.
Təchizatçı Dossier: Provayderlərin şərtləri (LLM API, modellər), limitlər və zəmanətlər.

5) Məlumatların auditi

Qanunilik və razılıq: hüquqi əsaslar, emal məqsədləri, transsərhəd ötürmələr.
Keyfiyyət/etimad: təravət, dolğunluq, unikallıq, paylama sürüklənməsi.
Yerdəyişmə (bias): sinif balanssızlığı, təmsilçilik, proxy əlamətləri.
Privacy: psevdonimization/tokenization, diferensial privacy (tətbiq edildikdə), giriş jurnalları.
Linage: mənbədən vitrinlərə və fice platformasına qədər izləmə; datasetlərin təkrarlanabilirliyi.
Lisenziyalar və IP: törəmələri öyrənmək/yaymaq hüququ.

Mini çek siyahısı: metrik/sahə sözlüyü, sxem müqavilələri, DQ testləri, razılıq jurnalı, DSAR prosedurları varmı?

6) Klassik ML modellərinin auditi

Validasiya və yenidən təlim: düzgün split, leakage-yoxlamalar, zaman kəsiklərində sabitlik.
Sərtlik: stress testləri (səs-küy, emissiyalar, boşluqlar, yerdəyişmələr), ağıllı domenlərdə adversarial sample 'lar.
Ədalət: disparate impact, equal opportunity, calibration parity; seqmentlər üzrə analiz.
Açıqlanabilirlik: yerli/qlobal SHAP/ICE, əhəmiyyət sabitliyi.
Tətbiq məhdudiyyətləri: qeyri-müəyyənlik zonaları, fallback-məntiq, human-in-the-loop.
Keyfiyyət iqtisadiyyatı: cost curves, səhv profilləri, guardrail metriklər.

7) LLM/generativ sistemlərin auditi (əlavə)

Hallüsinasiyalar və etibarlılıq: mənbələrlə cavabların payı, faktoloji evals.
Məzmun təhlükəsizliyi: zərərli/qadağan olunmuş filtrasiya, jailbreak/prompt-injection qorunması.
Kontekst və sızmalar: RAG məhdudiyyətləri (PII/secrets), mənbələrdən sitat policy.
Alətlər və funksiyalar: funksiyaları çağırarkən təhlükəsiz sərhədlər (no DDL/DML, limitlər).
Davranış reqressiyaları: A/B prompps dəsti, sistem təlimatlarının «sərtləşməsi», prompps versiyası.
İstifadəçilik və etika: risk hallarında imtina/yönləndirmə, düzgün diskleymerlər, sui-istifadənin avtomatlaşdırılmasından qorunma.

8) Təhlükəsizlik və əməliyyat riskləri

Model təhlükəsizliyi: təlim məlumatlarının çıxarılması, membership inference, model stealing - testlər və qvardlar.
Supply-chain ML: artefaktların (modellər, çəkilər, embeddinqlər) bütövlüyü, imzalar, asılılıq nəzarəti.
Infrastruktur: mühit izolyasiyası, gizli idarəetmə, egress nəzarəti, kvotalar.
Müşahidə: log/metrika/treysinq, drift və keyfiyyət riskləri, sorğu/ixrac auditi.
Hadisələr: «AI-insident», RACI, bildiriş müddəti, post-mortemlər.

9) Metrika və eval-praktikalar

Tapşırıq keyfiyyəti: accuracy/AUC/MAE/F1; для LLM — pass@k, faithfulness, groundedness.
Ədalət: seqmentlər üzrə boşluqlar, equalized odds/TPR-gap, unfairness-score.
Çeviklik: səs-küy/sürüşmə zamanı metrlərin düşməsi; seqmentlər üzrə worst-case.
Təhlükəsizlik: jailbreak-rate, toxicity/abuse rate, data exfil success rate.
İqtisadiyyat: cost-to-serve, latency p95/p99, cache hit-rate, səhvlər/1000 sorğular.
Etimad və təcrübə: şikayətlər, apellyasiya şikayətləri, əl overradlarının payı, reaksiya vaxtı.

10) Onlayn monitorinq və risklərin idarə edilməsi

Drift detektorları: populyasiya müqayisə fich/proqnozlar; alertlər və avtomatik deqradasiya.
Guardrails: diapazonlar, inam eşikləri, blok vərəqləri/allow vərəqləri.
Human-in-the-loop: kritik hallarda - məcburi yoxlama, rəy təlimi.
A/B və müşahidə olunan effektlər: model metriklərinin biznes metrik və guardrail KPI ilə əlaqələndirilməsi.
Relizlər və konturlar: canary/blue-green, model/prompps/data versiyası.

11) Normalara və daxili siyasətə uyğunluq

Subyektlərin məxfiliyi və hüquqları: giriş/silinmə/izahat, retenshn, lokalizasiya hüququ.
Şəffaflıq tələbləri: təyinat, apellyasiya üçün əlaqə, məhdudiyyətlər.
AI risklərinin idarə edilməsi: yüksək riskli sistemlərin qeydiyyatı, təsirin qiymətləndirilməsi (AIA/PIA), dövri rəylər.
Satıcılarla müqavilələr və SLA: log ixracı, emal yeri, alt prosessorlar, audit hüquqları.

12) Rollar və məsuliyyət

AI/ML Owner: model və keyfiyyət sahibi.
Data Steward: məlumat sahibi və DQ/lineedge.
Risk & Compliance: siyasət, yoxlamalar, tənzimləyici ilə qarşılıqlı əlaqə.
Təhlükəsizlik/Gizlilik: giriş nəzarəti, hücum/sızma testləri.
Product/UX: risk yönümlü interfeys və məzmun dizaynı.
Audit Lead (xarici/daxili): müstəqil qiymətləndirmə və hesabat.

13) Alətlər və həll sinifləri

DQ/kataloq/lineedge: keyfiyyət testləri, lineage, sözlər, pasport dəstləri.
Evals və test dəstləri: oflayn/onlayn qiymətləndirmə, stress hallarının yaradılması, benchmark dəstləri.
LLM-təhlükəsizlik: prompt-injection skanerləri, məzmun filtrləri, policy-checkers.
Monitorinq: telemetriya infeners, drift detektorları, hərəkət/ixrac auditi.
Prompps/modellərin idarə edilməsi: reyestrlər, versiya nəzarəti, təkrarlanabilirlik.
Red Team platformaları: hücum kataloqları, ssenarilər, avtomatik sınaqlar.

14) Antipattern

«Yalnız accuracy»: fairness/robustness/privacy/security.
Heç bir sənəd yoxdur: Model Card, Data Sheet, change log yoxdur.
Phich/LLM kontekstində xam PII: sızmalar və hüquqi risklər.
Onlayn monitorinqin olmaması: hadisə baş verdi - heç kim fərq etmədi.
Qeyri-şəffaf UX: istifadəçi bunun nə olduğunu və necə mübahisə edəcəyini başa düşmür.
Birdəfəlik audit: dövrü və triggers revizyon olmadan.

15) Auditin tətbiqinin yol xəritəsi

1. Fond: AI siyasəti, rol modeli, Risk Register, Model Card/Data Sheet şablonları.
2. Məlumatlara nəzarət: müqavilələr, DQ testləri, mənşə xətləri, lisenziyalar və razılıq.
3. Eval-çərçivə: keyfiyyət/ədalət/təhlükəsizlik metrləri, stress halları dəsti.
4. LLM-gigiyena: RAG siyasətləri, filtrlər, injection qorunması, mənbə jurnalı.
5. Monitorinq və insidentlər: telemetriya, alertlər, geri çəkilmələr, runbooks, kadr hazırlığı.
6. Xarici hazırlıq: tənzimləyici/müştərilər üçün hesabat, müstəqil yüksək kritik audit.
7. Davamlı təkmilləşdirmə: retro dövrlər, büdcə qvardları, müntəzəm qırmızı komanda sessiyaları.

16) AI model/funksiyası başlamazdan əvvəl çek siyahısı

• Doldurulmuş Data Sheet və Model Card; hüquqlar/lisenziyalar təsdiq edilmişdir.
• evals həyata keçirilmişdir: keyfiyyət, seqmentlər üzrə fairness, ehtiyatlılıq, təhlükəsizlik.
• LLM üçün: halüsinasiya/groundedness ölçmələri; prompt-injection/jailbreak qarşı müdafiə.
• Monitorinq və alertlər (keyfiyyət, sürüklənmə, toksiklik, latency/cost).
• human-in-the-loop və kritik qərarlar üçün apellyasiya prosesi var.
• DSAR/silmə/retenshn təsvir və steyj yoxlanılır.
• Model/Prompps reyestri yeniləndi; geri və canary hazır.
• security-review və red teaming; bloklama findings aradan qaldırıldı.

17) Audit hesabatının strukturunun nümunəsi (skelet)

1. CV və risk puanları (domen cədvəli).
2. Sistemin təsviri (məqsəd, istifadəçilər, kontekst).
3. Məlumatlar (mənbələr, hüquqlar, keyfiyyət, yerdəyişmə, mənşə xətləri).
4. Model/LLM (memarlıq, təlim, metrika, məhdudiyyətlər).
5. Təhlükəsizlik/məxfilik (nəzarət, hücum testləri, giriş jurnalı).
6. Eval-nəticələr (keyfiyyət, fairness, sərtlik, təhlükəsizlik, UX).
7. Əməliyyatlar (monitorinq, SLO, insidentlər, geri çəkilmələr).
8. Normalara uyğunluq (siyasət, proses, artefaktlar).
9. Pozuntular/gap's və remediasiya planı (SLA, sahibləri).
10. Proqramlar: Model Card, Data Sheet, təcrübələrin qeydləri, versiyalar.

18) Mini şablonlar (psevdo-YAML)

Model Card (qısa)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) Yekun

Süni intellekt alqoritmlərinin auditi birdəfəlik bir işarə deyil, razılıq və yerdəyişmələrdən tutmuş halüsinasiya və hadisələrə qədər bütün məlumat və modellər zəncirində davamlı risk idarəetmə prosesidir. Sənədləşmə, eval-çərçivə, əməliyyat nəzarətləri və şəffaf UX birlikdə işlədikdə, AI etibarlı, yoxlanıla bilən və məhsulun səmərəli komponentinə çevrilir.