AI ალგორითმების აუდიტი

1) რა არის AI აუდიტი და რატომ არის ეს საჭირო

AI ალგორითმების აუდიტი არის მონაცემთა, მოდელების, პროცესების და კონტროლის სისტემატური შემოწმება, რომელიც ამტკიცებს, რომ AI მუშაობს საიმედოდ, სამართლიანად, უსაფრთხოდ და კანონიერად, ხოლო რისკები კონტროლდება.

• ნდობის გაზრდა (stakeholders, მომხმარებლები, რეგულატორი).
• შეამცირეთ ოპერაციული/რეპუტაციის/სამართლებრივი რისკები.
• უზრუნველყოს სასიცოცხლო ციკლის რეპროდუქცია და მართვა (ML/LLM Ops).
• გააძლიერეთ ბიზნეს გადაწყვეტილებები ხარისხისა და რისკის გაზომვით.

2) აუდიტის სფერო და საზღვრები

მონაცემთა დონე: შეგროვება/თანხმობა, ხარისხი, გადაადგილება, კონფიდენციალურობა, წარმოშობის ხაზები.
მოდელის დონე: მეთოდოლოგია, შესაბამისობა, ახსნა, მორცხვობა, დაუცველობა.
პროდუქტის დონე: UX რისკები, ადამიანი-წრე, უკუკავშირი და ესკალაცია.
ოპერაციების დონე: მონიტორინგი, SLO, ინციდენტები, გამოტოვება, ვერსიების მართვა.
იურიდიკა და ეთიკა: მონაცემთა სუბიექტების უფლებები, აკრძალვები/შეზღუდვები, დოკუმენტაცია.
მომწოდებლები და 3rd-party: გარე მოდელები, API, მონაცემები, ლიცენზიები, ხელშეკრულების გარანტიები.

3) რისკზე ორიენტირებული მეთოდოლოგია (ჩონჩხი)

1. გამოყენების კრიტიკა: გავლენა ფინანსებზე/ჯანმრთელობაზე/უფლებებზე (დაბალი/საშუალო/მაღალი).
2. რისკების იდენტიფიკაცია: მონაცემები, სამართლიანობა, უსაფრთხოება, კონფიდენციალურობა, ჰალუცინაციები, ბოროტად გამოყენება.
3. მათ ასევე გააკონტროლეს მტკიცებულებები: რომელი მექანიზმები ამცირებს რისკს და რომელი არტეფაქტები ადასტურებს.
4. შეფასება და მორიელი: ქულის მასშტაბები (0-3/0-5) დომენებზე, „go/no-go“ ბარიერები.
5. რემონტი და გაუმჯობესების გეგმა: SLA კორექტირება, მეპატრონეები, ვადები.
6. უწყვეტობა: განმეორებითი აუდიტების სიხშირე, დაუგეგმავი შემოწმების გამომწვევი.

4) დოკუმენტაცია და არტეფაქტები

Data Sheet: წყაროები, სქემები, უფლებები და თანხმობა, გაწმენდა, გადაადგილება, ჭრა.
მოდელის ბარათი: დანიშნულება, ტრენინგის მონაცემები, მეტრიკა, შეზღუდვები, უსაფრთხო გამოყენების პირობები.
Eval Report: ოფლაინ შეფასების ტექნიკა, სპლიტები, bootstrap/CI, სტრესის შემთხვევები.
Risk Register: რისკების ჩამონათვალი ალბათობით/გავლენით, რემედიაციის სტატუსი.
Change Log: მონაცემთა ვერსიები/კოდი/მოდელები/ინდუსტრიები, გამოშვების თარიღები.
Playbooks: runbooks დაბრუნება, ესკალაცია, DSAR/მონაცემების წაშლა, ინციდენტების პასუხი.
Supplier Dossier: პროვაიდერების პირობები (LLM API, მოდელები), ლიმიტები და გარანტიები.

5) მონაცემთა აუდიტი

კანონიერება და თანხმობა: სამართლებრივი საფუძვლები, დამუშავების მიზნები, ტრანსსასაზღვრო ტრანსსასაზღვრო ტრანსფერები.
ხარისხი/ნდობა: სიახლე, სისრულე, უნიკალურობა, განაწილების დრიფტი.
გადაადგილება (bias): კლასების დისბალანსი, წარმომადგენლობა, მარიონეტული ნიშნები.
კონფიდენციალურობა: ფსევდონიზაცია/ტოკენიზაცია, დიფერენციალური კონფიდენციალურობა (გამოყენებისას), წვდომის ჟურნალები.
ხაზი: კვალი წყაროდან ფანჯარასა და ფიჩე პლატფორმაზე; Datasets- ის რეპროდუქცია.
ლიცენზიები და IP: ტრენინგის უფლებები/წარმოებულების განაწილება.

მინი ჩეკის სია: არსებობს გლოსარიუმის მეტრული/ველები, სქემების კონტრაქტები, DQ ტესტები, თანხმობის ჟურნალი, DSAR პროცედურები?

6) კლასიკური ML მოდელების აუდიტი

სავალდებულო და გადამზადება: სწორი დანაყოფები, დაბალანსების შემოწმება, დროებითი სექციების სტაბილურობა.
მორცხვობა: სტრესის ტესტები (ხმაური, ემისია, გამოტოვება, ძვრები), adversarial sample გონივრულ დომენებში.
სამართლიანობა: disparate impact, equal oportunity, calibration parity; ანალიზი სეგმენტებზე.
განმარტება: ადგილობრივი/გლობალური SHAP/ICE, მნიშვნელობის სტაბილურობა.
გამოყენების შეზღუდვები: გაურკვევლობის ზონები, fallback ლოგიკა, ადამიანის-in-loop.
ხარისხის ეკონომიკა: curves, შეცდომების პროფილები, guardrail მეტრიკა.

7) LLM/გენერაციული სისტემების აუდიტი (დამატებითი)

ჰალუცინაციები და საიმედოობა: წყაროებთან პასუხების წილი, ფაქტობრივი მოვლენები.
შინაარსის უსაფრთხოება: მავნე/აკრძალული ფილტრაცია, დაცვა jailbreak/prompt-injection- დან.
კონტექსტი და გაჟონვა: შეზღუდვები RAG- ში (PII/საიდუმლოებები), პოლიტიკა წყაროების ციტირებისთვის.
ინსტრუმენტები და ფუნქციები: უსაფრთხო საზღვრები ფუნქციების გამოძახებისას (no DDL/DML, ლიმიტები).
ქცევის რეგრესიები: A/B პრომტების ნაკრები, სისტემის ინსტრუქციების „დამაგრება“, პრომოპტების ვერსია.
Jusability და ეთიკა: უარი/გადაკეთება რისკის შემთხვევებში, სწორი დისკლეიმერები, დაცვა ბოროტად გამოყენების ავტომატიზაციისგან.

8) უსაფრთხოება და ოპერატიული რისკები

სამოდელო უსაფრთხოება: სასწავლო მონაცემების მოპოვება, სამოდელო ინფორმაციის მოპოვება, მოდელის სტილი - ტესტები და მცველები.
Supply-chain ML: არტეფაქტების მთლიანობა (მოდელები, წონა, ემბედინგი), ხელმოწერები, დამოკიდებულების კონტროლი.
ინფრასტრუქტურა: გარემოს იზოლაცია, საიდუმლო მენეჯმენტი, egress კონტროლი, კვოტები.
დაკვირვება: ლოგოები/მეტრიკა/ტრეისი, დრიფტის და ხარისხის ალერტები, მოთხოვნის/ექსპორტის აუდიტი.
ინციდენტები: „AI ინციდენტის“ განსაზღვრა, RACI, შეტყობინებების დრო, პოსტ-mortems.

9) მეტრიკა და ევალური პრაქტიკა

დავალების ხარისხი: accuracy/AUC/MAE/F1; для LLM — pass@k, faithfulness, groundedness.
სამართლიანობა: სეგმენტები, equalized odds/TPR-gap, unfairness score.
Robastice: მეტრიკის ვარდნა ხმაურის/ცვლის დროს; worst case სეგმენტები.
უსაფრთხოება: jailbreak-rate, toxicity/abuse, მონაცემთა exfil success rate.
ეკონომიკა: cost-to-serve, latency p95/p99, cache hit-rate, შეცდომები/1000 მოთხოვნა.
ნდობა და გამოცდილება: საჩივრები, საჩივრები, სახელმძღვანელო ოვერაიდების წილი, რეაქციის დრო.

10) ონლაინ მონიტორინგი და რისკის მართვა

Drift დეტექტორები: მოსახლეობის შედარებები fich/პროგნოზები; ალერტები და ავტო-დეგრადაცია.
Guardrails: დიაპაზონი, ნდობის ბარიერები, ბლოკის ფურცლები/allow ფურცლები.
Human-in-loop: კრიტიკულ შემთხვევებში - სავალდებულო შემოწმება, უკუკავშირის სწავლება.
A/V და დაკვირვებული ეფექტები: მოდელის მეტრიკის დაკავშირება ბიზნეს მეტრიკებთან და guardrail KPI.
გამოშვებების გამოტოვება და კონტურები: canary/blue-green, მოდელების/ინდუსტრიების/მონაცემების ვერსია.

11) ნორმებისა და შინაგანი პოლიტიკოსების დაცვა

სუბიექტების კონფიდენციალურობა და უფლებები: წვდომის უფლება/მოცილება/ახსნა, გადაკეთება, ლოკალიზაცია.
გამჭვირვალეობის მოთხოვნები: მიზანი, კონტაქტი გასაჩივრებისთვის, შეზღუდვები.
AI რისკების მართვა: მაღალი რისკის სისტემების რეგისტრაცია, ზემოქმედების შეფასება (AIA/PIA), პერიოდული მიმოხილვები.
კონტრაქტები და SLA ვენდორებით: ლოგოების ექსპორტი, დამუშავების ადგილი, სუბპრესორები, აუდიტის უფლებები.

12) როლები და პასუხისმგებლობა

AI/ML Owner: მოდელის და ხარისხის მფლობელი.
Data Steward: მონაცემთა მფლობელი და DQ/Linege.
Risk & Compliance: პოლიტიკა, შემოწმება, რეგულატორთან ურთიერთქმედება.
უსაფრთხოება/პირადი: წვდომის კონტროლი, თავდასხმის/გაჟონვის ტესტები.
Product/UX: რისკზე ორიენტირებული ინტერფეისის და შინაარსის დიზაინი.
Audit Lead (გარე/შიდა): დამოუკიდებელი შეფასება და ანგარიში.

13) ინსტრუმენტები და გადაწყვეტილებების კლასები

DQ/კატალოგი/ხაზები: ხარისხის ტესტები, ხაზები, ტერმინალები, პასპორტები.
Evals და ტესტის ნაკრები: ოფლაინ/ონლაინ შეფასება, სტრესის შემთხვევების წარმოება, ბენჩმარკის ნაკრები.
LLM უსაფრთხოება: prompt-injection სკანერები, შინაარსის ფილტრები, პოლიცია-შემოწმებები.
მონიტორინგი: ინვესტიციის ტელემეტრია, დრიფტის დეტექტორები, მოქმედებების/ექსპორტის აუდიტი.
ინდუსტრიების/მოდელების მენეჯმენტი: რეესტრები, ვერსიების კონტროლი, რეპროდუქცია.
Red Team პლატფორმები: თავდასხმების კატალოგები, სკრიპტები, ავტომატური ტესტები.

14) ანტიპატერები

„მხოლოდ accuracy“: fairness/robustness/privacy/უსაფრთხოების უგულებელყოფა.
არ არსებობს დოკუმენტაცია: არ არსებობს Model Card, Data Sheet, შეცვლა ჟურნალი.
ნედლეული PII ფილიალში/LLM კონტექსტში: გაჟონვა და იურიდიული რისკები.
ონლაინ მონიტორინგის არარსებობა: მოვლენა მოხდა - არავინ შენიშნა.
გაუმჭვირვალე UX: მომხმარებელს არ ესმის, რომ ეს არის AI და როგორ უნდა გაასაჩივროს.
ერთჯერადი აუდიტი: ციკლურობის გარეშე და გადასინჯვის გამომწვევი.

15) აუდიტის განხორციელების გზის რუკა

1. ფონდი: AI პოლიტიკა, როლური მოდელი, Risk Register, მოდელის Card/Data Sheet შაბლონები.
2. მონაცემთა კონტროლი: კონტრაქტები, DQ ტესტები, წარმოშობის ხაზები, ლიცენზია და თანხმობა.
3. Eval ჩარჩო: ხარისხის/სამართლიანობის/უსაფრთხოების მეტრიკა, სტრესის შემთხვევების ნაკრები.
4. LLM ჰიგიენა: RAG პოლიტიკა, ფილტრები, დაცვა ინვესტიციისგან, წყაროების ჟურნალი.
5. მონიტორინგი და ინციდენტები: ტელემეტრია, ალერტა, გამოტოვება, რუნბოქსი, პერსონალის ტრენინგი.
6. საგარეო მზადყოფნა: მოხსენებები რეგულატორის/მომხმარებლებისთვის, დამოუკიდებელი მაღალი კრიტიკის აუდიტი.
7. უწყვეტი გაუმჯობესება: რეტრო ციკლები, ბიუჯეტის მცველები, რეგულარული წითელი გუნდის სესიები.

16) ჩეკის სია AI მოდელის/ფუნქციის დაწყებამდე

• ივსება Data Sheet და Model Card; დადასტურებულია უფლებები/ლიცენზია.
• ჩატარდა evals: ხარისხი, სეგმენტები, მორცხვობა, უსაფრთხოება.
• LLM- სთვის: ჰალუცინაციების გაზომვები/groundedness; დაცვა prompt-injection/jailbreak.
• მონიტორინგი და ალერტები (ხარისხი, დრიფტი, ტოქსიკურობა, ლატენცია/cost).
• არსებობს human-in-loop და კრიტიკული გადაწყვეტილებების გასაჩივრების პროცესი.
• DSAR/მოცილება/ჭრა აღწერილია და შემოწმებულია სტეიდზე.
• მოდელების/ინდუსტრიების რეესტრი განახლებულია; მზად არის გამოტოვება.
• ჩატარდა უსაფრთხოების მიმოხილვა და წითელი მიმოხილვა; აღმოფხვრილი findings.

17) აუდიტის ანგარიშის სტრუქტურის მაგალითი (ჩონჩხი)

1. რეზიუმე და რისკების შემცირება (დომენის ცხრილი).
2. სისტემის აღწერა (მიზანი, მომხმარებლები, კონტექსტი).
3. მონაცემები (წყაროები, სამართალი, ხარისხი, გადაადგილება, წარმოშობის ხაზები).
4. მოდელი/LLM (არქიტექტურა, ვარჯიში, მეტრიკა, შეზღუდვები).
5. უსაფრთხოება/კონფიდენციალურობა (მაკონტროლებელი, შეტევების ტესტები, წვდომის ჟურნალი).
6. Eval შედეგები (ხარისხი, fairness, მორცხვობა, უსაფრთხოება, UX).
7. ოპერაციები (მონიტორინგი, SLO, ინციდენტები, გამოტოვება).
8. სტანდარტებთან შესაბამისობა (პოლიტიკა, პროცესები, არტეფაქტები).
9. დარღვევები/gap 's და რემედიაციის გეგმა (SLA, მფლობელები).
10. პროგრამები: Model Card, Data Sheet, ექსპერიმენტების ლოგოები, ვერსიები.

18) მინი შაბლონები (ფსევდო-YAML)

მოდელის ბარათი (მოკლედ)

yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_green

LLM Guardrails

yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on

19) შედეგი

AI ალგორითმების აუდიტი არ არის ერთჯერადი „ნიშანი“, არამედ რისკების მართვის უწყვეტი პროცესი მონაცემთა და მოდელების მთელ ჯაჭვში: თანხმობებიდან და გადაადგილებიდან ჰალუცინაციებამდე და ინციდენტებამდე. როდესაც დოკუმენტაცია, eval ჩარჩო, ოპერაციული კონტროლები და გამჭვირვალე UX ერთად მუშაობენ, AI ხდება პროდუქტის საიმედო, გადამოწმებული და ეკონომიკურად ეფექტური კომპონენტი.