AI algoritmalarının denetimi
1) AI denetimi nedir ve neden gereklidir?
YZ algoritmalarının denetimi, YZ'nin güvenilir, adil, güvenli ve yasal olarak çalıştığını ve risklerin yönetildiğini kanıtlayan sistematik bir veri, model, süreç ve kontrol kontrolüdür.
Hedefler:- Güveni artırmak (paydaşlar, müşteriler, düzenleyici).
- Operasyonel/itibar/yasal riskleri azaltın.
- Yaşam döngüsünün tekrarlanabilirliğini ve yönetilebilirliğini sağlayın (ML/LLM Ops).
- Ölçülebilir kalite ve risk ölçümleri ile iş kararlarını güçlendirin.
2) Denetimin kapsamı ve sınırları
Veri seviyesi: toplama/onay, kalite, önyargı, gizlilik, menşe hatları.
Model seviyesi: metodoloji, doğrulama, açıklanabilirlik, sağlamlık, güvenlik açıkları.
Ürün seviyesi: UX riskleri, döngüdeki kişi, geri bildirim ve yükselmeler.
Operasyon seviyesi: izleme, SLO, olaylar, geri dönüşler, sürüm yönetimi.
Yasal ve etik: veri konularının hakları, yasaklar/kısıtlamalar, belgeler.
Tedarikçiler ve 3. taraf: harici modeller, API, veri, lisanslar, sözleşme garantileri.
3) Risk tabanlı metodoloji (iskelet)
1. Kullanımın kritikliği: finans/sağlık/haklar üzerindeki etkisi (düşük/orta/yüksek).
2. Risk tanımlama: veri, adalet, güvenlik, gizlilik, halüsinasyonlar, istismar.
3. Kontroller ve kanıtlar: Hangi mekanizmaların riski azalttığı ve hangi eserlerin onayladığı.
4. Puanlama ve puanlama: Etki alanına göre puanlama ölçekleri (0-3/0-5), "go/no-go" eşikleri.
5. İyileştirme ve iyileştirme planı: SLA düzeltmeleri, sahipler, son tarihler.
6. Süreklilik: Tekrarlanan denetimlerin sıklığı, planlanmamış denetimin tetikleyicileri.
4) Dokümantasyon ve eserler (kanıt)
Veri Sayfası: kaynaklar, planlar, haklar ve izinler, temizlik, yer değiştirmeler, saklama.
Model Kart: amaç, eğitim verileri, metrikler, kısıtlamalar, güvenli kullanım koşulları.
Eval Raporu: çevrimdışı değerlendirme metodolojisi, bölünmeler, önyükleme/CI, stres vakaları.
Risk Kaydı: Olasılık/etki, iyileştirme durumu ile risklerin listesi.
Günlüğü Değiştir: veri/kod/model/promptt sürümleri, çıkış tarihleri.
Playbook'lar: geri alma, büyütme, DSAR/veri silme, olay yanıt runbook'ları.
Tedarikçi Dosyası: sağlayıcıların şartları (LLM API, modeller), limitler ve garantiler.
5) Veri denetimi
Yasallık ve onaylar: yasal gerekçeler, işleme amaçları, sınır ötesi transferler.
Kalite/güven: tazelik, bütünlük, benzersizlik, dağılımların sürüklenmesi.
Önyargı: sınıf dengesizlikleri, temsiliyet, proxy özellikleri.
Gizlilik: Takma ad/tokenizasyon, diferansiyel gizlilik (varsa), erişim günlükleri.
Linage: Kaynaktan vitrinlere ve özellik platformuna izleme; veri kümelerinin tekrarlanabilirliği.
Lisanslar ve IP: Türevleri öğrenme/dağıtma hakları.
Mini kontrol listesi: metrikler/alanlar, şema sözleşmeleri, DQ testleri, onay günlüğü, DSAR prosedürleri sözlüğü var mı?
6) Klasik ML modellerinin denetimi
Doğrulama ve yeniden eğitim: doğru bölünmeler, sızıntı kontrolleri, zaman dilimlerinde kararlılık.
Sağlamlık: stres testleri (gürültü, emisyonlar, ihmaller, vardiyalar), makul alanlarda rakip örnekler.
Adalet: farklı etki, fırsat eşitliği, kalibrasyon paritesi; segmentlere göre analiz.
Açıklanabilirlik: yerel/küresel SHAP/ICE, önem istikrarı.
Uygulama sınırlamaları: belirsizlik bölgeleri, geri dönüş mantığı, döngüde insan.
Kalite ekonomisi: maliyet eğrileri, hata profilleri, korkuluk metrikleri.
7) LLM/Üretken Sistemler Denetimi (isteğe bağlı)
Halüsinasyonlar ve geçerlilik: Kaynaklarla verilen yanıtların oranı, olgusal olaylar.
İçerik güvenliği: Kötü amaçlı/yasaklı filtreleme, jailbreak/istemi enjeksiyonuna karşı koruma.
Bağlam ve sızıntılar: RAG'de kısıtlamalar (PII/sırlar), kaynakların alıntılanması politikası.
Araçlar ve işlevler: işlevleri çağırırken güvenli sınırlar (DDL/DML yok, sınırlar).
Davranış regresyonları: Komut istemi kümeleriyle A/B, sistem talimatlarının "dondurulması", hızlı sürüm.
Kullanılabilirlik ve etik: Risk durumlarında reddetme/yeniden yönlendirme, doğru feragatnameler, kötüye kullanımın otomasyonuna karşı koruma.
8) Güvenlik ve operasyonel riskler
Model güvenliği: eğitim verilerinin çıkarılması, üyelik çıkarımı, model çalma - testler ve korumalar.
Tedarik zinciri ML: Eserlerin bütünlüğü (modeller, ağırlıklar, gömmeler), imzalar, bağımlılık kontrolü.
Altyapı: ortamların izolasyonu, gizli yönetim, çıkış kontrolü, kotalar.
Gözlemlenebilirlik: günlükler/metrikler/izleme, sürüklenme ve kalite uyarıları, talep/ihracat denetimleri.
Olaylar: "AI olayı'nın tanımı, RACI, bildirim süreleri, ölüm sonrası.
9) Metrikler ve eval uygulamaları
Göreve göre kalite: accuracy/AUC/MAE/F1; для LLM - pass @ k, sadakat, temellilik.
Adalet: segmente göre boşluklar, eşitlenmiş oranlar/TPR boşluğu, adaletsizlik puanı.
Sağlamlık: gürültü/kesme metriklerinde düşüş; Segmentine göre en kötü durum.
Güvenlik: jailbreak oranı, toksisite/kötüye kullanım oranı, veri exfil başarı oranı.
Ekonomi: Servis maliyeti, gecikme süresi p95/p99, önbellek isabet oranı, hatalar/1000 istekler.
Güven ve deneyim: şikayetler, itirazlar, manuel geçersiz kılmaların paylaşımı, tepki süresi.
10) Online izleme ve risk yönetimi
Drift dedektörleri: Özelliklerin/tahminlerin popülasyon karşılaştırmaları; Uyarılar ve otomatik bozulma.
Korkuluklar: aralıklar, güven eşikleri, blok listeleri/izin listeleri.
Döngüdeki insan: kritik durumlarda - zorunlu doğrulama, geri bildirim eğitimi.
A/B ve gözlemlenen etkiler: model metriklerini iş metriklerine ve korkuluk KPI'larına bağlama.
Geri dönüşler ve serbest bırakma konturu: kanarya/mavi-yeşil, model/promptt/veri sürümü.
11) Yönetmeliklere ve iç politikalara uygunluk
Gizlilik ve öznelerin hakları: erişim/kaldırma/açıklama, saklama, yerelleştirme hakkı.
Şeffaflık gereksinimleri: amaç, temyiz için iletişim, kısıtlamalar.
AI risk yönetimi: yüksek riskli sistemlerin kaydı, etki değerlendirmesi (AIA/PIA), periyodik incelemeler.
Satıcılarla yapılan sözleşmeler ve SLA'lar: ihracat günlükleri, işlem yeri, alt işlemciler, denetim hakları.
12) Roller ve sorumluluklar
AI/ML Sahibi: Model Sahibi ve Kalite.
Veri Sorumlusu: veri sahibi ve DQ/soy.
Risk ve Uyum: politika, kontroller, düzenleyici ile etkileşim.
Güvenlik/Gizlilik: erişim kontrolü, saldırı/sızıntı testleri.
Ürün/UX: risk tabanlı arayüz ve içerik tasarımı.
Denetim Lideri (harici/dahili): bağımsız değerlendirme ve rapor.
13) Çözüm Araçları ve Sınıfları
DQ/katalog/soy: kalite testleri, soy, sözlükler, kit pasaportları.
Evals ve test kitleri: çevrimdışı/çevrimiçi değerlendirme, stres durumu oluşturma, benchmark kitleri.
LLM güvenliği: hızlı enjeksiyon tarayıcıları, içerik filtreleri, politika denetleyicileri.
İzleme: Çıkarımın telemetrisi, sürüklenme dedektörleri, eylemlerin/ihracatların denetimi.
İstemler/modeller yönetimi: kayıtlar, sürüm kontrolü, tekrarlanabilirlik.
Kırmızı Takım platformları: saldırı katalogları, senaryolar, otomatik testler.
14) Antipatterns
Yalnızca doğruluk: adalet/sağlamlık/gizlilik/güvenliği göz ardı edin.
Belge yok: Eksik Model Kart, Veri Sayfası, değişiklik günlüğü.
LLM'deki ham PII'ler özellikler/bağlam: sızıntılar ve yasal riskler.
Çevrimiçi izleme eksikliği: olay oldu - kimse fark etmedi.
Opak UX: Kullanıcı AI'nın ne olduğunu ve nasıl meydan okuyacağını anlamıyor.
Bir kerelik denetim: Bisiklete binme ve revizyon tetikleyicileri yok.
15) Denetim Uygulama Yol Haritası
1. Vakıf: AI politikası, rol modeli, Risk Kaydı, Model Kartı/Veri Sayfası şablonları.
2. Veri kontrolü: sözleşmeler, DQ testleri, soylar, lisanslar ve onaylar.
3. Eval-frame: kalite/adalet/güvenlik metrikleri, stres vakaları.
4. LLM hijyeni: RAG politikaları, filtreler, enjeksiyon koruması, kaynak günlüğü.
5. İzleme ve olaylar: telemetri, uyarılar, komisyon, runbooks, personel eğitimi.
6. Dış hazırlık: düzenleyici/müşterilere raporlama, yüksek kritikliğin bağımsız denetimi.
7. Sürekli iyileştirme: retro döngüler, bütçe muhafızları, düzenli kırmızı takım oturumları.
16) Lansman öncesi AI modeli/işlev kontrol listesi
- Veri Sayfası ve Model Kart dolduruldu; Haklar/lisanslar onaylandı.
- Yürütülen olaylar: kalite, bölüme göre adalet, sağlamlık, güvenlik.
- LLM için: halüsinasyon/temellilik ölçümleri; Hızlı enjeksiyon/jailbreak karşı koruma.
- İzleme ve uyarılar (kalite, sürüklenme, toksisite, gecikme/maliyet) yüklenir.
- Kritik kararlar için döngüde insan ve itiraz süreci var.
- DSAR/kaldırma/tutma sahnede tanımlanır ve test edilir.
- Model/İstemi Kayıt güncellendi; Hazır geri dönüşler ve kanarya.
- Güvenlik incelemesi ve kırmızı takım çalışması yapıldı; Engelleme bulgularını ortadan kaldırdı.
17) Denetim raporunun yapısı örneği (iskelet)
1. Özet ve risk puanlaması (alana göre tablo).
2. Sistem açıklaması (amaç, kullanıcılar, bağlam).
3. Veriler (kaynaklar, haklar, kalite, ofsetler, menşe satırları).
4. Model/LLM (mimari, eğitim, metrikler, kısıtlamalar).
5. Güvenlik/gizlilik (kontroller, saldırı testleri, erişim günlüğü).
6. Eval sonuçları (kalite, adalet, sağlamlık, güvenlik, UX).
7. Operasyonlar (izleme, SLO, olaylar, geri dönüşler).
8. Uyumluluk (politikalar, süreçler, eserler).
9. İhlaller/boşluklar ve iyileştirme planı (SLA, sahipleri).
10. Uygulamalar: Model Kart, Veri Sayfası, deney günlükleri, sürümler.
18) Mini şablonlar (sözde YAML)
Model Kart (kısa)
yaml model:
name: churn_xgb_v12 purpose: owners customer outflow forecast: [data_science@company]
data:
sources: [events_app, payments, support_tickets]
rights: consent:true; pii:tokenized evals:
metrics: {auc: 0. 86, f1: 0. 62}
fairness: {tpr_gap_gender: 0. 03}
limits:
do_not_use_for: credit decisions operations:
monitoring: {drift: enabled, latency_p95_ms: 120}
rollback: canary -> blue_greenLLM Korkulukları
yaml llm:
blocked_content: [pii, sexual, violence, illegal_advice]
tools_allowlist: [sql_read_analytics, search_docs]
max_tokens: 1024 require_sources: true pii_redaction: on injection_scan: on19) Alt satır
YZ algoritmalarının bir denetimi bir kerelik bir "onay'değil, tüm veri ve modeller zinciri boyunca sürekli bir risk yönetimi sürecidir: rıza ve önyargılardan halüsinasyonlara ve olaylara kadar. Dokümantasyon, eval framework, operasyonel kontroller ve şeffaf UX birlikte çalıştığında, AI güvenilir, doğrulanabilir ve uygun maliyetli bir ürün bileşeni haline gelir.