Veri İşaretleme ve Model Kalitesi

1) Amaç ve prensipler

Amaç: Lösaj olmadan ve uyumu dikkate alarak tekrarlanabilir etiketler ve ölçülebilir model kalitesi elde etmek.

• Şema-ilk: biçimlendirilmiş ontolojiler, sınıf sözlükleri ve ölçütler.
• Zaman içinde: Etiketler, karar sırasında mevcut olan bilgilerden oluşturulur.
• Kod olarak kalite: talimatlar, testler, kontrol listeleri ve seçimler - bilgi havuzunda.
• Gizlilik-tasarım: PII minimizasyonu, DSAR/RTBF, ikamet.
• Maliyet bilincinde: işaretleme maliyetini ve beklenen maliyeti göz önünde bulundurun.

2) Ontoloji ve etiket şeması

• Nesne: İşlem/Oturum.
• Классы: 'legit', 'fraud _ suspected', 'fraud _ confirmed', 'unknown'.
• İstisnalar: Kanıtsız ters ibraz - "bilinmiyor".
• Kaynaklar: vaka yönetimi, ters ibraz kayıtları, sağlayıcılar/banka.

yaml task: aml_classification object: "payment_transaction"
labels:
- legit
- fraud_suspected
- fraud_confirmed
- unknown guidelines_version: "1. 3. 0"
positive_class: "fraud_confirmed"
exclusions:
- "dispute opened but no evidence -> unknown"
sources_of_truth:
- "case_system. resolution"
- "issuer. chargeback_code"

3) Kurallar

1. Görev ve iş bağlamının tanımı.

2. Pozitif/negatif örnekler ve borderline vakalar içeren sınıf tanımları.

3. Kaynak öncelik kuralları (doğru> sezgisel> görüş).

4. 'Bilinmeyen've tırmanma kriterleri.

5. Gizlilik politikaları (maskeleme, kimlik yerine belirteçler).

6. SSS ve işaretleme kontrol listesi.

• 'faud _ confirmed': FRAUD etiketi ile kanıtlanmış ters ibraz/kapalı dava.
• 'faud _ suspended': depozito ≥3 <10 dakika içinde REPORT_LIMIT + IP paketi/halka kartı.
• 'Yasal': 60 günlük pencerede bayrak ve onaylanmış vaka yoktur.
• 'Bilinmeyen': Çelişen özellikler veya yetersiz veriler.

4) Etiket kaynakları ve zaman içinde kurallar

Otomatik etiketler: kurallar/vakalar, ters ibraz, kendini dışlama (RG), sonuç bahisleri.
Zemin: Soruşturma/düzenleyici sonuçların sonucu.
Zaman içinde nokta - Karar noktasından (t0) sonraki olayları kullanmayın.
Gecikmeler: Örneğin, ters ibraz 45-90 gün sonra görünür - etiket "olgunlaşır".

sql
SELECT e. id, e. event_time AS asof,
CASE WHEN EXISTS (
SELECT 1 FROM cases c
WHERE c. tx_id = e. id
AND c. decision_time <= e. event_time + INTERVAL '90' DAY
AND c. result = 'FRAUD_CONFIRMED'
) THEN 'fraud_confirmed'
ELSE 'legit'
END AS label
FROM silver. payments e;

5) Örnekler: tabakalaşma ve denge

Nadir olaylar: pazar/sağlayıcı/tarihe göre tabakalı örnekleme kullanın; Nadir sınıfların aşırı örneklenmesi veya odak kaybı.
Doğrulama katmanları: hafta/pazar/kiracı tarafından bekletme tutun.
Yaptırımlar/PII: Doğrudan kimlik alanlarını eğitim setlerinden hariç tutun.

sql
-- Verification of class shares by market
SELECT market, label, COUNT() FROM dataset GROUP BY market, label;

6) İzleyici Tutarlılığı (IRR)

Karşılıklı açıklama sözleşmesini ölçün: Cohen κ (2 ek açıklama )/Krippendorff α (N ek açıklama, farklı ölçek türü).

• κ < 0. 4 - zayıf tutarlılık - revize talimatları/örnekler.

0. 4–0. 6 - karmaşık görevler için kabul edilebilir;> 0. 6 - iyi;> 0. 8 mükemmel.

• Kapsam (kaç tanesinin işaretlendiği), sınıf ve dilime göre κ/ α, 'bilinmeyen' paylaşım, ortalama süre, en üst hatalar.

7) QA devresi ve altın standartları

Altın set: %1-5 işaretli - iki kez kontrol edilen benchmark.
Bal-pot görevleri: görev akışında gizli bilinen durumlar.
İkinci bakış: tartışmalı örneklerde yükselmeler/arbitraj.
Regresyon testlerinin işaretlenmesi: kılavuzları güncelleştirdikten sonra yeniden değerleme.

8) Aktif, zayıf ve yarı denetimli öğrenme

Aktif Öğrenme: "Belirsiz" örneklerin seçimi (maksimum entropi/çeşitlilik).
Zayıf Denetim: sezgisel/uzak denetim + etiketler için gürültü modeli.
Yarı Denetimli: Sıcaklık eşiği ve sonraki doğrulama ile sahte etiketler.

python
U = unlabeled_pool()
scores, conf = model. predict(U)
C = pick_top_k_by_uncertainty(U, conf, k=500)
labels = annotate (C) # person train (model, L ∪ labels) # additional training

9) Anti-Lökaj ve Zaman Kontrolü

Özellikler ve etiketler için zaman içinde birleştirme.
Etiketleri/özelliği gelecekten yasaklama ('asof'tan sonra).
Dönüşüm denklik testi ile ayrı çevrimiçi/çevrimdışı boru hatları.
Veri ve mantık sürümleri ('logic _ version', 'data _ version', 'asof _ date').

10) Model kalite metrikleri

• Sınıflandırma: PR-AUC/ROC-AUC, F1 @ k, Recall @ k, beklenen maliyet (FP/FN ağırlıkları).
• Risk puanlaması: KS/ROC-AUC, Brier, kalibrasyon (ECE), sürüklenme için PSI/CSI.
• Öneriler: NDCG/MAP @ K, kapsama/çeşitlilik, yenilik.
• Anomaliler: Precision @ k, sentetik/altın sette AUCPR.

python best_thr = argmin_thr(cost_fpFPR(thr) + cost_fnFNR(thr))

11) Dilim analizi ve adalet

Dilimler: pazar, sağlayıcı, cihaz/ASN, hesap yaşı, mevduat boyutu, günün saati.
Adalet: Farklı etki (oran), eşitlenmiş oranlar (разница FPR/TPR).
Eylemler: özelliklerin yeniden birleştirilmesi, dilimlere göre kalibrasyon, eşiklerin revizyonu, eğitim ağırlıkları.

12) Üretim kalitesi izleme

Veri/tahmin kayması: Özellikler/oranlar üzerinden PSI/KL.
Kalibrasyon: ECE, güvenilirlik çizelgeleri.
Eşik kararlılığı: Beklenen maliyet ↑> % X veya PR-AUC ↓ olduğunda uyarı.
Schemes/contracts: catch breaking changes (schema registry).
Geri bildirim döngüsü: hızlı manuel olay etiketleri (vaka kapanışları, RG sonuçları).

13) Gizlilik, Güvenlik, Uyumluluk

PII minimizasyonu: takma adlar, ayrı korumalı haritalama.
İkamet: Ayrı boru hatları/anahtarlar (EEA/İngiltere/BR); Bölgeler arası birleşmeleri sebepsiz yasaklamak.
DSAR/RTBF: hesaplanabilir projeksiyonlar ve seçici düzenlemeler.
Yasal Bekletme: Vakalar ve raporlama paketleri için WORM arşivleri.
Günlükler: değiştirilemez erişim/dışa aktarma denetimi.

14) Markalama sürecinin organizasyonu

Araçlar: görev izleyici, örnek kuyruk, bağlam önizleme, PII maskeleme, kısayol tuşları.
Hız ve kalite kontrolü: Ek açıklamanın KPI'sı (hız, altındaki doğruluk), eğitim ve sertifikasyon.
Sürüm oluşturma: 'guidelines _ version', 'annotator _ id', 'reviewer _ id', zaman damgaları.
Dokümantasyon: set kartı (sahibi, kaynağı, pencereleri, kuralları, metrikleri).

15) Örnek şablonlar

yaml name: aml_tx_2025q1_pt owner: ml-risk asof_range: ["2024-10-01", "2024-12-31"]
positive_label: fraud_confirmed guidelines_version: "1. 3. 0"
feature_window: "[-30d, 0d)"
holdout: ["2024-12-15", "2024-12-31"]
pii_policy: "tokenized_user_ids; masked_pan; no_raw_ip"

yaml qa:
min_kappa: 0. 6 golden_accuracy_min: 0. 9 max_unknown_share: 0. 15 reannotation_on_disagreement: true

sql
SELECT pred, label, COUNT() n
FROM eval_predictions
GROUP BY pred, label;

16) Uygulama Yol Haritası

1. Ontoloji ve v1 talimatları, altın set (alan başına ≥1000 örnek).

2. PII maskeleme ile açıklama akışı, her hafta için κ metrik.

3. Temel model + çevrimdışı tahmin (PR-AUC, beklenen maliyet), zamanında örnekleme.

4. Özelliklerin/oranların sürüklenmesini izlemek; Veri kümelerinin ve kılavuz sürümlerinin kaydı.

• Aktif/zayıf denetim boru hattı, otomatik triyaj 'bilinmiyor'.
• Dilim analizi ve adalet raporları, olasılık kalibrasyonu.
• İşaretli setler için DSAR/RTBF prosedürleri, davalar için Yasal Bekletme.

• Tam QA otomasyonu (altın/bal-tencere), işaretleme regresyon testleri.
• Veri kümeleri ve "model kalitesi" kartlarının kataloğu; Beklenen maliyet eşiği.
• İşaretleme/çıkarım maliyetine göre ters ibraz, etiket güncellemelerine göre SLA.

17) RACI

R (Sorumlu): Veri Bilimi (ontoloji, metrikler), Etiket Ops (süreç/QA), Veri Müh (örnekler/PII/depolama).
A (Sorumlu): Veri/CDO Başkanı.
C (Danışmanlık): Uyumluluk/DPO (PII/ikamet/DSAR), Risk/AML/RG (politika), Güvenlik (KMS/denetim).
I (Bilgilendirilmiş): Ürün/Pazarlama/Operasyon/Destek.

18) Satış öncesi kontrol listesi

• Ontoloji ve kılavuzlar onaylandı, sürüm düzeltildi.
• Nitel örnek: tabakalaşma, zamana/pazara göre tutma.
• κ/ α ≥ hedef eşiği altın doğruluğu ile uyumlu.
• Özelliklerin ve etiketlerin zamanında toplanması; Lösaj yokluğu testi geçti.
• Beklenen maliyet, dilim analizi ve adalet tarafından seçilen metrikler.
• Drift/kalibrasyon izleme üzerinde; Uyarılar oluşturulur.
• PII/DSAR/RTBF ve Yasal Tutma politikaları uygulanmaktadır; denetim etkinleştirildi.

19) Anti-kalıplar ve riskler

Net ölçütler olmadan işaretleme - düşük κ, gürültülü etiketler.
Gelecekten Lakage (post-olgusal işaretler/etiketler).
Dengesiz örnekler, maliyet hariç ROC-AUC metriği.
Altın/QA ve regresyon işaretleme testlerinin eksikliği.
Maskesiz ve ikamet veri kümelerinde PII.
Dilim analizi yok - bölgeler/sağlayıcılar üzerinde gizli bozulma.

20) Alt satır

Model kalitesi etiket kalitesi ile başlar. Sıkı ontoloji, örneklerle talimatlar, zaman içinde disiplin, QA konturları ve hataların maliyetini dikkate alan metrikler, iGaming'de tekrarlanabilir ML'nin temelidir. Bu uygulamaları veri hattına ve MLOps'a yerleştirerek, iş sonuçlarını sürpriz olmadan iyileştiren sürdürülebilir, etik ve uyumlu modeller elde edersiniz.