შაბლონების ამოცნობა

ნიმუშების ამოცნობა

ნიმუშების ამოცნობა არის ის სფერო, რომელშიც ალგორითმები სწავლობენ მონაცემებში მდგრადი სტრუქტურების პოვნას: კლასები, მტევნები, განმეორებითი ფორმები, მოტივები და დამოკიდებულებები. მიზანია ავტომატურად გამოავლინოს „სემანტიკური შაბლონები“ და გამოიყენოს ისინი პროგნოზირებისთვის, მსგავსებების მოსაძებნად, სეგმენტების აღმოჩენისა და გადაწყვეტილების მისაღებად.

1) დავალებების შესრულება

კლასიფიკაცია: ობიექტის კლასიფიკაცია კლასში (frode/არა frode, მოვლენის ტიპი).
მრავალსართულიანი/მრავალსართულიანი კლასიფიკაცია: ერთდროულად რამდენიმე კლასი.
კლასტერიზაცია და სეგმენტი: ჯგუფი ეტიკეტების გარეშე, არანორმალური/ნიშების ჯგუფების გამოყოფა.
მსგავსების რანგი/ძებნა: შესაბამისობის მოწესრიგება, nearest neighbors.
სტრუქტურების სეგმენტი: ობიექტის ნაწილების მარკირება (სურათი, ლოგიკური ჩანაწერი, სესია).
რიგითების ამოცნობა: ეტიკეტები დროებითი სერიების/ლოგოების/ტექსტისთვის.
წესების და მოტივების მოპოვება: ხშირი ნაკრები/თანმიმდევრობა, ასოციაციური წესები.
გრაფიკული დავალებები: კვანძების/ნეკნების კლასიფიკაცია, თემების აღმოჩენა.

• ზედამხედველობა (არსებობს ეტიკეტები), არასათანადო (კლასტერიზაცია/წესები), ნახევრად ზედამხედველობა (ფსევდომეტრები), თვითგანათლება (თვითგანათლება: კონტრასტული/აუგმენტაცია).

2) მონაცემები და წარმოდგენები

ფირფიტა: რიცხვითი და კატეგორიული ნიშნები; ურთიერთქმედება, სტატისტიკური ფანჯრები.
დროებითი რიგები/ღონისძიების ლოგოები: ლაგები, ტენდენციები, სეზონურობა, DTW მახასიათებლები, სპექტრული მახასიათებლები.
ტექსტი: ნიშნები/ემბედინგი (Bag-of-Words, TF-IDF, word2vec/fastText, BERT ემბედინგი), n-grams, საკვანძო ფრაზები.
სურათები/აუდიო: სპექტრი/მელ-ფიჩი, ადგილობრივი აღწერილობა (SIFT/HOG), გლობალური CNN ემბედინგი.
გრაფიკები: მიმდებარე მატრიცა, node2vec/DeepWalk, GNN ემბედინგი.
მულტიმედიური მოდალობა: ემბედინგის კავშირი (ლათ ./early fusion), cross-attention.

საკვანძო პრინციპები: წერტილოვანი ტიპის სისწორე, მომავლის გაჟონვის არარსებობა, სტანდარტიზაცია/რობასტის სკეილინგი, კატეგორიის კოდირება (one-hot/target/hash), საგუშაგოების და ემისიების ზუსტი დამუშავება.

3) მეთოდები

3. 1 კლასიკური სტატისტიკური და მეტრული

ხაზოვანი მოდელები: ლოგისტიკური/ხაზოვანი რეგრესია რეგულირებით (L1/L2/Elastic Net).
უახლოესი მეზობლების მეთოდები: kNN, ball-tree/FAISS ემბედინგის მოსაძებნად.
SVM/შხამიანი მეთოდები: RBF/პოლინომიური ბირთვები, on- კლასის SVM („ნორმისთვის“).
გულუბრყვილო ბაიესი/ჰიბრიდები: სწრაფი ბასლაინები ტექსტისთვის/კატეგორიებისთვის.
განზომილების შემცირება: PCA/ICA/t-SNE/UMAP ვიზუალიზაციისა და წინასწარ დამუშავებისთვის.

3. 2 ხეები და ანსამბლები

Random Forest, Gradient Boosting (XGBoost/LightGBM/CatBoost): ფირფიტაზე ძლიერი ბეისლაინები, რომლებიც მდგრადია შერეული ფირების ტიპების მიმართ, იძლევა მახასიათებლების მნიშვნელობას.
მინის/ბლენდინგი: ანსამბლები ჰეტეროგენული მოდელებისგან.

3. 3 ნერვული ქსელები მოდალობაში

თანმიმდევრობები: RNN/LSTM/GRU, Temporal Convolutional Networks, Transformers (მათ შორის გრძელი რიგებისთვის).
კომპიუტერული ხედვა: CNN/ResNet/ConvNeXt, Vision Transformer; გამოვლენა/სეგმენტი (Faster/Mask R-CNN, U-Net).
ტექსტი: Encoder-only (BERT კლასი), Encoder-Decoder (T5), კლასიფიკაცია/რანჟირება/NER.
გრაფიკები: GCN/GAT/GraphSAGE სტრუქტურული ნიმუშებისთვის.

3. 4 პატერნის სამთო და წესები

ხშირი ნაკრები/თანმიმდევრობა: Apriori/Eclat, FP-Growth, PrefixSpan.
ასოციაციური წესები: მხარდაჭერა/ცხოვრება/კონფერენცია; ბიზნესის ღირებულების ფილტრაცია.
დროებითი სერიის მოტივები/შაბლონები: Matrix Profile, SAX, სეგმენტაცია რეჟიმების ცვლაში.

4) ვალიდაცია და ექსპერიმენტები

სპლიტები: i.i.d. K-fold სტაციონარული მონაცემებისთვის; temporal CV/rolling windows თანმიმდევრობებისთვის.
სტრატიფიკაცია და ჯგუფი: გაჟონვის კონტროლი მომხმარებლებს/სესიებს/კამპანიებს შორის.
Out-time ტესტი: საბოლოო გამოცდა „მომავალი“ პერიოდისთვის.
ბასლაინები: გულუბრყვილო წესები, სიხშირის პროგნოზები, მარტივი ლოგრაგი/GBM.

5) ხარისხის მეტრიკა

კლასიფიკაცია: accuracy (ბალანსით), ROC-AUC, PR-AUC იშვიათ კლასებში, logloss, F1, precision/recall @ k, NDCG/Lift რანგისთვის.
კლასტერიზაცია: silhouette, Davies-Bouldin, Calinski-Harabasz; გარე - ARI/NMI „ოქროს სტანდარტის“ თანდასწრებით.
სურათების სეგმენტი: IoU/Dice.
თანმიმდევრობა/NER: token-/entity-elel F1; ონლაინ აღიარების დრო.
ბიზნეს მეტრიკა: სავარაუდო მოგება, სახელმძღვანელო დატვირთვის შემცირება, დამუშავების სიჩქარე.

6) ინტერპრეტაცია და ნდობა

გლობალურად: fain/permutation, PDP/ICE, SHAP-summary მნიშვნელობა.
ადგილობრივად: SHAP/LIME/Anchors კონკრეტული გადაწყვეტილების ასახსნელად.
წესებისთვის: გამჭვირვალე მეტრიკა (მხარდაჭერა/ცხოვრება), წესების კონფლიქტი, გაშუქება.
ემბედინგის ვიზუალიზაცია: UMAP/t-SNE ნიმუშებისა და მტევნების „ბარათებისთვის“.

7) მონაცემთა სტაბილურობა და ხარისხი

მორცხვობა: სტაბილური სკეილერები (median/MAD), მეღვინეობა, ემისიების დაცვა.
დრიფი: განაწილების მონიტორინგი (PSI/JS/KL), სამიზნე დრიფტი და დარტყმა, პერიოდული გადატვირთვა.
სამართლიანობა: შეცდომების შედარება სეგმენტებზე, შეზღუდვები FPR/TPR- ზე, bias scills.
კონფიდენციალურობა/შესაბამისობა: ველების მინიმიზაცია, ფსევდონიმიზაცია, როლების დაშვება.

8) Paipline (მონაცემებიდან წარმოებამდე)

1. ამოცანის განსაზღვრა და KPI (და „ოქროს“ გადამოწმების სცენარები).
2. მონაცემთა შეგროვება/მომზადება: სქემები, დედაპლიკაცია, დროებითი ზონები, დანაყოფები და ემბედინგი.
3. ბასლაინები: მარტივი წესები/ლოგრეგი/GBM; sanity-checks.
4. სპექტაკლების გამდიდრება: დომენის ნიშნები, მოდალობის ემბედინგი, მომავლის მაღაზია.
5. ტრენინგი და შერჩევა: ბადეები/ბაიესის ოპტიმიზაცია, ადრეული გაჩერება, ჯვარედინი მოქმედება.
6. კალიბრაცია და ბარიერები: Platt/isotonic, ბარიერების არჩევანი ბიზნეს ღირებულებისთვის.
7. Deploy: REST/GRPC batch/ონლაინ; არტეფაქტებისა და სქემების ვერსია.
8. მონიტორინგი: ხარისხი (ML მეტრიკა + ბიზნესი), განაწილება, შეფერხებები; ალერტები და რუნიბუკები.
9. რეტრენინგი: გრაფიკი/დრიფტის მოვლენა; A/B/კანარის გამოშვებები.

9) სცენარის მიხედვით პრაქტიკული ნიმუშები

Frode და რისკის მორიელი (ფირფიტა): GBM/სტეკინგი, დაამატეთ გრაფიკული ნიშნები (მოწყობილობების/ბარათების კავშირი) და GNN; მკაცრი შეზღუდვები; ოპტიმიზაცია PR-AUC/recall @ FPR - x%.
პერსონალიზაცია და შინაარსი (რანჟირება): ტრენინგის მომხმარებლის/ობიექტების ემბედინგი + ორობითი კლიკის სიგნალი; loss: pairwise/listwise; ონლაინ განახლებები.
ლოგოების/თანმიმდევრობის ანალიტიკა: TCN/Transformer, augmentation contrastive self-supervised; მოტივების გამოვლენა და რეჟიმების შეცვლა.
განზრახვების ტექსტის ამოცნობა/თემები: BERT კლასი, fine-tuning; ინტერპრეტაცია ძირითადი ნიშნით/ატენტიით.
სურათები/ვიდეო (ხარისხის კონტროლი/ინციდენტები): დეფექტების კლასიფიკაცია, ლოკალიზაცია (Grad-CAM/Mask R-CNN), IoU მეტრიკა და ესკალაციის წესები.
გრაფიკები (თემები/თაღლითური ჯაჭვები): GNN + გრაფიკული ანომალიების ევრაზია (degree/triangles/clast კოეფიციენტი).

10) მოდელის არჩევანი: მარტივი გადაწყვეტილებების მატრიცა

11) შეცდომებისა და ოვერფიტის შემცირების მეთოდები

რეგულირება (L1/L2/dropout), ადრეული გაჩერება, მონაცემთა აკუმულაცია და mixup/cutout (CV/აუდიო).
გაჟონვის კონტროლი: მკაცრი დროებითი დაყოფები, ჯგუფური ჭრილობები, ემბედინგის „გაყინვა“ ვალიდაციისთვის.
ალბათობის კალიბრაცია და სტაბილური ბარიერები ბიზნესის შეზღუდვებისთვის.
Ensembling/Model soup ძაბვის წინააღმდეგობის მისაღწევად.

12) ჩეკის სია გამოქვეყნებამდე

• სწორი დანაყოფები (temporal/ჯგუფი), არ არსებობს გაჟონვა
• სტაბილური მეტრიკა OOT ფანჯარასა და საკვანძო სეგმენტებზე

ალბათობის კალიბრატები; განისაზღვრა ბარიერები/საყრდენი მატრიცა

• შეიქმნა SLO: ხარისხი, შეფერხება, წვდომა
• ინვესტიციის ლოგოები, არტეფაქტების ვერსიები, მონაცემთა კონტრაქტები
• რეტრენინგის გეგმა და დეგრადაციის სტრატეგია (fallback)
• დოკუმენტაცია და რუნები (RCA, შეცდომები, ესკალაციის გზები)

მინი გლოსარიუმი

Pattern სამთო მოპოვება: ხშირად ნაპოვნი კომპლექტების/რიგითების ძებნა.
ემბედინგი: ობიექტის ვექტორული წარმოდგენა, რომელიც ინარჩუნებს სემანტიკას/მსგავსებას.
Contrastive learning: ტრენინგი, რომელიც უახლოვდება „მსგავს“ მაგალითებს და „განსხვავებულია“.
Silhouette/NMI/ARI: კლასტერიზაციის ხარისხის მეტრიკა.
IoU/Dice: სეგმენტაციის ხარისხის მეტრიკა.

შედეგი

ნიმუშების ამოცნობა არა მხოლოდ „მოდელის X“ არჩევანია, არამედ სპექტაკლების დისციპლინა, სწორი ვალიდაცია და ოპერაციული ციკლი. ძლიერი წარმოდგენები (ფიჩები/ემბედინგი), სტაბილური ბეისლაინები (GBM/SVM/მარტივი CNN), მაღალი ხარისხის დანაყოფები და გაყიდვების მკაცრი მონიტორინგი ყველაზე დიდ ანაზღაურებას იძლევა. დაამატეთ სირთულე (ღრმა არქიტექტურები, მულტფილმები, გრაფიკები) მხოლოდ მაშინ, როდესაც ეს მოაქვს გაზომილ ზრდას ML- და ბიზნეს მეტრებში.