ანომალიების აღმოჩენა

ანომალიების აღმოჩენა არის უჩვეულო დაკვირვებების, ნიმუშების ან მონაცემების ცვლილებების იდენტიფიცირება, რომლებიც გადახრილია „ნორმიდან“ და შეიძლება აღინიშნოს წარუმატებლობის, თაღლითობის, უსაფრთხოების ინციდენტების, მონაცემების შეცდომების ან იშვიათი ბიზნეს მოვლენების შესახებ. ქვემოთ მოცემულია სისტემური შეხედულება: დავალებების ფორმულირებიდან დაწყებული ალერტის ექსპლუატაციისა და მართვისთვის.

1) ანომალიების და წარმოების ტიპები

წერტილოვანი (წერტილოვანი ანომალიები): ერთჯერადი დაკვირვებები ნორმის მიღმა (ერთი მომხმარებლის მიერ დეპოზიტების ზრდა).
კონტექსტური: გადახრები კონტექსტის გათვალისწინებით (ღამით მაღალი დატვირთვა - დაახლოებით, დღის განმავლობაში - ანომალია).
კოლექტიური: ჩვეულებრივი წერტილების ჯგუფი უჩვეულო თანმიმდევრობით (მცირე გარიგებების სერია).
სტრუქტურული: რეჟიმის/განაწილების შეცვლა (change-point; ახალი სეზონურობა).
მონაცემთა ხარისხის ანომალიები: გამოტოვება, დუბლიკატები, წებოები, დროის ეტიკეტების რაციონალიზაცია, „ბრტყელი“ სენსორები.

ტრენინგის რეჟიმები:

საზედამხედველო: აღინიშნება ანომალიები (იშვიათად, ძვირი).
ნახევრად ზედამხედველი (ერთჯერადი კლასები): ჩვენ ვასწავლით „ნორმას“, დანარჩენი ყველაფერი არანორმალურია.
არასაიმედო: ჩვენ ვეძებთ „იშვიათ/შორეულ“ ეტიკეტების გარეშე.

2) მონაცემები და მომზადება

ნორმის საზღვრები: ჰორიზონტები და სეზონურობა (საათი/დღე/კვირა), კალენდარული მოვლენები, შაბათ-კვირას, აქციები.
Fichi: lages, მოცურების სტატისტიკა (mean/median/EMA), quantile ნიშნები, კატეგორიების encodings, იშვიათობის მრიცხველები, ფანჯრების აგრეგატები 7/30/90.
გაწმენდა: დედუპლიკაცია, დროებითი ზონების კორექტირება, სიხშირის გათანაბრება, გამშვები დრო (ინტერპოლაცია/ფორვარდ-ფილმი/აღდგენის მოდელები).
სტანდარტიზაცია/მორწყვა: RobustScaler/წოდებები/მეღვინეობა ემისიების წინააღმდეგობისთვის.
Point-in-time სისწორე: ფიკის წარმოქმნის დროს მომავლის გაჟონვის გარეშე.

3) გამოვლენის მეთოდები

3. 1. სტატისტიკა და წესები

z-score/robast z (median, MAD), IQR/ყუთი, ექსპონენტური გაბრტყელება სანდო დერეფნებით.
საკონტროლო ბარათები (Shewhart, CUSUM, EWMA): წარმოების პროცესებისა და ნაკადის მეტრებისთვის.
კვანტილის ბარიერები (დინამიური ფანჯრების მიხედვით), სეზონური-კვანტილური ბარიერები.

3. 2. მანძილები, სიმკვრივე, მტევანი

KNN distance, ადგილობრივი Outlier Factor (LOF) ადგილობრივი იშვიათობაა.
DBSCAN/HDBSCAN - ხმაურის წერტილები მტევნების მიღმა.
PCA/Robust PCA - ანომალიები - მაღალი ნარჩენი შეცდომა/SPE სტატისტიკა; Hotelling’s T².

3. 3. ანსამბლები და ხეები

Isolation Forest - იშვიათ წერტილებს მოკლე გზით აცილებს.
Randomized Thresholding/Bagging ძირითადი წესებით - სწრაფი productions.

3. 4. რეკონსტრუქცია და ალბათობა

Autoencoder/VAE (მათ შორის LSTM/Transformer თანმიმდევრობებისთვის): ანომალია = რეკონსტრუქციის მაღალი შეცდომა.
Probabilistic forecasting (quantille პროგნოზები): პროგნოზირებული ინტერვალების გასასვლელი სიგნალია.
ბაიესის მოდელები/ნორმალიზებული გარდაქმნების ნაკადები აშკარა გაურკვევლობაა.

3. 5. დროებითი რიგები და რეჟიმების შეცვლა

ARIMA/ETS/Prophet/TBATS - პროგნოზი + გადახრა.
Change-point detection: BOCPD, RuLSIF/დივერგენციის კრიტერიუმები, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - „ყველაზე განსხვავებული ქვესახეობების“ ძებნა.

3. 6. მრავალგანზომილებიანი და გრაფიკული

Multivariate TS: VAR, TCN/TFT, LSTM-VAE; ჯვარედინი კორელაციები და ნდობის ერთობლივი ინტერვალები.
გრაფიკები: არანორმალური საყრდენები/კვანძები (მაგალითად, ქსელის ტრაფიკში ან გადახდის ჯაჭვებში).

4) მეთოდის არჩევა: პრაქტიკული მატრიცა

სცენარი	მონაცემები	რეკომენდაცია
გაყიდვების მეტრიკა, ტელემეტრია	ნაკადი, სეზონური	EWMA/CUSUM + კვანტური დერეფნები; შემდეგ იზოლაციის ტყე, როგორც მეორე ფენა
Frode/გარიგებები	დისბალანსის ფირფიტა	LOF/Isolation Forest, როგორც Autoencoder/VAE ბაზარი; დაამატეთ დომენის წესები
გაყიდვები/ბაზარი	ყოველდღიური რიგები	Prophet/TBATS + რაოდენობრივი ინტერვალები; ცვლადის წერტილები ძაბვისთვის
მონაცემთა ხარისხი	ნედლეული ლოგები	ხარისხის წესები + სტატისტიკა; ალერტები სქემებზე/NULL/დუბლიკატები
მოვლენების ნაკადები	რეალი დრო	CUSUM/EWMA + მსუბუქი ერთჯერადი კლასის მოდელების ონლაინ ვერსიები; შეფერხების შეზღუდვა

5) ხარისხის შეფასება იშვიათ ანომალიებში

დისბალანსი: ROC-AUC შეიძლება შეცდომაში შეიყვანოს; ფოკუსირება PR-AUC, precision @ k, recall @ FPR - x%, F1, Matthews CC.
დროებითი მეტრიკა: Average Time To Detect (ATTD), „ადრეული დეტექტივების“ წილი.
სტაბილურობა: ფლოპინგის წილი (ალერტის ხშირი ჩართვა/გამორთვა), „მშვიდი“ პერიოდების საშუალო სიგრძე.
Cost-based: ხარჯების მატრიცა (ყალბი პოზიტიური/ყალბი უარყოფითი), პრევენციული ინციდენტების ღირებულება.
შესაბამისობა: დროებითი დაყოფები, out-of-time ფანჯრები, ჯგუფური გაერთიანებები (მომხმარებლების/მოწყობილობების მიხედვით), სარეზერვო ტესტები.

6) ბარიერი სტრატეგიები და კალიბრაცია

სტატიკური ბარიერები: მარტივი, მაგრამ იშლება სეზონურობის დროს.
დინამიური: per-segment/per-hour quantilly, ადაპტირება დატვირთვა და „მშვიდი საათი“.
Percentil on spark: 99. მე -5/99. მე -9 მაღალი უპირატესობისთვის; შეგიძლიათ გააკეთოთ per-bucket კატეგორიებში.
მორიელის კალიბრაცია: isotonic/temperature ალბათობისთვის; ალერტების შერყევა (debounce, „N M“).
ჰისტერეზი: სხვადასხვა ბარიერი შესასვლელი/გასასვლელი ანომალიის მდგომარეობიდან.

7) ინტერპრეტაცია და RCA (root cause analalysis)

გლობალურად: fain/permutation, PCA დატვირთვა, სეგმენტის პროფილები, კომპონენტების წვლილი რეკონსტრუქციის შეცდომაში.
ადგილობრივად: SHAP/LIME მალე ან დამხმარე მოდელებზე.
რიგებში ატრიბუტი: ტენდენციის/სეზონური/რეგრესორების წვლილი (არდადეგები, კამპანიები).
დეტალიზაცია: „არანორმალური სეგმენტი - არანორმალური დარტყმა და არანორმალური ობიექტები“.
პაუზალურობა: ურთიერთდაკავშირება/კონტრფაქტები მარკეტინგული ეფექტის განცალკევებისთვის „ნამდვილი“ ანომალიიდან.

8) წარმოება და MLOps

სერვინგი: სინქრონული (დაბალი შეფერხება, gRPC/REST) და ასინქრონული (ბატჩი/მიკრობატი).
Ichestor: შესაბამისობა ონლაინ/ოფლაინ, წერტილოვან დროში, SLA ნიშნების წარმოებისთვის.
ვერსია: მოდელები, ბარიერები, სქემები, კონფიგურაცია; შეინახეთ არტეფაქტები და მონაცემების „ბრჭყალები“.
ალერტინგი: პრიორიტეტიზაცია (P1-P3), დედუპლიკაცია, მხარდაჭერის ფანჯრები (ღამე/არდადეგები), მანქანის დახურვა ნორმალიზაციის დროს.
Fail-safe: ავტომატური დეგრადაცია წესების/მარტივი დეტექტორების, ტაიმაუტის, QPS შეზღუდვის შესახებ.
Shadow/Canary: ახალი დეტექტორის შედარება მიმდინარე, offline-shadow-canary-full.
Feedback loop: ალერტის მარკირების ინტერფეისი, ნახევრად ავტომატური რელიეფური და დოთრენირებადი.

9) ალერტ-ფატიგუს შემცირება

ბანდლინგი: ერთ ინციდენტში ალერტას დროის/სეგმენტის მახლობლად.
SLO alertes: precision/alerts- ის სამიზნე ცვლაში.
ესკალაციის პოლიტიკა: პრიორიტეტის ზრდა ხანგრძლივობით/მასშტაბით.
Rate limiting: ფანჯრის მიღმა არაუმეტეს N ალერტა; „მშვიდი პერიოდი“ მუშაობის შემდეგ.
ორ დონის სქემა: იაფი უხეში დეტექტორი (მაღალი ჩანაწერი) + ძვირადღირებული პრეციზირებული გადამოწმება.

10) განხორციელების შემოწმების სია

განისაზღვრება ანომალიების ტიპები და მათი გამოვლენის ბიზნეს ღირებულება
გათვალისწინებულია სეზონური/კალენდარი; აშენებულია კონტექსტური ნიშნები
შეირჩა მეთოდი: სწრაფი სიჩქარე + პოტენციურად უფრო რთული
ბარიერი სტრატეგია (დინამიური/პრო-სეგმენტი) და ჰისტერეზი
მეტრიკა: PR-AUC, ATTD, cost-metrics, სეგმენტების შესახებ მოხსენებები
ინტერპრეტაციის გეგმა და RCA; დაშბორდები Drill-down
ალერტის პოლიტიკა, მხარდაჭერა, დეპრესია
სკორინგის, ვერსიების, შეყვანის შეცდომების ლოგიკა; სარეზერვო ტესტები
რეგულირების პროცედურები და დრიფტის კონტროლი (PSI/JS-div)
დოკუმენტაცია: მონაცემთა კონტრაქტები, SLO, რუნიბუკები

11) ტიპიური ნიმუშები

„პროგნოზი + გადახრა“: ჩვენ ვასწავლით სავარაუდო პროგნოზს (მეოთხედი 5-95%), სიგნალი ინტერვალზე გასვლისას.
„რეკონსტრუქტორი“: Autoencoder/Robust PCA - ალერტი მაღალი რეკონსტრუქციის error.
„იზოლატორი“: იზოლაციის ტყე ფირფიტის/მულტიფიციისთვის; სწრაფად, რამდენიმე პარამეტრი.
„ადგილობრივი იშვიათობა“: LOF/kNN დისტანცია კარგია სხვადასხვა სიმკვრივის მქონე სეგმენტებისთვის.
„რეჟიმის შეცვლა“: BOCPD/PELT + მიზეზების შესაბამისობა (გამოშვება, მოქმედება, ინციდენტი).
„ორსაფეხურიანი“: rule-based ფილტრი - ML გადამოწმება (ყალბი შემცირება).

12) დეტექტორის მონიტორინგი

ხარისხი: PR-AUC/precision @ k/ATTD მოცურების ფანჯარაში, დადასტურებული ალერტების წილი.
მონაცემები: გამოტოვება, ლაქები, უჩვეულო კარდინალობა, მოვლენების ზრდა.
დრიფტი: PSI/KL/JS საკვანძო fices და skore, სამიზნე დრიფტი (თუ არსებობს ეტიკეტები).
ოპერაცია: ინვესტიციის შეფერხება, QPS, წინააღმდეგობის გაწევა, დეგრადაციის წილი.

13) მარკირება და აქტიური სწავლება

მარკირების სტრატეგიები: მოპირდაპირე მხარეს, მტევნების მრავალფეროვნება, „სასაზღვრო“ შემთხვევები.
სინთეზური: ანომალიების ინექცია (კონტროლირებადი) სტრესული ტესტებისთვის.
აქტიური learning: ჩვენ ვთხოვთ ანალიტიკოსების ეტიკეტებს საკამათო ინციდენტებისთვის.
Weak supervision: წესები/euristics, როგორც სუსტი ეტიკეტები + ეტიკეტის აგრეგატორები.

14) უსაფრთხოება, ეთიკა, შესაბამისობა

კონფიდენციალურობა: მინდვრების შემცირება, ფსევდონიმები, როლების დაშვება.
გამჭვირვალობა: ავტომატიზაციის ალერტისა და მოქმედებების მიზეზების განმარტება.
აუდიტი: გადაწყვეტილებების ჟურნალი, ბარიერების/ვერსიების/მონაცემების რეპროდუქცია.
სამართლიანობა: ბიას კონტროლი სეგმენტებში (განსაკუთრებით ანტიფროდისთვის/მორიელისთვის).

მინი გლოსარიუმი

Change წერტილი: სერიის განაწილების/რეჟიმის შეცვლის მომენტი.
PR-AUC: precision-recall- ის მრუდის ქვეშ მდებარე ტერიტორია სტაბილურია იშვიათი პოზიტიური.
PSI: მოსახლეობის სტაბილურობის ინდექსი, განაწილების მეტრიკა.
Matrix Profile/Discord: გზა „ყველაზე განსხვავებული“ ქვედანაყოფის მოსაძებნად.

შედეგი

ანომალიების გამოვლენის ეფექტური სქემა არ არის ერთი „ჭკვიანი“ ალგორითმი, არამედ კომბინაცია: სწორი კონტექსტი (სეზონური/კალენდარი), მორცხვი ნიშნები, გააზრებული პოლიტიკის ბარიერი, ინტერპრეტირებული RCA, მკაცრი ოპერატორი (SLO/ალერტული პოლიტიკა) და გაუმჯობესების ციკლი უკუკავშირის საშუალებით. ეს მიდგომა ამცირებს ცრუ შფოთვას და ზრდის ანომალიების რეალურ სარგებელს - წარუმატებლობის ადრეული გამოვლენიდან ზარალის თავიდან ასაცილებლად.

ანომალიების აღმოჩენა