დიდი მონაცემების ინსაითები

1) რა არის ინსაითი და რატომ არის ეს მნიშვნელოვანი?

• დომენის მონაცემები - სწორი მეთოდები - რეალური ინტერპრეტაცია - პროდუქტში/პროცესში დანერგვა.

• გაურკვევლობის შემცირება და რეაქციის დრო.
• ძაბვისა და ხარჯების ოპტიმიზაცია, LTV/ARPPU/retention ზრდა (ნებისმიერი ინდუსტრიისთვის).
• რისკების, ფროიდის, დეგრადაციის ადრეული გამოვლენა.
• შემოსავლის ახალი წყაროები (მონაცემთა წარმოება, API, საანგარიშო მომსახურება).

2) არქიტექტურული წრე: მონაცემთა გზა ინსაითებისკენ

1. წყაროები: პროგრამების მოვლენები, ლოგოები, გარიგებები, გარე API, პარტნიორების მონაცემები, ღია ნაკრები.
2. ინექცია და ნაკადი: CDC/ETL/ELT, რიგები (Kafka/Kinesis/PubSub), სქემები და კონტრაქტის ტესტები.
3. შენახვა: Data Lake (ნედლეული და გაწმენდილი ზონები) + DWH/OLAP ფანჯრები, საჭიროების შემთხვევაში HTAP.
4. სემანტიკური ფენა: მეტრიკისა და გაზომვების ერთიანი განმარტებები, კატალოგი, ხაზები.
5. Fiche პლატფორმა: ხელახლა გამოყენებული ნიშნები, ოფლაინ/ონლაინ თანმიმდევრულობა.
6. ანალიტიკა და მოდელები: batch/stream გამოთვლები, ML/სტატისტიკა, გრაფიკები, NLP, გეო, დროებითი რიგები.
7. ინსაითების მიწოდება: დაშბორდები, ალერტები, რეკომენდაციები, API, webhooks, ჩაშენებული ანალიტიკა.
8. Observability და ხარისხი: მონაცემთა ტესტები, სიახლეების/დრიფტების მონიტორინგი, ალერტები ანომალიებში.

პრინციპი: მეტრიკის/ფიჩის გამოთვლა ვიზუალიზაციისა და ინტერფეისებისგან - ეს აჩქარებს ევოლუციას.

3) ანალიტიკის ტიპები და როდის უნდა გამოვიყენოთ ისინი

აღწერილობა: „რა მოხდა?“ - აგრეგატები, ნაჭრები, სეზონურობა, კოჰორტული მოხსენებები.
დიაგნოსტიკური (Diagnostic): „რატომ?“ - ფაქტორული ანალიზი, სეგმენტი, ატრიბუტი, კაუზიური გრაფიკები.
პროგნოზული: „რა მოხდება?“ - კლასიფიკაცია/რეგრესია, დროის სერია, survival/charn მოდელები.
საპრეზიდენტო: „რა უნდა გავაკეთო?“ - ოპტიმიზაცია, ბანდიტები, RL, რეკომენდაციები, მოქმედებების პრიორიტეტი.

4) ძირითადი მეთოდოლოგიური ბლოკები

4. 1 დროებითი რიგები: სეზონური/ტენდენციები, Prophet/ARIMA/ETS, რეგრესორები (პრომო/მოვლენები), იერარქიული განლაგება, nowcasting.
4. 2 სეგმენტი: k-means/DBSCAN/HDBSCAN, RFM/ქცევითი მტევანი, პროფილები არხებით/გეო/მოწყობილობებით.
4. 3 ანომალიები და რისკი: STL დაშლა + IQR/ESD, იზოლაცია ტყე, robust PCA; Scoring frode.
4. 4 რეკომენდაციები: თანამშრომლობითი ფილტრაცია, მატრიცების ფაქტორიზაცია, გრაფიკული ემბედინგი, seq2rec.
4. 5 NLP: ტოპები, სუბიექტების მოპოვება, სენტიმენტი/განმარტება, ტიკეტების/მიმოხილვების კლასიფიკაცია, RAG/LLM თანაშემწეები.
4. 6 გრაფიკული ანალიტიკა: ცენტრალური, საზოგადოება, ფროიდის ბილიკები, კვანძების გავლენა, ქსელების „წებოვანი“ მეტრიკა.
4. 7 კაუზალურობა: A/B ტესტები, დისფუნქციები, პროფილაქტიკური სკორა, ინსტრუმენტული ცვლადები, DoWhy/causal ML.

5) მონაცემებიდან ნიშნებამდე: ფიჩე ინჟინერია

ფანჯრების დანაყოფები: მოცურების თანხები/საშუალო, სიხშირეები, უნიკალურობა.
საათობრივი/დღის/ყოველკვირეული გადასახადები: მოკლევადიანი დინამიკის დაჭერა.
კოჰორტის ნიშნები: დრო X მომენტიდან, მომხმარებლის/ობიექტის სასიცოცხლო ციკლი.
გეო ნიშნები: ადგილმდებარეობის მტევანი, თერმული რუქები, ხელმისაწვდომობა.
გრაფიკული ნიშნები: ხარისხი, ტრიადის ჩართვა, PageRank, კვანძების/ნეკნების ემბედინგი.
ტექსტის ნიშნები: TF-IDF/ემბედინგი, ტონალობა, ტოქსიკურობა, თემები.
ონლაინ/ოფლაინ თანმიმდევრულობა: ტრენინგის და წარმოების ტრანსფორმაციების ერთი ლოგიკა.

6) ექსპერიმენტები და მიზეზები

დიზაინი: მეტრის (და) წარმატების ჰიპოთეზა - ნიმუშის მინიმალური ეფექტი - რანდომიზაცია/სტრატიფიკაცია.
ანალიზი: p-values/ნდობის ინტერვალით ეფექტი, CUPED, მრავალჯერადი შემოწმების კორექტირება.
კვაზი ექსპერიმენტები: თუ RCT შეუძლებელია - DiD, სინთეზური კონტროლი, მატჩები.
ონლაინ ოპტიმიზაცია: მრავალმხრივი ბანდიტი, UCB/TS, კონტექსტური ბანდიტები, ადრეული გაჩერება.
გადაწყვეტილებების კოდირება: ექსპერიმენტები ინტეგრირდება ფიგურის დროშის პლატფორმაში, ვერსიების ტრეკინგში.

7) მონაცემების ხარისხი და ნდობა

სქემები და კონტრაქტები: სქემების ევოლუცია, საპირისპირო თავსებადობა, სქემა რეგისტრი.
მონაცემთა ტესტები: სიახლე, სისრულე, უნიკალურობა, მთლიანობა, დიაპაზონი/წესები.
ხაზები და კატალოგი: წყაროდან მეტრამდე; მფლობელები, SLA, ვალდებულების სტატუსი.
გადასასვლელი/ემისიების მართვა: პოლიტიკოსები, რომლებიც დოკუმენტირებულია და ავტომატიზირებულია.
ინსაითის რეპროდუქციის შემოწმება: იგივე მოთხოვნა იგივე შედეგია (ფანჯრის/ფორმულების ვერსია).

8) კონფიდენციალურობა, უსაფრთხოება, ეთიკა

PII/PCI/PHI: შენიღბვა, ტოქსიკაცია, დიფერენციალური კონფიდენციალურობა, მინიმიზაცია.
RLS/CLS: სტრიქონის/სვეტების წვდომა როლების/ტენანტების/რეგიონების მიხედვით.
აუდიტი: ვინ დაინახა/ექსპორტზე, წვდომის კვალი, რეპროდუქციის პოლიტიკა.
მოდელების ეთიკა: გადაადგილება და სამართლიანობა, განმარტება (SHAP), LLM- ის უსაფრთხო გამოყენება.
ლოკალიზაცია: შენახვის ადგილები და ტრანსსასაზღვრო გადაცემა იურისდიქციის მოთხოვნების შესაბამისად.

9) MLOps და ოპერაციული ანალიტიკა

Payplines: ტრენინგი DAG 'და (Airflow/Argo/DBT/Prefect), რეაქცია ახალ ნაწილებზე/ნაკადზე.
მოდელების გამოშვებები: რეესტრი (Model Registry), კანარის გამოთვლები, ცისფერი-მწვანე.
მონიტორინგი: ლატენტობა, სიახლის სიახლე, მონაცემთა/პროგნოზების დრიფტი, ხარისხი (AUC/MAE/BS).
Rollbacks და runbooks: ავტომატური დაბრუნება წინა ვერსიაზე, დეგრადაციის პროცედურები.
Cost-to-serve: ინსაითების გაანგარიშების ხარჯების პროფილირება და fich- ის შენახვა.

10) ინსაითების მიწოდება: სად და როგორ უნდა აჩვენოთ

ადაპტირებული დაშბორდები: KPI- ის პრიორიტეტული ფირზე, მეტრიკის ახსნა, მოვლენების დაწყებამდე.
ჩაშენებული ანალიტიკა: JS-SDK/iframe/Headless API, კონტექსტური ფილტრები, ელექტრონული ფოსტის/PDF სნაიპშოტები.
ალერტები და რეკომენდაციები: „შემდეგი მოქმედება“, ბარიერები, ანომალიები, SLA დარღვევები; snooze/deduplication.
ოპერაციული წრე: ინტეგრაცია CRM/ticet სისტემებთან/ორკესტრებთან საგზაო მოქმედებებისთვის.
Data products პარტნიორებისთვის: საანგარიშო პორტალები, გადმოტვირთვის, API endpoints კვოტებით და აუდიტით.

11) ინსაითი პროგრამის წარმატების მეტრიკა

მიღება: აქტიური ანალიტიკური/მოდელების მომხმარებლების წილი (WAU/MAU, სიხშირე).
გავლენა: ძირითადი ბიზნეს KPI (კონვერტაცია, შენარჩუნება, ფროიდის რისკი, COGS).
ინსაითი სიჩქარე: დრო მოვლენიდან ხელმისაწვდომი გამომავალი/ალერტამდე.
საიმედოობა: აფთიაქი, p95 ლატენტობა და გაანგარიშება, ფოლკლორული წილი.
ნდობა: საჩივრები განსხვავებების შესახებ, აღმოფხვრის დრო, მონაცემთა ტესტების დაფარვა.
ეკონომიკა: cost per insight, ROI ინიციატივების შესახებ, მონაცემთა პროდუქტების ანაზღაურება.

12) ინსაითების მონეტიზაცია

შიდა: შემოსავლის/ეკონომიკის ზრდა, მარკეტინგის/რეზერვების ოპტიმიზაცია/რისკის მენეჯმენტი.
გარე: ფასიანი მოხსენებები/პანელები, პარტნიორებისთვის თეთრი-ლაბელი, API/ფანჯრების წვდომა.
ტარიფები: ძირითადი KPI უფასოა, მოწინავე სეგმენტები/ექსპორტები/რეალი დრო - Pro/Enterprise.
Data Marketplace: საერთო პაკეტების გაცვლა კონფიდენციალურობისა და სამართლის შესაბამისად.

13) ანტიპატერები

„მონაცემები თავად იტყვიან ყველაფერს“ ჰიპოთეზებისა და დომენის კონტექსტის გარეშე.
მეტრიკის ჩამოტვირთვის განმარტებები სხვადასხვა მოხსენებებში (სემანტიკური ფენის არარსებობა).
ფართომასშტაბიანი ცოცხალი მოთხოვნები OLTP- სთვის, რომელიც იშლება.
ორაკულის მოდელები უკუკავშირის გარეშე და ბიზნესის მფლობელი.
ალერტ სპამი პრიორიტეტიზაციის, დედაპლატაციისა და ახსნა-განმარტების გარეშე.
ექსპერიმენტების არარსებობა არის კორელაციისა და ინტუიციის შესახებ გადაწყვეტილების მიღება.

14) გზის განხორციელების რუკა

1. Discovery: გადაწყვეტილებების რუკა (JTBD), კრიტიკული KPI, წყაროები, რისკები და შეზღუდვები (იურიდიული/ეს).
2. მონაცემები და სემანტიკა: კატალოგები, სქემები, ხარისხის ტესტები, KPI- ს ერთიანი განმარტებები.
3. MVP ინსაითები: 3-5 მიზნობრივი შემთხვევა (მაგალითად, მოთხოვნის პროგნოზი, ანომალიების აღმოჩენა, ცარნის სკორინგი), მარტივი მიწოდება (დაშბორდი + ალერტი).
4. ავტომატიზაცია: Headless API, ოპერაციებთან ინტეგრაცია, ექსპერიმენტები, მიზეზობრივი ანალიზი.
5. სკალირება: ფიჩე პლატფორმა, ონლაინ/ოფლაინ თანმიმდევრულობა, მოდელების კანარის გამოშვებები.
6. მონეტიზაცია და ეკოსისტემა: გარე პანელები/API, ტარიფები, პარტნიორობის ანგარიშები.

15) ჩეკის სია გამოქვეყნებამდე

• დამტკიცებულია Glossarium KPI და მფლობელები, დოკუმენტირებულია ფორმულების ვერსიები.
• მონაცემთა ტესტები (სიახლე/სისრულე/უნიკალურობა/დიაპაზონი) ტარდება CI- ში.
• RLS/CLS და მგრძნობიარე ველების შენიღბვა შემოწმებულია სტეჯინგში.
• p95 ლატენტობა და გაანგარიშება შეესაბამება SLO- ს; აქ არის ქეში/მასწავლებლები.
• ალერტები პრიორიტეტულია, არის სნოუზი და დედუპლიკაცია; ინახება აუდიტი.
• ექსპერიმენტები და კაუზალური მეთოდები მზად არის ეფექტის შესაფასებლად.
• Runbooks მოდელების/მონაცემების დეგრადაციაზე და ავტომატური გამოტოვება.
• რეაგირების პოლიტიკა/DSAR და შენახვის ლოკალიზაცია შეთანხმებულია იურიდიულ ბლოკთან.

16) ტიპიური ინსაითების მაგალითები (შაბლონები)

კომერციული: კონვერტაციის დრაივერები სეგმენტებითა და არხებით; ფასის ელასტიურობა; მოთხოვნის პროგნოზი.
ოპერაციული: SLA ვიწრო ადგილები; დატვირთვის/ტევადობის პროგნოზი; ანომალიები პროცესის ნაბიჯებზე.
რისკი/ფროდი: საეჭვო ანგარიშების ჯაჭვები; chargeback აურზაური; სახსრების წყაროს შეფასება.
კლიენტი: გადინების ალბათობა; NBO/რეკომენდაციები; სეგმენტები დაფუძნებულია/ქცევაზე.
პროდუქტის ხარისხი: NPS/CSAT- ის ვარდნის მიზეზები; თემები მიმოხილვებიდან; რეგრესიების რუკა გამოშვების შემდეგ.

შედეგი: დიდი მონაცემებიდან ინსაითები არის სისტემური დისციპლინა, სადაც არქიტექტურა, მეთოდოლოგია და ოპერაციული შესრულება გაერთიანებულია გადაწყვეტილების მიღების წრეში. წარმატება იზომება არა მონაცემების მოცულობით და არა მოდელების რაოდენობით, არამედ ბიზნეს მეტრიკებზე გავლენის მოხდენით, პროცესის სტაბილურობით და მომხმარებელთა ნდობით მონაცემების მიმართ.