Деректерді басқару

1) Бұл не үшін қажет

Деректерді басқару - бұл деректердің сапалы, қорғалған, түсінікті және пайдалануға жарамды болуы үшін адамдарды, процестер мен технологияларды біріктіретін деректермен жұмыс істеудің операциялық жүйесі. iGaming үшін бұл жоғары реттеуіштікке (KYC/AML, жауапты ойын, төлемдер), оқиғалардың көлеміне (мөлшерлемелер, арқалар, транзакциялар) және командааралық үйлестіруге (өнім, тәуекел, маркетинг, қаржы) байланысты өте маңызды.

• Метриктердің сенімділігі (GGR, LTV, ARPPU үшін жалғыз ақиқат көзі).
• Тәуекелдерді төмендету (айыппұлдар, ағулар, инциденттер).
• Талдау мен ML жеделдету (ағынды болжау, антифрод, дербестендіру).
• Басқарылатын масштабталу (жаңа нарықтар/брендтер/провайдерлер).

2) Басқару моделі (Operating Model)

• Орталықтандырылған: бірыңғай деректер командасы стандарттарды белгілейді және процестерді іске асырады. Плюс - біріздендіру жылдамдығы; минус - мүмкін болатын «тар мойын».
• Федеративті: домендік командалар өздерінің жиынтықтарына ие, жалпы саясаткерлер - орталық. Жылдамдық пен бақылау теңгерімі.
• Data Mesh: домендер - SLO/SLI, каталог және келісімшарттары бар «деректер өнімдері» ретінде; күшті өзін-өзі басқару + платформалық қолдау.

Кеңес: «федеративті» модельден бастаңыз және біртіндеп жетілу бойынша Mesh-ке қарай дамыңыз.

3) Рөлдер мен жауапкершілік

Data Governance Council: кросс-функционалдық орган (C-level + домендер) - саясатты, басымдықтарды, KPI бекітеді.
CDO (Chief Data Officer): деректер, сапа, каталог, мәдениет стратегиясының иесі.
DPO/Privacy Lead: деректерді қорғау, реттегішке сәйкестігі, DPIA, инциденттер.
Data Owners (домендер бойынша): қаржы, өнім, маркетинг, тәуекел, CRM - жиынтықтардың семантикасы мен сапасына жауап береді.
Data Stewards: операциялық «сақтаушылар» - глоссарий, метадеректер, DQ-ережелер, сапа тикеттері.
Security & Compliance: шифрлау, кіруді бақылау, аудит.
Platform/Engineering: каталог, сызба, схема-тіркелімдер, пайплайндар, MDM, Lakehouse/DWH.
Analysts/Scientists: тұтынушылар және домен иелері сапа мен қолжетімділікке қойылатын талаптар.

RACI (қысқартылған мысал)

Саясат: CDO (A), Council (R/A), DPO (C), Sec (C), Owners (C), Eng (I)

Каталог/глоссарий: CDO (A), Stewards (R), Owners (C), Eng (C)

Деректерге қолжетімділік: DPO/Sec (A), Owners (R), IT (R), HR (I)

Деректер сапасы: Owners (A), Stewards (R), Eng (C), Analysts (C)

4) Data Governance артефактілері

1. Деректерді басқару саясаты (umbrella-құжат): қағидаттар, рөлдер, бақылау, эскалация.
2. Деректер каталогы: жинақтар тізілімі (KYC, транзакциялар, ойын раундтары, RG лимиттері, төлемдер, провайдерлік фидтер), иелері, тегтері, жіктелуі.
3. Бизнес глоссарий: GGR/Net Gaming Revenue анықтамасы, бонустық жауапкершілік, churn, белсенді ойыншы, VIP-сегменттер.
4. Линейдж (Data Lineage): көзден (провайдерлер, PSP, CRM) витриналарға/модельдерге дейін - сенім мен аудит үшін.
5. Data Contracts: продюсер мен тұтынушы арасындағы формалды келісімдер - схемалар, типтер, сапа/уақтылылық SLA.
6. Schema Registry & Versioning: сынусыз схемалардың эволюциясы (семвер, депрекейшн-жоспар, кері/тікелей үйлесімділік).
7. MDM (Master Data Management): ойыншылардың, брендтердің, провайдерлердің, ойындардың (game_id, studio, RTP, құбылмалылық) тізілімдері.
8. Сақтау/жою саясаты: мерзімдер, Legal Hold, анонимдеу/бүркеншік атау.
9. Деректер жиынтығының паспорттары (Data Product Canvas): мақсаты, тұтынушылар, тосын оқиғалар, сапа өлшемдері, SLO/SLI.

5) Процестер мен практикалар

5. 1 Деректер сапасы (Data Quality)

• Толықтығы, дәлдігі, дәлдігі, келісімділігі, уақтылығы, бірегейлігі.
• Пайплайндардағы DQ-ережелері (мысалы, ставкалар сомасы ≥ ұтыстар сомасы, IBAN/карта форматы, жасы ≥ 18 +).
• DQ-алерттар мен тикеттер: регресс кезінде - домен иесіне автоэскалация.

5. 2 Кіруді басқару және жіктеу

Деректер кластары: Public/Internal/Confidential/Restricted (PII/қаржылық).
RBAC/ABAC: міндеттер бойынша рөлдер (талдау, өнім, тәуекел), атрибуттар (ел, бренд, жоба).
Ең аз құқықтар қағидаты, уақытша қолжетімділік (Just-in-Time), сұрауларды тіркеу.

5. 3 Құпиялылық және қауіпсіздік

in transit және at rest шифрлау; кілттерді басқару және ротациялау.
Талдау үшін бүркеншік атау, зерттеулер/құмсалғыштар үшін анонимдеу.
Барынша азайту саясаты: тек қажеттіні, қаншалықты қажет болса сонша сақтау.
Инциденттерді басқару: реакция жоспары, мүдделі тараптарды хабардар ету.

5. 4 Деректердің өмірлік циклі

Құру → Ингест → Сақтау → Байыту → Қол жеткізу/Талдау → Мұрағат/Жою.
iGaming үшін: раунд оқиғалары (spin/hand), сессиялар, төлемдер, ойыншының лимиттері, саппорт билеттері, шағымдар, DSAR.

5. 5 Сақтау, жою, Legal Hold

Сақтау кестелері: операциялық логтар - X ай, есептілік - Y жыл, PII - минимум бойынша және заң бойынша.
Legal Hold: тергеу/соттар кезінде жоюды қатыру.
Жою техникасы: soft-delete (белгі), hard-delete, криптоөшіру, анонимдеу.

5. 6 Деректер өзгерістерін басқару

Схемаларды/келісімшарттарды өзгертуге арналған RFC, сызба бойынша импакт-талдау.
Backfill-рәсімдер және көші-қон жоспары.
Витриналар мен модельдерді нұсқалау (v1 → v2 параллельді прогонмен және салыстырумен).

6) Сәулет қағидаттары

Lakehouse + DWH: шикі және тазартылған қабаттар, BI/ML арналған витриналар; транзакциялы пішімдер (ACID-кестелер).
Streaming + Batch: real-time антифрод/дербестендіру және күнделікті есептілік.
Оқиға шинасы бойынша Data Contracts: Euro/Proto, схемалардың эволюциясы, теңсіздік.
Алтын жиынтықтар (Gold): негізгі KPI үшін сертификатталған кестелер (GGR, DAU, ұстап қалу).
Деректердің observability: ML үшін белгілердің жаңару, көлем, дрифт мониторингі.

7) Метрика және KPI Governance

Каталогтағы сертификатталған жинақтар%.
Глоссариймен жабу (иелерімен терминдер үлесі).
DQ-SLA: уақтылығы (freshness), сәтті сапаны тексеру пайызы.
Жаңа дереккөзге/домендік өнімге қосылу уақыты.
Деректер бойынша оқыс оқиғалардың саны және қалпына келтірудің орташа уақыты (MTTR).
SLO-да өңделген қол жеткізу сұрауларының үлесі.
Талдаушылардың қанағаттануы/DS (сауалнамалар).

8) Құралдар (үлгі санаттар)

Catalog & Glossary & Lineage: метадеректерді және бағанды жинайтын корпоративтік каталог.
Quality/Observability: ережелер, тесттер, жаңалық және ауытқушылықтар мониторингі.
Access & Security: орталықтандырылған саясат, қолжетімділік провизиялары, аудит журналы.
Schema Registry/Contracts: схемалар тізілімі, CI сәйкестігін тексеру.
MDM/Reference Data: ойыншылардың/ойындардың/брендтердің шеберлік жазбалары, валюта анықтамалықтары, елдер, провайдерлер.
Workflow & Ticketing: келісу үлестері, RACI үлгілері, SLA кезектері.

9) iGaming деректер домендерінің мысалдары

Ойын оқиғалары: уақыт/ойын/провайдер бойынша game_round, bet, win, RTP.
Төлемдер: депозиттер, қорытындылар, chargeback, әдістер (карталар, крипто, жергілікті PSP).
Пайдаланушылар: KYC/KYB мәртебесі, RG лимиттері, өзін-өзі жою, шағымдар.
Маркетинг/CRM: науқандар, трафик көздері, сегменттер, бонустар және ұтыс ойындары.
Тәуекел/AML: скорингтер, аномалиялар, аллергиялар, тергеулер.
Қаржы: GGR/NET есептері, салықтар, елдер мен брендтер бойынша бөліністер.

10) Үлгілер (пайдалануға дайын)

10. 1 Деректер жиынтығының карточкасы

• Жіктеу/PII: Public/Internal/Confidential/Restricted
• Схема (нұсқа): келісімшартқа/тізілімге сілтеме
• Линейдж: көз → трансформация → витрина

10. 2 Data Contract (нобай)

• Сызба: өрістер, түрлер, nullable, сөздіктер.
• Семантика: анықтамалар, бизнес-ережелер.
• SLA: жеткізу кідірісі, қол жетімділік.
• Үйлесімділік: нұсқалар саясаты (SEMVER), депрекейшн-терезе.
• Сапасы: міндетті тексерулер (бірегей key, диапазондар, референттік анықтамалықтар).
• Қауіпсіздік: бүркемелеу/бүркемелеу/шифрлау.

10. 3 Қол жеткізу саясаты (ұстау)

Қағидаты: ең аз артықшылықтар, сұрау салуды негіздеу.
Ағындар: өтінім → Owner/DPO келісу → провизия → журнал.
Мерзімі: уақытша кері қайтару.
Мониторинг: құқықтарды үнемi тексеру.

11) Енгізудің қадамдық жол картасы

Алғашқы 30 күн (MVP Governance)

1. Council, CDO, Owners/Stewards домендері бойынша тағайындау.
2. Деректерді басқару саясатын және жіктеудің ең аз моделін қабылдау.
3. Базалық каталогты + глоссарийді өрістету, 10 сыни жиынтықты сипаттау (GGR, транзакциялар, KYC).
4. Негізгі пайплайндарда 5-10 DQ ережелерін қосу (freshness/бірегейлік/дәлдік).
5. Журналдау арқылы қатынасуға сұрау процесін бастау.

60-90 күн

1. Ойын өзегі оқиғалары мен төлемдерінде Data Contracts бағдарламасын енгізу.
2. CI сыйысымдылығын тексерумен Schema Registry бағдарламасын қосу.
3. Негізгі сызғышты негізгі ағындар бойынша баптау.
4. Сақтау/жою кестелерін және Legal Hold рәсімін рәсімдеу.
5. KPI Governance келісу және ай сайынғы есепті жариялау.

3-6 ай

1. KPI және MDM тізілімдерінің «алтын» витриналарын сертификаттау (ойыншылар/ойындар/провайдерлер).
2. Деректердің observability (freshness, volume, drift), алерттерді және автотикеттерді қосу.
3. Рұқсаттар мен roll-back артық құқықтарға аудит жүргізу.
4. Каталог белсенді жиынтықтардың 70% ≥, глоссарий - топ-метриканы қамтиды.
5. Стюардтар мен домендік командаларды оқыту (шаблондар, чек парақтары, SLO).

12) Тәуекелдер және қарсы паттерндер

«Каталог үшін каталог» домендері жоқ.
Жасырын «data shadow IT» (ескерілмеген Excel/PII ноутбуктер).
Үйлесімділікті автоматты тексерусіз келісімшарттар.
Тым қатты орталықтандыру - кезектер мен тежегіштер.
Сапа және есептілік өлшемдерінің болмауы - кері байланыс жоқ.

13) Бөлімнің көршілес тәжірибелерімен байланыс

Деректер сапасы, Модельдер мониторингі, Деректер дрейфі, DSAR/Privacy, Legal Hold, ML өрістету - барлығы бірыңғай саясаттарға, келісімшарттарға, каталогтарға және рөлдерге негізделеді.

Жиынтығы

Деректерді басқару - бұл тек құжаттар ғана емес, күнделікті әдет-ғұрыптар: кімдер біледі, сапаны қалай өлшейміз, қандай ережелер бойынша сызбаларды өзгертеміз, кіруді қалай және қашан жоямыз. iGaming-те деректері сенімді, қолжетімді және қорғалған адам ұтады, ал олардың негізінде шешімдер қайталанады және тексеріледі.