Деректер аудиті және нұсқалылығы

1) Бұл не үшін қажет

Аудит және нұсқалық қайталанушылықты тудырады: сіз кез келген санды түсіндіре аласыз, есептеуді қайталай аласыз және модельді/витриналарды қауіпсіз дамыта аласыз. iGaming-те бұл қаржы (GGR/NET), төлемдер, KYC/AML, Responsible Gaming және реттеуші есептілік үшін өте маңызды.

• Трассировка: деректерді/схеманы/логиканы кім және неліктен өзгертті.
• Қайталануы: деректердің/кодтың/үлгінің қандай нұсқасы есепті туғызды.
• Релиздердің қауіпсіздігі: өзгерістердің қайтарымдылығы (rollback) және болжамдылығы.
• Сәйкестік: реттеуіштер мен ішкі аудиттерге арналған дәлелденетін журналдар.

2) Нұсқалық ұғымдар мен деңгейлер

1. Схема нұсқасы (Schema Version): өрістердің/типтердің/семантиканың эволюциясы (SEMVER).
2. Деректер жиынының нұсқасы (Dataset Version): сурет/үзік уақыт сәті; есеп/оқу үшін «ақиқат».
3. Витринаның/BI (Data Product Version) үлгісінің нұсқасы: формулалар, сүзгілер, агрегаттар.
4. ML фич/моделінің нұсқасы: күні/коды/гиперпараметрлері/фич/деректер (end-to-end).
5. Пайплайн нұсқасы: трансформация, конфига, тәуелділік коды.
6. Деректер келісімшартының нұсқасы: продюсерге/тұтынушыға қойылатын талаптар (схема, SLA, сапа).

3) Аудит: не логикалау керек

Кім: субъект (пайдаланушы/қызмет), рөлі/атрибуттары (RBAC/ABAC).
Не: кесте/витрина/модель/схема/келісімшарт.
Қашан: нақты уақыт, tz, корреляциялық id.
Неліктен: таск/тикет/релиз-нотаға сілтеме, себебі.
Немен: код/модель нұсқасы, commit hash, контейнер бейнесі.
Қалай өзгерді: дейін/кейін (diff), жолдардың көлемі (rows affected), тұтастықты бақылау (хэш/қолтаңба).
Контекст: орта (prod/stage), домен, деректердің сезімталдығы (сынып).

Аудит-журналдар өзгермейді (append-only/WORM), қол қойылған және SIEM-де қол жетімді.

4) Нұсқалық саясат (ұсынымдар)

SEMVER: `MAJOR. MINOR. PATCH`

MAJOR - схема/семантиканың үйлеспейтін өзгерістері.
MINOR - үйлесімді қосылымдар (nullable бар жаңа өрістер/бағандар, vNext жаңа сөрелері).
PATCH - келісімшартты өзгертусіз түзетулер (quality-fix, backfill).
Deprecation-процедурасы: ескіру терезесі, каталогтағы ескертулер/CI, өшіру күні.
Release Notes: шығарылымға бір бет: не үшін, тәуекелдер, қайтару жоспары.

5) Қоймадағы және ағындардағы техника

Time-travel/Snapshots: кесте нұсқаларын сақтау; T-0 сұрауын орындау мүмкіндігі.
SCD (Slowly Changing Dimensions): өлшеу үшін 1/2/3 түрлері (ойындар, провайдерлер, ойыншылар).
CDC/CDF (Change Data/Capture & Feed): фактілер үшін инкрементальды өзгерістер (ставкалар, төлемдер, KYC).
Операциялар журналы (Audit Fact): түзету/қосу/жою оқиғалары бар жеке факт-кесте.
Тұтастығын бақылау: партиялардың/файлдардың хэштері, пакеттердің қолы, агрегаттарды салыстыру.

6) Схемалардың эволюциясы және Data Contracts

Келісім-шарт код ретінде: схема, типтер, өрістердің міндеттілігі, рұқсат етілген мәндер, жаңалық SLA, DQ-ережелер.
Сыйысымдылық: қосылған өріс → MINOR; түрін/семантикасын өзгертті → MAJOR көші-қонмен және dual-write.
CI-гейт: Release Notes сыйысымдылығы бұзылса немесе бұзылмаса, схеманы өзгертетін PR бұғатталады.
/ Registry каталогы: белсенді/ескірген нұсқаларын және иелерін сақтайды.

7) BI және метрикадағы нұсқалығы

Сертификатталған «алтын» витриналар: бекітілген KPI семантикасы (GGR, ARPPU, ұстап қалу).
Dual-run: витринаның жаңа нұсқасы параллель құрылады (v2), метриктерді салыстыру (tolerance bands).
Есептерді бекіту: әрбір экспорт/дашборд 'dataset _ version' және 'definition _ version' дегенге сілтеме жасайды.
Күнтізбелік кесінділер: «дей-кат», «ай-к-күні» - деректер нұсқасына тіркеледі.

8) ML/MLOps нұсқалығы

Model Registry: модель, күні, сапа өлшемдері, оқыту деректері (dataset_version), фич (feature_set_version).
Feature Store: нұсқаланған фич-топтар; анық нұсқасыз «ыстық» өрістерге тыйым салу.
Repro жинағы: жаттығу коды (commit), қоршаған орта (Docker/conda lock), led.
Champion-Challenger: өнімдегі параллель нұсқалар, сапа, fairness және құпиялылық бойынша есептер.
Rollback: алдыңғы тұрақты модельге және фич-жиынтыққа жылдам қайту.

9) Роллбек, backfill және түзетулер

Rollback-жоспары: әрбір MAJOR/MINOR нұсқасына - қайтарудың нақты қадамдары.
Backfill-плейбук: ақиқат көзі, күндер ауқымы, қайта есептеу тәртібі, бақылау сомалары, «recomputed = true» белгілері.
Түзетулердің көрінуі: v2 v1 салыстыру өткеннен кейін ғана ауыстырады; барлық «тарихи» есептер өз нұсқаларына сілтеме жасауды жалғастырады.

10) Аудиттегі қауіпсіздік және комплаенс

Оқиғалар/пакеттер қолы: продюсер қол қояды, тұтынушы тексереді.
PII-санитайзинг: аудит PII шикі емес токендерді сақтайды.
Legal Hold: тексеру кезеңінде нұсқа/логтарды жоюға тыйым салу.
DSAR: нұсқалар субъектінің токен бойынша жазбаларын табады және жүктейді; тарихи суреттер есепке алынады.

11) Метрика және SLO

Repro Rate: деректердің нұсқасынан/кодтан ≥ мақсатты шектен шығарылатын есептердің үлесі.
Coverage: time-travel/аудит журналы қосылған кестелер%.
Schema Compatibility Pass: CI-дегі үйлесімділікті сәтті тексеру үлесі.
Dual-run Delta: шектеулер шегінде v1/v2 айырмашылығы.
Rollback MTTR: орташа кері қайтару уақыты.
Audit Integrity: қол қойылған және тексерілген оқиғалар үлесі.
Backfill Success: дұрыс аяқталған қайта есептеулер үлесі.

12) iGaming үшін паттерндер (кейстер)

GGR-ді артқы күнмен түзету: жеткізуші RTP-ді қайта санады - кезең ішінде фактілерді backfill жасаймыз, 'recomputed _ at' тіркейміз, Release Notes жариялаймыз, v1/v2 салыстырамыз; өткен айлардағы есептерді көшіріп алмаймыз, «түзетілген нұсқа қол жетімді» деп белгілейміз.
Антифрод-ережелер: фичтің семантикасын өзгертеміз - MAJOR, dual-run модельдері мен витриналары, регресс кезінде champion-дағы роллбек.
KYC/AML: nullable бар MINOR провайдерінің жаңа мәртебелері қосылды; келісімшарттардағы үйлесімділік тестілерін қосамыз.
RG-сигналдар: «жоғалту серияларының» логикасын нақтылады - MINOR + Release Notes және әсер ету мониторингі.

13) Аспаптар мен артефактілер (санаттар)

Catalog/Lineage/Registry: жинақтар/схемалар/витриналар нұсқалары, иелері, байланыстар, келісімшарттар.
Orchestrator & CI/CD: үйлесімділік гейттері, dual-run прогоны, релиз-ноталарды жариялау.
Storage with time-travel: суреттерді/журналдарды сақтау.
Signing & Checksums: пакеттердің қолы, партиялардың бақылау сомалары.
Model/Feature Registry: фич/модельдердің нұсқалары, champion-challenger есептері.

14) Үлгілер (пайдалануға дайын)

14. 1 Release Notes (нобай)

Нұсқа: 'payments _ gold v2. 1. 0`

Түрі: MINOR (жаңа өрістер 'psp _ country', 'method _ group')

Себебі: PSP/елдер бойынша есептілікті біріздендіру

Тәуекелдер: витринасы бар джойналарға әсері 'risk _ signals'

Валидация: dual-run 14 күн, delta ≤ 0. GGR бойынша 2%

Rollback: 'v2. 0. 3 'оркестратор жалаушасы арқылы

Деплой күні/иеленуші/тикет

14. 2 Жиынтық нұсқасының төлқұжаты

Dataset: `game_rounds_silver`

Нұсқа: '2025-11-01T00: 00: 00Z' (snapshot id)

Схема: 'schema @ 1. 7. 0 '(келісімшартқа сілтеме)

Дереккөз: провайдерлік A/B (commit...)

Тұтастықты бақылау: checksum, қол қойылған манифест

DQ: толықтығы 99. 9%, жас ≤ 15 мин

'games _ perf _ gold v3. x`, `rg_signals v1. x`

14. 3 Аудит актісі өзгерістер

Оқиға: update schema 'kyc _ status' → 'kyc _ status, v2'

Кім: user/service, 'Data-Engineer' рөлі

Қашан: '2025-11-01 09:32:10 + 02'

Неліктен: билет # 3421 (провайдердің жаңа мәртебелері)

Diff: + 'status _ reason' (nullable), enum кеңейтілген

Тексерулер: CI semver pass, MINOR келісімшарты

Қолтаңба: 'sig =...', хэш diff: 'sha256 =...'

14. 4 Нұсқалық саясат (фрагмент)

MAJOR: үйлесімділікті бұзады; dual-write ≥ 30 күн; міндетті rollback-жоспар.
MINOR: үйлесімді; каталогтағы ескертулер; A/B витриналар 7-14 күн.
PATCH: сапа фикстері/қайта есептеулер; Release Notes міндетті.
Мұрағаттау: реттегіш үшін снапшоттың N ≥ айын сақтаймыз; Аудит үшін WORM.

15) Процестер (end-to-end)

1. Бастама: өзгерiс сертификаты + сызықтық бойынша импакт бағасы.
2. Жобалау: келісімшартты/схеманы жаңарту + Release Notes.
3. Валидация: CI-сәйкестікті тексеру, DQ, dual-run тестілері.
4. Деплой: ту бойынша, канарейка; нұсқасын каталогта жариялау.
5. Мониторинг: delta v1/v2, KPI, шағымдар.
6. Кері/Backfill: регресс кезінде плейбук бойынша.
7. Пост-мортем: егер инцидент болса, саясатты/тесттерді жаңарту.

16) RACI (мысал)

CDO (A), Data Governance Council (R/A), DPO/Sec (C) саясаты мен стандарттары.
Келісімшарттар/схемалар: Domain Owners (A), Data Stewards (R), Platform/Eng (C).
Оркестр/сақтау орны: Platform/Eng (R), SRE (C).
BI/метриктер: Analytics Lead (R), Product/Finance (C).
ML-нұсқалары: ML Lead (A), DS (R), Platform (C).
Аудит/журналдар: SecOps (R), Internal Audit (C).

17) Енгізу жол картасы

0-30 күн (MVP)

Критикалық кестелер (payments, game_rounds, kyc) үшін time-travel/суреттерді қосу.
Өзгертілмейтін аудит журналдарын және ingestion топтамасының қолтаңбасын іске қосу.
SEMVER саясаты мен Release Notes үлгісін қабылдау.
Каталог: 'owner', 'schema _ version', 'dataset _ version' атты топ-витриналарға қосу.

30-90 күн

Барлық MINOR/MAJOR үшін dual-run енгізу; v1/v2 автоматты салыстыру.
Келісімшарттарды сыйысымдылық және DQ CI-гейттерімен байланыстыру.
backfill/rollback регламенті; пәрмендерді үйрету.
«Деректер → фичи → модель → инференс» байланыстарының толық жиынтығымен Model/Feature Registry.

3-6 ай

Аудит журналдарымен толық қамту, WORM-сақтау орны, реттеушілерге арналған есептер.
diff + сызықтан автоматтандырылған Release Notes.
Repro Rate/Schema Compatibility/Rollback MTTR дашбордтардағы есептері.
KPI нұсқаларын тоқсан сайын жаңарту және анықтамаларды «қатыру».

18) Қарсы үлгілер

Жаңа нұсқасыз/шығарылым нотасыз KPI семантикасын өзгерту.
backfill-жоспарсыз және 'recomputed' белгілерінсіз «тыныштық бойынша» қайта есептеулер.
Аудит-логтарда шикі PII сақтау.
Витриналарды жылдам ауыстыру және dual-run болмауы.
Нұсқасы мен көздері көрсетілмеген «мәңгілік» модельдер/витриналар.

19) Байланысты бөлімдер

Деректерді басқару, Деректердің шығу тегі және жолы, Қолжетімділікті бақылау, Токенизация, Қауіпсіздік және шифрлау, Модельдер мониторингі, Этика және DSAR, Federated Learning, Құпия ML.

Жиынтық

Аудит пен нұсқалық деректер мен модельдерді сенімді өнімге айналдырады: әрбір өзгеріс ашық, қайталанатын және кері қайтарылатын болады. iGaming үшін бұл KPI сенімінің, комплаенс тұрақтылығының және қауіпсіз релиздер жылдамдығының іргетасы болып табылады.