Маалыматтарды текшерүү жана версиялуулугу

1) Эмне үчүн керек

Аудит жана версиясы кайталануучулукту жаратат: сиз каалаган цифраны түшүндүрө аласыз, эсептөөнү кайталай аласыз жана моделди/витриналарды коопсуз өнүктүрө аласыз. iGaming бул каржы үчүн маанилүү (GGR/NET), төлөмдөр, KYC/AML, жооп оюн жана жөнгө салуучу отчеттуулук.

• Tracking: ким маалыматтарды/схема/логика жана эмне үчүн өзгөрттү.
• Воспроизводимость: какая версия данных/кода/модели породила отчет.
• Release коопсуздук: кайтарымдуулугу (rollback) жана өзгөрүүлөрдүн алдын ала.
• шайкештик: жөнгө салуучу жана ички аудиттер үчүн далилденген журналдар.

2) Түшүнүктөр жана версиялуулук деңгээли

1. Схеманын версиясы (Schema Version): талаалардын/түрлөрдүн/семантиканын эволюциясы (SEMVER).
2. Берилиштер топтомунун версиясы (Dataset Version): учурда сүрөт/кесүү; отчет/окуу үчүн "чындык".
3. Витринанын версиясы/модели BI (Data Product Version): формулалар, фильтрлер, агрегаттар.
4. Fich/ML модели Version: Date/Code/Hyperameters/Fich/Data (end-to-end).
5. Пайплайн версиясы: трансформация, конфига, көз карандылык коду.
6. Маалыматтар келишиминин версиясы: продюсерге/керектөөчүгө талаптар (схема, SLA, сапат).

3) Аудит: эмне логикалык

Ким: субъект (колдонуучу/кызмат), ролу/атрибуттары (RBAC/ABAC).
Эмне: стол/дисплей/модель/схема/келишим.
Качан: так убакыт, tz, корреляциялык id.
Эмне үчүн: шилтемени ташуу/билет/релиз-нота, себеби.
Эмне үчүн: коддун/моделдин версиясы, commit hash, контейнердин сүрөтү.
Кантип өзгөрдү: чейин/кийин (diff), саптардын көлөмү (rows affected), бүтүндүгүн көзөмөлдөө (хэш/кол).
Контекст: чөйрө (prod/stage), домен, маалыматтардын сезгичтиги (класс).

Аудит журналдары өзгөрүлбөйт (append-only/WORM), кол коюлган жана SIEM жеткиликтүү.

4) Версия саясаты (сунуштар)

SEMVER: `MAJOR. MINOR. PATCH`

MAJOR - шайкеш келбеген схема/семантика өзгөрүүлөр.
MINOR - кайра шайкеш кошумчалар (nullable менен жаңы талаалар/колонкалар, жаңы vNext терезелер).
PATCH - келишимди өзгөртүүсүз оңдоолор (quality-fix, backfill).
Deprecation процедурасы: эскирүү терезеси, каталогдогу эскертүүлөр/CI, өчүрүү күнү.
Release Notes: релиз боюнча бир барак: эмне үчүн, тобокелдиктер, кайтаруу планы.

5) сактоо жана агымдарда техника

Time-travel/Snapshots: таблицалардын версияларын сактоо; суроо-талапты аткаруу мүмкүнчүлүгү "T-0 эле".
SCD (Slowly Changing Dimensions): өлчөө үчүн 1/2/3 түрлөрү (оюндар, провайдерлер, оюнчулар).
CDC/CDF (Change Data/Capture & Feed): фактылар үчүн инкременталдык өзгөрүүлөр (тарифтер, төлөмдөр, KYC).
Операциялар журналы (Audit Fact): оңдоолор/кошумчалар/өчүрүүлөр окуялары менен өзүнчө факт-таблица.
Бүтүндүгүн контролдоо: партиялардын/файлдардын хэштери, пакеттердин кол тамгасы, агрегаттарды салыштыруу.

6) Development схемалар жана Data Contracts

Контракт код катары: схема, түрлөрү, талаалардын милдеттүүлүгү, жол берилген маанилери, SLA сергектиги, DQ эрежелери.
Шайкештиги: талаа → MINOR кошулду; түрүн/семантикасын өзгөрттү → MAJOR миграция жана dual-write менен.
CI-Gate: PR өзгөртүп схемасы шайкештиги бузулган же жок Release Notes болсо бөгөттөлгөн.
Каталог/Реестр: активдүү/эскирген версияларды жана ээлерин сактайт.

7) BI жана метрика версиясы

Күбөлөндүрүлгөн "алтын" терезелер: бекитилген семантика KPI (GGR, ARPPU, сактоо).
Dual-run: жаңы версия айнек параллелдүү курулган (v2), салыштыруу метрика (толеранттуулук bands).
Отчетторду бекитүү: ар бир экспорт/dashboard шилтеме 'dataset _ version' жана 'definition _ version'.
Календардык тилкелер: "дей-кат", "ай-к-датасы" - маалыматтардын версиясына жазылат.

8) ML версиясы/MLOps

Model Registry: модель, датасы, сапат өлчөмдөрү, окутуу маалыматтары (dataset_version), fich версиялары (feature_set_version).
Feature Store: Version Fich топтору; так версиясы жок "ысык" талааларга тыюу салуу.
Repro топтому: окутуу коду (commit), айлана-чөйрө (Docker/conda lock), led.
Champion-Challenger: продукт, сапаты боюнча отчеттор, fairness жана купуялык боюнча параллелдүү нускалары.
Rollback: мурунку туруктуу моделге жана Fich топтомуна тез артка кайтуу.

9) Rollbek, backfill жана түзөтүүлөр

Rollback планы: ар бир MAJOR/MINOR версия үчүн - ачык-айкын кайтаруу кадамдары.
Backfill playbook: чындык булагы, даталар диапазону, кайра эсептөө тартиби, контролдук суммалар, белгилер "recomputed = true".
коррекциялардын көрүнүшү: v2 v1 салыштыруу өткөндөн кийин гана алмаштырат; бардык "тарыхый" отчеттор алардын нускасына шилтеме улантууда.

10) Коопсуздук жана аудит комплаенс

Иш-чаралардын/пакеттердин кол тамгасы: продюсер кол коет, керектөөчү текшерет.
PII-санитизация: аудит чийки PII эмес, токендерди сактайт.
Legal Hold: тергөө мезгилинде нускасын/логторду алып салуу тыюу салуу.
DSAR: версиялар субъекттин токен жазууларын табат жана түшүрөт; сүрөттөр эске алынат.

11) Метрика жана SLO

Repro Rate: маалыматтардын версиясынан/максаттуу босого ≥ кодунан ойнотулган отчеттордун үлүшү.
Coverage:% time-travel/аудит журналы камтылган таблицалар.
Schema Compatibility Pass: CI ийгиликтүү шайкештик текшерүү үлүшү.
Dual-run Delta: айырмачылык v1/v2 чектеринде.
Rollback MTTR: орточо кайра чыгаруу убактысы.
Audit Integrity: кол коюлган жана текшерилген окуялардын үлүшү.
Backfill Success: туура аяктаган кайра эсептөө үлүшү.

12) iGaming үчүн үлгүлөр (учурларда)

GGR артка коррекция: жеткирүүчү RTP кайра эсептелген - Биз мезгил үчүн backfill далилдер жасайбыз, "recomputed _ at" жазабыз, Release Notes жарыялайбыз, v1/v2 салыштырабыз; Өткөн айларда отчетторду кайра жазбай, "оңдолгон версия бар" деп белгилейбиз.
Антифрод эрежелери: Биз чичинин семантикасын өзгөртөбүз - MAJOR, эки орундуу моделдер жана витриналар, регрессия учурунда чемпионатта роллбек.
KYC/AML: жаңы провайдер статусун кошуу - nullable менен MINOR; келишимдерде шайкештик тесттерин киргизебиз.
RG сигналдары: "жоготуу сериялары" логикасын тактады - MINOR + Релиз ноталары жана таасир мониторинг.

13) Аспаптар жана экспонаттар (категориялар)

Catalog/Lineage/Registry: топтомдор/схемалар/терезелер нускалары, ээлери, байланыш, келишимдер.
Orchestrator & CI/CD: гейтс шайкештиги, Run-Run, релиз-нота жарыялоо.
убакыт-саякат менен сактоо: сүрөттөрдү/журналдарды сактоо.
Signing & Checksums: кол топтомдору, партиялардын контролдук суммасы.
Model/Feature Registry: fich/моделдердин версиялары, champion-challenger отчеттору.

14) Үлгүлөр (колдонууга даяр)

14. 1 Release Notes (эскиз)

Version: 'payments _ gold v2. 1. 0`

Түрү: MINOR (жаңы талаалар 'psp _ country', 'method _ group')

Себеби: PSP/өлкөлөр боюнча отчеттуулукту унификациялоо

Тобокелдиктер: 'risk _ signals' витринасы менен джойндорго таасир этүү

Валидация: dual-run 14 күн, delta ≤ 0. 2% GGR

Rollback: 'v2 которуу. 0. 3 'оркестр желеги аркылуу

Деплой күнү/ээси/билети

14. 2 паспорт версия топтому

Dataset: `game_rounds_silver`

Версия: '2025-11-01T00: 00: 00Z' (snapshot id)

Схема: 'schema @ 1. 7. 0 '(келишимге шилтеме)

Булак: A/B (commit...)

бүтүндүгүн контролдоо: checksum, кол коюлган манифест

DQ: толук 99. 9%, сергектик ≤ 15 мин

Колдонуулар: 'games _ perf _ gold v3. x`, `rg_signals v1. x`

14. 3 Аудит актысы өзгөртүүлөр

Окуя: update schema 'kyc _ status' → 'kyc _ status, v2'

Ким: user/service, ролу 'Data-Engineer'

Качан: '2025-11-01 09:32:10 + 02'

Эмне үчүн: билет # 3421 (жаңы провайдер статустары)

Diff: + 'status _ reason' (nullable), enum кеңейтилген

Текшерүү: CI semver pass, MINOR келишими

Кол тамга: 'sig =...', хэш diff: 'sha256 =...'

14. 4 Версия саясаты (фрагмент)

MAJOR: шайкештикти бузат; dual-write ≥ 30 күн; милдеттүү rollback планы.
MINOR: кайра шайкеш; каталогдогу эскертүүлөр; A/B дисплей 7-14 күн.
PATCH: сапаттуу фикстер/кайра эсептөөлөр; Release Notes милдеттүү.
Archivation: жөнгө салуучу үчүн snapshot ≥ N ай сакталат; аудит үчүн WORM.

15) Процесстер (end-to-end)

1. Демилге: өзгөрүү билети + linedge боюнча импактты баалоо.
2. Долбоорлоо: келишимди/схеманы жаңылоо + Release Notes.
3. Validation: CI-шайкештик текшерүү, DQ тесттер, эки-жарыш.
4. Деплой: желеги боюнча, канарейка; каталогдо версиясын жарыялоо.
5. Мониторинг: delta v1/v2, KPI, даттануулар.
6. Артка/Backfill: регрессия боюнча ойнотмо.
7. Post-mortem: окуя болсо, саясат/тесттер жаңыртуу.

16) RACI (мисал)

Саясат жана стандарттар: CDO (A), Data Governance Council (R/A), DPO/Sec (C).
Келишимдер/схемалар: Domain Owners (A), Data Stewards (R), Platform/Eng (C).
Оркестр/сактоо: Platform/Eng (R), SRE (C).
BI/Metrics: Analytics Lead (R), Product/Finance (C).
ML версиялары: ML Lead (A), DS (R), Platform (C).
Аудит/журналдар: SecOps (R), Эл аралык аудит (C).

17) Ишке ашыруунун жол картасы

0-30 күн (MVP)

критикалык таблицалар үчүн убакыт-саякат/сүрөттөрдү киргизүү (payments, game_rounds, kyc).
өзгөрүлбөс аудит журналдарды жана кол топтомун ingestion баштоо.
SEMVER саясатын жана Release Notes үлгүсүн кабыл алуу.
Каталог: кошуу 'owner', 'schema _ version', 'dataset _ version' жогорку терезелер.

30-90 күн

Бардык MINOR/MAJOR үчүн dual-run киргизүү; автоматтык v1/v2 салыштыруу.
Контракттарды CI-гейтс шайкештиги жана DQ менен байланыштырыңыз.
backfill/rollback эрежелери; командаларды үйрөтүү.
толук байланыш топтому менен Model/Feature Registry "маалыматтар → чий → модель → inferens".

3-6 ай

Аудит журналдары менен толук жабуу, WORM-сактоо, жөнгө салуучу отчеттор.
Автоматташтырылган Release Notes from diff + linedge.
Repro Rate/Schema Compatibility/Rollback MTTR отчеттору дашбордддордо.
KPI жана "тоңдурулган" аныктамаларынын чейректик ревю версиялары.

18) Анти-үлгүлөрү

Жаңы версиясы/релиз нотасы жок KPI семантикасын өзгөртүү.
backfill планы жана 'recomputed' белгилери жок "тынч" кайра эсептөө.
Аудит-логтордо чийки PII сактоо.
Жок dual-run жана заматта алмаштыруучу терезелер.
"Түбөлүк" моделдер/терезелер нускасын жана булактарын көрсөтүү жок.

19) Байланыштуу бөлүмдөр

Data Management, Маалымат келип чыгышы жана жол, Access Control, Tokenization, Коопсуздук жана коддоо, Мониторинг моделдер, Этика жана DSAR, Federated Learning, Privacy ML.

Жыйынтык

Аудит жана версиялуулук маалыматтарды жана моделдерди ишенимдүү продуктка айландырат: ар бир өзгөртүү ачык-айкын, кайталануучу жана кайтарылуучу. iGaming үчүн бул KPI ишениминин, комплаенс туруктуулугунун жана коопсуз релиздердин ылдамдыгынын негизи болуп саналат.