데이터 감사 및 버전 지정
1) 왜 필요한가
감사 및 버전 지정은 재현성을 만듭니다. 모든 수치를 설명하고 계산을 반복하며 모델/쇼케이스를 안전하게 개발할 수 있습니다. iGaming에서는 금융 (GGR/NET), 지불, KYC/AML, 책임있는 게임 및 규제보고에 중요합니다.
목표:- 추적: 누가 데이터/스키마/논리를 변경했는지 및 이유.
- 재현성: 어떤 버전의 데이터/코드/모델이 보고서를 생성했습니다.
- 릴리스 보안: 롤백 및 변경 예측 가능성.
- 규정 준수: 규제 기관 및 내부 감사에 대한 입증 가능한 로그.
2) 개념 및 버전 레벨
1. 스키마 버전-필드/유형/시맨틱 진화 (SEMVER).
2. 보고서/교육을위한 "참" 시간에 데이터 셋 버전-스냅 샷/슬라이스.
3. 데이터 제품 버전: 공식, 필터, 집계.
4. ML 기능/모델 버전: 날짜/코드/하이퍼 매개 변수/기능/데이터 (엔드 투 엔드).
5. 파이프 라인 버전: 변환 코드, 구성, 종속성.
6. 데이터 계약 버전: 생산자/소비자 요구 사항 (체계, SLA, 품질).
3) 감사: 기록해야 할 사항
누가: 주제 (사용자/서비스), 역할/속성 (RBAC/ABAC).
무엇: 테이블/쇼케이스/모델/체계/계약.
언제: 정확한 시간, tz, 상관 ID.
이유: 작업/티켓/릴리스 메모에 링크, 이유.
보다: 코드/모델 버전, 커밋 해시, 컨테이너 이미지.
변경 방법: (diff) 전/후, 행 볼륨 (행 영향), 무결성 제어 (해시/서명).
상황: 환경 (prod/stage), 도메인, 데이터 감도 (class).
감사 로그는 추가 전용/WORM, 서명 및 SIEM으로 제공됩니다.
4) 검증 정책 (권장 사항)
SEMVER: 'MAJOR. 미노르. 패치 '
메이저 - 호환되지 않는 스키마/의미론 변경.
MINOR-가역적으로 호환되는 추가 사항 (무효화 가능한 새로운 vNext 쇼케이스가있는 새로운 필드/열).
PATCH-계약을 변경하지 않고 수정합니다 (품질 수정, 백필).
편차 절차: 노후화 창 ,/CI 디렉토리의 경고, 연결 해제 날짜.
릴리스 노트: 릴리스 당 한 페이지: 무엇, 왜, 위험, 롤백 계획.
5) 저장 및 스트림 기술
시간 여행/스냅 샷: 테이블 버전 저장; "T-0에서와 같이" 쿼리를 실행할 수 있습니다.
SCD (천천히 차원 변경): 치수 (게임, 제공 업체, 플레이어) 의 유형 1/2/3.
CDC/CDF (데이터/캡처 및 피드 변경): 사실에 대한 증분 변경 (요금, 지불, KYC).
이벤트 편집/추가/삭제가있는 Audit Fact-A 별도의 사실 테이블.
무결성 제어: 배치/파일 해시, 패키지 서명, 집계 조정.
6) 회로 및 데이터 계약의 진화
코드로 계약: 스키마, 유형, 필수 필드, 허용 값, SLA 신선도, DQ 규칙.
호환성: 추가 → MINOR 필드; 마이그레이션 및 이중 쓰기로 유형/의미론 → MAJOR을 변경했습니다.
CI 게이트: 호환성이 깨지거나 릴리스 노트가없는 경우 PR 변경 체계가 차단됩니다.
디렉토리/레지스트리: 활성/오래된 버전 및 소유자를 저장합니다.
7) BI 및 지표 검증
인증 된 "골드" 쇼케이스: 고정 KPI 시맨틱 (GGR, ARPPU, 보존).
듀얼 런: 새로운 버전의 쇼케이스는 메트릭 (공차 대역) 을 비교하여 병렬 (v2) 으로 제작됩니다.
Commit Reports-각 내보내기/대시 보드는 'dataset _ 버전' 및 '정의 _ 버전' 을 참조합니다.
캘린더 섹션: "dey-kat", "월별" -데이터 버전에 고정되어 있습니다.
8) ML/MLops에서의 검증
모델 레지스트리: 모델, 날짜, 품질 메트릭, 교육 데이터 (dataset _ version), 기능 버전 (figure _ set _ version).
피처 스토어: 버전이있는 피처 그룹; 명시 적 버전이없는 "핫" 필드 금지.
Repro 세트: 교육 코드 (커밋), 환경 (Docker/conda lock), sid.
Champion-Challenger: 판매의 병렬 버전, 품질, 공정성 및 개인 정보 보호에 대한 보고서.
롤백: 이전 안정적인 모델 및 기능 세트로의 빠른 롤백.
9) 롤백, 백필 및 수정
롤백 계획: 각 MAJOR/MINOR 버전마다-명확한 반환 단계.
백필 플레이 북: 진실의 출처, 날짜 범위, 재 계산 순서, 체크섬, 레이블 "다시 계산 = 참".
가시성 편집: v2는 비교 후에 만 v1을 대체합니다. 모든 "역사적" 보고서는 계속해서 그들의 버전을 참조합
10) 감사의 안전 및 준수
이벤트/패키지 서명: 생산자 표시, 소비자 확인.
PII 위생: 감사는 원시 PII가 아닌 토큰을 저장합니다.
법적 보류: 조사 기간 동안 버전/로그를 삭제하지 않습니다.
DSAR: 버전은 토큰별로 주제 레코드를 찾아서 업로드합니다. 역사적인 스냅 샷이 고려됩니다.
11) 측정 및 SLO
Repro Rate는 대상 임계 값보다 데이터 버전/코드에서 재생 된 보고서의 백분율입니다.
적용 범위: 시간 여행/감사 로그가 활성화 된 테이블의%.
스키마 호환성 패스: CI에서 성공적인 호환성 검사 속도.
이중 실행 델타: 공차 내 분산 v1/v2.
롤백 MTTR: 평균 버전 롤백 시간.
감사 무결성-서명 및 확인 된 이벤트의 백분율.
백필 성공-재 계산 비율이 올바르게 완료되었습니다.
12) iGaming 패턴 (사례)
GGR 수정 소급: 공급 업체는 RTP를 다시 계산했습니다. 우리는 해당 기간 동안 사실을 백필로 작성하고 '재 계산 된 _ at' 을 수정하고 릴리스 노트를 게시하며 v1/v2를 비교합니다. 지난 몇 달 동안 보고서를 다시 작성하지는 않지만 "수정 된 버전을 사용할 수 있습니다" 라고 표시합니다.
사기 방지 규칙: 우리는 MAJOR, 듀얼 런 모델 및 쇼케이스와 같은 기능의 의미를 회귀 할 때 챔피언으로 롤백합니다.
KYC/AML: 새로운 공급자 상태 추가-무효가있는 MINOR; 계약서에 호환성 테스트가 포함됩
RG 신호: "일련의 손실" -MINOR + 릴리스 노트 및 영향 모니터링의 논리를 명확히했습니다.
13) 도구 및 아티팩트 (범주)
카탈로그/리니지/레지스트리: 세트/개략적/상점 버전, 소유자, 연결, 계약.
Orchestrator & CI/CD: 호환성 게이트, 듀얼 런, 릴리스 노트 게시.
시간 이동이있는 스토리지: 스냅 샷/로그 스토리지.
서명 및 체크섬: 배치 서명, 배치 체크섬.
모델/기능 등록: 기능/모델 버전, 챔피언 챌린저 보고서.
14) 템플릿 (사용할 준비)
14. 1 개의 릴리스 노트
버전: 'payment _ gold v2. 1. 0`
유형: MINOR (새 필드 'psp _ country', 'method _ group')
이유: PSP/국가보고 통일
위험: 디스플레이 케이스 'risk _ signal' 에 미치는 영향
유효성 검사: 이중 실행 14 일, 델타 2% GGR
롤백: 'v2로 전환하십시오. 0. 3 '오케 스트레이터 플래그를 통해
배포 날짜/소유자/티켓
14. 키트 버전 여권 2 개
데이터 세트: 'game _ rounds _ silver'
버전: '2025-11-01T00: 00: 00Z' (스냅 샷 ID)
스키마: '스키마 @ 1. 7. 0 '(계약 참조)
출처: 공급자 피드 A/B (커밋...)
무결성 체크섬 서명 매니
DQ: 완전한 99. 9%, 신선도
사용: 'games _ perf _ gold v3. x ',' rg _ signs v1. x '
14. 3 감사 보고서 변경
이벤트: 스키마 'kyc _ state' → 'kyc _ state, v2' 업데이트
사용자/서비스, '데이터 엔지니어' 역할
언제: '2025-11-01 09:32:10 + 02'
이유: 티켓 # 3421 (새로운 제공 업체 상태)
Diff: + '상태 _ reason' (nullable), enum 확장
수표: CI 준결승, MINOR 계약
캡션: 'sig =...', 해시 diff: 'sha256 =...'
14. 4 검증 정책 (조각)
메이저: 호환성을 끊습니다. 듀얼 라이팅 이하 30 일; 필수 롤백 계획.
MINOR: 가역적으로 호환됩니다. 디렉토리 A/B 상점의 경고는 7-14 일입니다.
PATCH: 품질 수정/재 계산; 릴리스 노트가 필요합니다.
보관: 규정에 따라 스냅 샷을 저장합니다. 감사를위한 WORM.
15) 프로세스 (엔드 투 엔드)
1. 이니셔티브: 티켓 + linedge 충격 점수 변경.
2. 엔지니어링 계약/스키마 업데이트 + 릴리스 노트.
3. 검증: CI 호환성 검사, DQ 테스트, 이중 실행.
4. 배포: 깃발로, 카나리아; 카탈로그에 버전을 게시합니다.
5. 모니터링: delta v1/v2, KPI, 불만.
6. 백필: 회귀 플레이 북으로.
7. 사후: 사고가 발생하면 정책/테스트를 업데이트하십시오.
16) RACI (예)
정책 및 표준: CDO (A), 데이터 거버넌스 협의회 (R/A), DPO/Sec (C).
계약/체계: 도메인 소유자 (A), 데이터 관리자 (R), 플랫폼/Eng (C).
오케스트레이션/스토리지: 플랫폼/Eng (R), SRE (C).
BI/메트릭: 분석 책임자 (R), 제품/금융 (C).
ML 버전: ML Lead (A), DS (R), Platform (C).
감사/통나무: SecOps (R), 내부 감사 (C).
17) 구현 로드맵
0-30 일 (MVP)
중요한 테이블 (결제, 게임 _ 라운드, kyc) 에 대한 시간 여행/스냅 샷 사용 사용.
불변의 감사 로그 및 섭취 패키지의 서명을 실행하십시오.
SEMVER 정책 및 릴리스 노트 템플릿을 수락하십시오.
카탈로그: 상단 쇼케이스에 '소유자', '스키마 _ 버전', '데이터 세트 _ 버전' 을 추가하십시오.
30-90 일
모든 MINOR/MAJOR에 대해 듀얼 런을 입력하십시오. 자동 v1/v2 비교.
호환성 및 DQ CI 게이트와의 계약을 준수하십시오.
백필/롤백 규정; 훈련 팀.
dannyye → fichi → 모델 → 추론 링크 전체 세트가있는 모델/기능 레지스트리.
3-6 개월
규제 기관에 대한 전체 감사 로그 적용 범위, WORM 스토리지, 보고서.
diff + 계보의 자동 릴리스 노트.
대시 보드의 Repro Rate/Schema 호환성/Rolback MTTR 보고서.
KPI 버전의 분기 별 검토 및 정의의 "동결".
18) 반 패턴
새 버전/릴리스 노트없이 KPI 의미를 변경합니다.
백필 계획없이 "조용히" 재 계산 및 '재 계산 된' 마크.
감사 로그에 원시 PII 저장.
듀얼 런 및 인스턴트 창 교체 부족.
버전과 소스를 지정하지 않고 "영원한" 모델/쇼케이스.
19) 관련 섹션
데이터 관리, 데이터 원산지 및 경로, 액세스 제어, 토큰 화, 보안 및 암호화, 모델 모니터링, 윤리 및 DSAR, 연방 학습, 기밀 ML.
결과
데이터와 모델을 안정적인 제품으로 감사 및 버전으로 전환하십시오. 각 변경 사항은 투명하고 재현 가능하며 가역적입니다. iGaming의 경우 이는 KPI에 대한 신뢰의 기초, 규정 준수의 지속 가능성 및 보안 릴리스 속도입니다.