DataOps 및 데이터 관리

1) DataOps는 무엇이며 왜 필요한가

DataOps는 스키마 구축 및 수정에서 데이터 제품 및 메트릭 게시에 이르기까지 데이터 작업을 반복 가능하고 관리 가능한 파이프 라인으로 전환하는 일련의 관행, 프로세스 및 도구입니다. 목표는 규정 준수와 최적의 비용을 유지하면서 소비자 (제품, 분석, 위험, ML) 에게 더 빠르고 안전하게 품질 데이터를 제공하는 것입니다.

• 데이터 별 예측 가능한 SLA (관련성, 완전성, 정확성).
• 빠르고 안전한 변경 사항 (데이터의 경우 CI/CD/CT).
• 데이터 계보 및 소유권.
• TCO 감소 (스토리지, 컴퓨팅, 데이터 전송).

2) 건축 패턴

Data Lake (객체 보관, 원료): 저렴하고 유연하지만 엄격한 DataOps가 필요합니다.
창고 (OLAP/SQL, 모델링): 빠른 상점, 엄격한 체계.
레이크 하우스 (테이블 형식 + ACID: Delta/Iceberg/Hudi): 호수 및 창고 통일, 시간 여행, 업저트/합병.

• 청동 → 은 → 금.
• 서빙 레이어: DWH/OLAP (Bigquery/ClickHouse/Snowflake 등), API/graph, 기능 저장소, 캐시.

권장 사항: 계층 당 정확히 하나의 "진리의 원천" 과 변형을 버전 지정 및 테스트가있는 코드로 저장하십시오.

3) 도메인 모델 및 데이터 제품

데이터 메시 접근 방식: 도메인 팀별 데이터 소유권; 데이터 제품 소유자는 데이터 제품의 품질 및 SLO를 담당합니다.
데이터 계약: 스키마, 시맨틱, SLA/SLO (예: "운영 테이블은 08:00 UTC까지 정확도가 99입니다. 5% 와 10 분 이하의 지연 ").
인터페이스: SQL 테이블/블리자드, CDC 주제, API/GraphQL. 정책을 명확하게하고 철폐하십시오.

4) 통합: 소스 및 다운로드 패턴

ETL/ELT-Stretch → 폴드 → 변환 (DWH/Lake로). ELT는 강력한 OLAP에서 선호됩니다.
CDC (데이터 캡처 변경): 스트리밍 변경 (Debezium 등) → 낮은 대기 시간 및 정확한 증분.
배치 vs 스트림: 하이브리드-" 핫 "이벤트를위한 스트림, 재 계산을위한 배치 및 백필.
전달 의미론: 적어도 한 번은 + dempotent merzhi; 키/타임 할아버지; 트랜잭션 형식을 통해 정확히 한 번 유사합니다.

5) 서킷 관리 및 진화

스키마 등록 및 계약 테스트: 파괴적이지 않은 필드를 추가하고 새 버전없이 변경을 중단하지 마십시오.
Versioning (V1 → V2): 병렬 게시, 마이그레이션 창, 소비자에게 경고.
유형 및 측정 단위의 정책: 통화, 시간대, demempotency 키.

6) 데이터 품질 (DQ)

주요 차원: 완전성, 정확성, 일관성, 독창성, 유효성, 신선도/관련성, 중복 없음.

• 코드로서의 품질 테스트: 고유 키, 범위, 참조 목록, 비즈니스 규칙 (예: 서브 스트링의 합 = 합계).
• 각 계층 (청동/은/금) 및 CI에 대한 계약/기대 테스트.
• 검역소: 수표를 통과하지 못한 데이터는 금에 속하지 않습니다.
• 신선도 계약: 명시 적 신선도 SLA 및 지연시 화상 경보.

7) 데이터 관찰 가능성

데이터에 따른 SLI: 유효한 회선 비율, 증분 지연, 격차 비율, 해당 기간 동안의 체계 변경 횟수.
리니지 (종단 간 추적): Y 테이블을 소비하는 X 필드의 소스; 의존성 그래프 시각화.
변칙적 모니터링: 볼륨/분포 동향, 갑작스런 0/피크, 범주 형 기능의 드리프트.
경고 정치인: 짧은 창 (재해) + 긴 (크리핑 저하), 데이터 제품 소유자로의 에스컬레이션.

8) 보안 및 개인 정보 보호

데이터 분류: PII/재무/민감도/공개. 열과 세트의 레이블.
액세스 제어: RBAC/ABAC, 행/열 수준 보안, 마스킹, 동적 식별 해제.
암호화: 휴식/전송 중 암호화; PII에 대한 토큰 화 및 가명.
저장 통치자: 뜨거운/따뜻한/차가운; 보존 정책과 "잊을 권리".
감사와 불변성: 누가 읽고/변경했는지; 아티팩트 서명 로그; 레귤레이터를위한 아티팩트 수출.

9) 오케스트레이션, CI/CD/CT 및 변경 관리

오케스트레이션: 기류/아르고/케드로 등; 종속성 및 dempotent 작업이있는 선언적 DAG/스레드.
CI/CD/CT (연속 테스트): SQL/파이썬 린터, 단위 변환 테스트, 격리 된 샘플의 통합 테스트, 병합 전 데이터 테스트.

환경 프로모션: dev→ stage → prod; 동일한 표현; 기능 플래그/디렉토리 제어

백필: 제한된 리소스와 명확한 창이있는 "헤비급" 작업; demopotency 및 deduplication 제어

10) 비용 관리 (데이터 FinOps)

비용 모델: 스토리지 (볼륨 × 클래스), 스캔/요청, 탈출, 장기 백필.
최적화: 분할/클러스터링, Z 주문/정렬, 타이밍, 결과 팩 구체화, 압축 및 열 형식.
단위 데이터 경제학: Gold의 $1 백만 라인, $/one 보고서, ML 용 $/기능.
SLO 의식 신선도: "습관에서 5 분마다" 가 아니라 제품에 필요한만큼 자주 다시 계산하십시오.

11) 마스터 데이터 관리 (MDM) 및 참조 도서

황금 기록: 고객/판매자 제거, 계층 구조 계정.
참조 도서/참조: 통화, 국가, BIN 목록, 공급자 목록-버전 및 동작 창.
식별자: 안정적인 키, 크로스 시스템 ID 협상, 다대 일대일 매핑.

12) ML 기능 및 분석 쇼케이스

피처 스토어: 버전, 타임 트래블, 온라인/오프라인 일관성 기능.
DS/ML과의 데이터 계약: 신선도/드리프트에 의한 SLA; 체계 및 허용 가능한 범위.
BI는 테스트를 통해 핵심 메트릭 (DAU/GMV/ARPPU 등) 의 검증 된 "전용 버전" 을 보여줍니다.

13) 데이터에 대한 사고 프로세스 및 RCA

탐지: 유효성 저하, 부하 지연, 공지없이 체계 변경, 분배 이상.
확장: 데이터 제품 소유자 → 오케 스트레이터/플랫폼 → 소스/공급자.
작업 완화: 출판물의 프리즈, 마지막 변환의 롤백, 이전 "좋은" 버전의 게시, 데이터의 상태 페이지에 표시됩니다.
RCA (데이터 초점): 뿌리-체계/계약 고장, 소스 지연, 잘못된 비즈니스 규칙, 드리프트.
CAPA: 스키마 컨트롤, 새로운 테스트, 스캔 제한, 릴리스 주석, 교육.

14) 역할 및 책임 (RACI)

데이터 제품 소유자: SLA/SLO, 우선 순위, 로드맵.
데이터 엔지니어/분석 엔지니어: 파이프 라인, 모델링, 테스트, 최적화.
플랫폼/인프라: 오케스트레이션, 호수/창고, 보안 및 액세스.
거버넌스/청지기: 카탈로그, 자질, 분류, 규정 준수.
Sec/Compliance: 개인 정보 보호, 감사, 규제보고.
지표의 비즈니스 소유자: 지표의 "진실" 을 결정하고 제어합니다.

15) 카탈로그 및 메타 데이터

데이터 카탈로그: 테이블/필드, 소유자, 태그 (PII/finance), 요청 예, 품질 수준 설명.
액티브 메타 데이터: 자동 충전 계보, 쿼리 인기, 사용 권장 사항.
용어집 (비즈니스 사전) - 주요 수치 및 계산 규칙, 버전 및 소유자의 정의.

16) DataOps 대시 보드 (최소 세트)

파이프 라인 건강: 성공/작업 오류, DAG 대기 시간, 평균 실행 시간, 대기열.
품질과 신선도: 테스트에 대한 유효성, 청동/은/금 레이어의 지연, 검역 점유율.

리니지 뷰: Y 소비자에게 떨어지는 테이블 X의 영향

금융: 스토리지 및 스캔 비용, "고가의" 쿼리/모델, 재료화 비용 절감.
변경 사항: 변환 릴리스, 계획 변경, 계약 경고.

17) 점검표 "데이터 제품의 준비"

• 설명 된 입력/출력, 소유자 및 SLA/SLO (신선도/완전성/정확도).
• 저장소의 계획 및 계약, 품질 테스트 포함 (유효성 임계 값).
• 변형 된 계보 및 디렉토리; PII 태그/분류가 적용되었습니다.
• RBAC/ABAC는 액세스, 마스킹 및 보존 정책에 액세스합니다.
• 오케스트레이션 및 경고: 짧고 긴 창, 에스컬레이션 채널.
• 백필은 demmpotent입니다. 롤백 계획과 검역이 있습니다.
• 가치 최적화: 파티션/클러스터링/구체화.
• 메트릭 문서 및 샘플 쿼리.

18) 반 패턴

"데이터 늪": 체계/디렉토리/소유자가없는 호수 → 미사용 및 고가의 데이터.
캐스케이딩 사건 → "조용한" 소스 체계.
prod → 늦은 탐지, 고가의 수정으로 만 테스트하십시오.
모든 도메인에 대한 하나의 일반적인 "실버 해머".
검역 부족: 결혼은 금과 BI에 속합니다.
무제한 스캔/기쁨 "행운을 위해" → 폭발적인 비용.
로그/샘플의 PII, 보존 및 마스킹 부족.

19) 미니 템플릿

데이터 제품을위한 SLA 템플릿

신선도: 99% 증분 T + 10 분 이전; 전체 재 계산-08: 00 UTC D + 1.
완전성: 99 이상. 기록 대 출처의 7%; 키에 의한 임계 값.
정밀-제어 메트릭이있는 불완전. 3%.
가용성: SQL 엔드 포인트/뷰포인트는 99 이상으로 제공됩니다. 9% (28 일).
에스컬레이션 채널, 소유자, 지원 창.

체계 버전 지정 정책

사소한: 선택적 필드 추가, 역 호환.
메이저: 삭제/이름 변경; 병렬 게시물 V1/V2 계정 N 주; 마크 업을 제거하십시오.

백필 계획

소스, 날짜 범위, 비용/시간 추정치, demotency, 출시 창, 성공 기준, 롤백.

20) DataOps 구현 로드맵 (예: 8-12 주)

1. 네드. 1-2: 소스 인벤토리, 도메인 맵, 레이크 하우스/OLAP 선택, 디렉토리.
2. 네드. 3-4: 체계/계약 표준, CI/CD/CT 골격, 기본 DQ 테스트.
3. 네드. 5-6: 계보 및 신선도 경고, 검역, 최초 SLA 데이터 제품.
4. 네드. 7-8: FinOps 최적화 (파티션/물질화), 템플릿에 따른 백필.
5. 네드. 9-12: MDM/참조, RBAC/마스킹, 데이터 사고에 대한 RCA 관행, 성숙도 KPI.

21) 결론

DataOps는 도메인 책임, 계약 및 테스트, 변경 자동화, 관찰 및 보안, 경제 및 사고 프로세스와 같은 데이터 운영 체제입니다. 이러한 접근 방식을 통해 데이터는 신뢰할 수있는 제품이됩니다. 의사 결정, 보고 및 ML에 버전을 지정하고 측정하며 규모를 조정하고 자신있게 사용할 수