DataOps和数据管理

1） DataOps是什么,为什么需要它

DataOps是一组实践，流程和工具，可将数据操作转变为可重复和可管理的流水线：从组装和图式更改到发布数据产品和指标。目标是更快、更安全地向消费者（产品、分析、风险、ML）提供高质量数据,同时保持合规性和最佳成本。

• 数据可预测的SLA（相关性，完整性，准确性）。
• 快速而安全的更改（数据的CI/CD/CT）。
• 原产地（数据线）和所有权透明度。
• 减少TCO（存储，计算，数据传输）。

2）建筑模式

数据湖（对象存储、原材料）：价格便宜、灵活,但需要严格的DataOps。
仓库（OLAP/SQL,建模）：快速展示,严谨的电路。
Lakehouse（表格+ACID格式：Delta/Iceberg/Hudi）：湖泊和仓库的统一，时间旅行，upsert/merge。

• Bronze（生的，不变的）→ Silver（纯化，一致）→ Gold（ML 单元/店面/fici）。
• 服务层：DWH/OLAP（BigQuery/ClickHouse/Snowflake等），API/图形，功能商店，kesh。

建议：将每个层恰好存储一个"真理源"和转换-作为具有验证和测试的代码。

3）域名模型和数据产品

数据混合方法：域命令的数据所有权；数据产品所有者负责数据产品的质量和SLO。
数据合同：电路，语义，SLA/SLO（例如，"操作表可在世界标准时间08：00之前提供，精确度为99。5％，增量延迟不超过10分钟"）。
接口：SQL 表/vyuhi, CDC拓扑,API/GraphQL。清晰的转换和清除策略。

4）集成： 下载源和模式

ETL/ELT：拉伸→折迭→转换（在DWH/Lake）。ELT具有强大的OLAP。
CDC（更改数据捕获）：流媒体更改（Debezium等）→低延迟和精确的填充。
Batch vs Stream：混合泳是"热门"事件的流，重新计票和后场比赛。
递送语义：at least-once+Idempotent Merge；按键/时间排序；以事务性格式为代价。

5）方桉管理和演变

Schema Registry和合同测试：无损添加字段,禁止在没有新版本的情况下进行断开更改。
Versioning （V1→V2）：并行发布、迁移窗口、消费者差异。
类型和单位策略：货币、超时区、idempotency密钥。

6）数据质量（数据质量,DQ）

关键测量：完整性、准确性、一致性、唯一性、有效性、新鲜/相关性、重复数据消除。

• 质量测试作为代码：唯一密钥，范围，参考列表，业务规则（例如，子字符串总和=总和）。
• 每个层（青铜/银/金）和CI上的合同/曝光测试。
• 检疫区：未经检查的数据不会进入黄金。
• 新鲜协议：explicit freshness SLA和burn-rate-alerta延迟。

7）数据可观察性（数据可观察性）

数据显示SLI：有效字符串比例，附加延迟率，跳过率，在此期间电路更改次数。
Lineage（端到端跟踪）：从哪个源X字段,谁消耗表Y；可视化依赖图。
异常监测：体积/分布趋势，突然零/峰值，分类特征漂移。
警报策略：短窗口（灾难）+长窗口（爬行降解），升级到数据产品所有者。

8）安全和隐私

数据分类：PII/财务/敏感/公共。列和集上的标签。
访问控制：RBAC/ABAC, row-/column-level security,蒙版,动态识别。
加密技术：加密at-rest/in-transit；PII的令牌化和别名化。
存储产品线：热/热/冷；回避政策和"被遗忘的权利"。
审核和不变性：谁阅读/更改；文物签名日志；向监管机构出口人工制品。

9）编排，CI/CD/CT和变更管理

编排：Airflow/Argo/Kedro等；声明性DAG/具有依赖性和幂等任务的线程。
CI/CD/CT（连续测试）：SQL/Python linters，单位转换测试，隔离样本中的集成测试，默奇之前的数据测试。
促进环境：dev → stage → prod；相同的宣言；控制幻灯片/目录。
Backfills：资源限制和清晰窗口的"重量级"操作；等效性和重复数据消除控制。

10）成本管理（Data FinOps）

成本模型：存储（体积×类别）,扫描/查询,egress,冗长的后门。
优化：分组/聚类，Z-ordering/排序，时间引导，结果缩放的实现，压缩和柱状格式。
数据的统一经济学：$1/100万行在黄金,$/一份报告,$/FICH为ML。
SLO意识的新鲜度：按照产品的要求重新计算，而不是"习惯每5分钟一次"。

11）主数据管理（MDM）和手册

金唱片（金唱片）：消除客户/商人，帐户层次结构。
目录/参考：货币，国家，BIN列表，提供商列表-带有版本和操作窗口。
标识符：稳定键,交叉系统ID匹配,many-to-one映射。

12）ML-fici和分析店面

特色商店：特征转换，时间旅行，在线/线下一致性。
具有DS/ML的数据合同：新鲜/漂移的SLA；图和允许的范围。
BI店面：经过验证的"单一版本"关键指标（DAU/GMV/ARPPU等）与测试。

13）事件过程和数据的RCA

检测：有效性下降，加载延迟，未宣布的电路更改，分布异常。
升级：数据产品所有者→编排者/平台→来源/提供者。
联想行动：出版物剥离，回滚最新转型，发布先前的"良好"版本，在数据状态页面上标记。
RCA（数据焦点）：根源在于电路/合同故障、源延迟、业务规则不正确、漂移。
CAPA：模式控制，新测试，扫描限制，发行注释，培训。

14）角色和责任（RACI）

数据产品所有者：SLA/SLO，优先级，路径图。
Data Engineer/Analytics Engineer： piplines,建模,测试,优化。
平台/地狱：编排，湖/仓库，安全性和可用性。
Governance/Steward：目录、质量、分类、合规性。
Sec/Compliance：隐私，审计，监管报告。
企业所有者指标：确定和控制指标的"真相"。

15）目录和元数据

数据目录：表/字段说明、所有者、标签（PII/财务）、查询示例、质量级别。
Active Metadata：自动填充线路，查询的受欢迎程度，使用建议。
Glossary（商业词典）：指标定义和计算规则、版本和所有者。

16） DataOps Dashbords（最低设置）

Piplines健康：任务成功/错误、DAG潜伏期、平均运行时间、队列。
质量和新鲜度：测试的有效性，青铜/银/金层延迟，检疫比例。
线性景观：表X下降对Y消费者的影响。
财务：存储和扫描费用$，"昂贵"查询/模型，实现节省。
更改：转换发布，模式更改，合同差异。

17）"数据产品就绪"支票清单"

• 描述了入口/出口，所有者和SLA/SLO（新/完整/精度）。
• 存储库中的方案和合同，包括质量测试（有效性阈值）。
• 设置了行和目录；应用了PII/分类标签。
• RBAC/ABAC可用性，掩码和回避策略。
• 管弦乐队和异形乐队：短而长的窗口，升级通道。
• Backfills是幂等的；有一个回滚和隔离的计划。
• 价值优化：批次/聚类/实现。
• 指标文档和查询示例。

18）反模式

"数据交换"：没有方案/目录/所有者的湖泊→未使用且昂贵的数据。
报废源方案→级联事件。
仅在prod中进行测试→以后的发现，昂贵的修复程序。
一种用于所有域的通用"银锤"变换。
缺乏检疫：婚姻落入黄金和BI。
无限制的扫描/乔伊纳"运气"→成本爆炸。
Logs/Samples中的PII，缺乏修饰和掩饰。

19）迷你模板

数据产品的SLA模板

新鲜度：99%的添加剂不迟于T+10分钟；完全重新计票-在08：00 UTC D+1之前。
完整性：≥ 99。7％的记录vs来源；按键阈值。

精度： 与校验指标≤ 0的差异。3%.

可用性：SQL-endpoints/vyuhi可用≥ 99。9%（28天）。
升级通道、所有者、支持窗口。

计划验证策略

次要：添加可选字段,反向匹配。
专业：删除/重命名；平行出版V1/V2 ≥ N周；删除标记。

Backfill计划

来源，日期范围，成本/时间评估，相等性，启动窗口，成功标准，回滚。

20） DataOps实施路线图（示例8-12周）

1.奈德。1-2：源清单,域图,Lakehouse/OLAP选择,目录。
2.奈德。3-4：计划/合同标准，CI/CD/CT骨架，基本DQ测试。
3.奈德。5-6：线性和新鲜度，检疫，首批SLA数据产品。
4.奈德。7-8：FinOps优化（分期/实现），模板后门。
5.奈德。9-12：MDM/参考，RBAC/掩饰，数据事件的RCA实践，成熟度KPI。

21）结果

DataOps是数据操作系统：域责任，合同和测试，更改自动化，可观察性和安全性，经济学和事件过程。通过这种方法，数据成为可靠的产品：可以在决策，报告和ML中进行验证，测量，扩展和自信使用。