DataOps和數據管理

1） DataOps是什麼,為什麼需要它

DataOps是一組實踐，流程和工具，可將數據操作轉變為可重復和可管理的流水線：從組裝和圖式更改到發布數據產品和指標。目標是更快、更安全地向消費者（產品、分析、風險、ML）提供高質量數據,同時保持合規性和最佳成本。

• 數據可預測的SLA（相關性，完整性，準確性）。
• 快速而安全的更改（數據的CI/CD/CT）。
• 原產地（數據線）和所有權透明度。
• 減少TCO（存儲，計算，數據傳輸）。

2）建築模式

數據湖（對象存儲、原材料）：價格便宜、靈活,但需要嚴格的DataOps。
倉庫（OLAP/SQL,建模）：快速展示,嚴謹的電路。
Lakehouse（表格+ACID格式：Delta/Iceberg/Hudi）：湖泊和倉庫的統一，時間旅行，upsert/merge。

• Bronze（生的，不變的）→ Silver（純化，一致）→ Gold（ML 單元/店面/fici）。
• 服務層：DWH/OLAP（BigQuery/ClickHouse/Snowflake等），API/圖形，功能商店，kesh。

建議：將每個層恰好存儲一個「真理源」和轉換-作為具有驗證和測試的代碼。

3）域名模型和數據產品

數據混合方法：域命令的數據所有權；數據產品所有者負責數據產品的質量和SLO。
數據合同：電路，語義，SLA/SLO（例如，"操作表可在世界標準時間08：00之前提供，精確度為99。5％，增量延遲不超過10分鐘"）。
接口：SQL 表/vyuhi, CDC拓撲,API/GraphQL。清晰的轉換和清除策略。

4）集成： 下載源和模式

ETL/ELT：拉伸→折叠→轉換（在DWH/Lake）。ELT具有強大的OLAP。
CDC（更改數據捕獲）：流媒體更改（Debezium等）→低延遲和精確的填充。
Batch vs Stream：混合泳是「熱門」事件的流，重新計票和後場比賽。
遞送語義：at least-once+Idempotent Merge；按鍵/時間排序；以事務性格式為代價。

5）方案管理和演變

Schema Registry和合同測試：無損添加字段,禁止在沒有新版本的情況下進行斷開更改。
Versioning （V1→V2）：並行發布、遷移窗口、消費者差異。
類型和單位策略：貨幣、超時區、idempotency密鑰。

6）數據質量（數據質量,DQ）

關鍵測量：完整性、準確性、一致性、唯一性、有效性、新鮮/相關性、重復數據消除。

• 質量測試作為代碼：唯一密鑰，範圍，參考列表，業務規則（例如，子字符串總和=總和）。
• 每個層（青銅/銀/金）和CI上的合同/曝光測試。
• 檢疫區：未經檢查的數據不會進入黃金。
• 新鮮協議：explicit freshness SLA和burn-rate-alerta延遲。

7）數據可觀察性（數據可觀察性）

數據顯示SLI：有效字符串比例，附加延遲率，跳過率，在此期間電路更改次數。
Lineage（端到端跟蹤）：從哪個源X字段,誰消耗表Y；可視化依賴圖。
異常監測：體積/分布趨勢，突然零/峰值，分類特征漂移。
警報策略：短窗口（災難）+長窗口（爬行降解），升級到數據產品所有者。

8）安全和隱私

數據分類：PII/財務/敏感/公共。列和集上的標簽。
訪問控制：RBAC/ABAC, row-/column-level security,蒙版,動態識別。
加密技術：加密at-rest/in-transit；PII的令牌化和別名化。
存儲產品線：熱/熱/冷；回避政策和「被遺忘的權利」。
審核和不變性：誰閱讀/更改；文物簽名日誌；向監管機構出口人工制品。

9）編排，CI/CD/CT和變更管理

編排：Airflow/Argo/Kedro等；聲明性DAG/具有依賴性和冪等任務的線程。
CI/CD/CT（連續測試）：SQL/Python linters，單位轉換測試，隔離樣本中的集成測試，默奇之前的數據測試。
促進環境：dev → stage → prod；相同的宣言；控制幻燈片/目錄。
Backfills：資源限制和清晰窗口的「重量級」操作；等效性和重復數據消除控制。

10）成本管理（Data FinOps）

成本模型：存儲（體積×類別）,掃描/查詢,egress,冗長的後門。
優化：分組/聚類，Z-ordering/排序，時間引導，結果縮放的實現，壓縮和柱狀格式。
數據的統一經濟學：$1/100萬行在黃金,$/一份報告,$/FICH為ML。
SLO意識的新鮮度：按照產品的要求重新計算，而不是「習慣每5分鐘一次」。

11）主數據管理（MDM）和手冊

金唱片（金唱片）：消除客戶/商人，帳戶層次結構。
目錄/參考：貨幣，國家，BIN列表，提供商列表-帶有版本和操作窗口。
標識符：穩定鍵,交叉系統ID匹配,many-to-one映射。

12）ML-fici和分析店面

特色商店：特征轉換，時間旅行，在線/線下一致性。
具有DS/ML的數據合同：新鮮/漂移的SLA；圖和允許的範圍。
BI店面：經過驗證的「單一版本」關鍵指標（DAU/GMV/ARPPU等）與測試。

13）事件過程和數據的RCA

檢測：有效性下降，加載延遲，未宣布的電路更改，分布異常。
升級：數據產品所有者→編排者/平臺→來源/提供者。
聯想行動：出版物剝離，回滾最新轉型，發布先前的「良好」版本，在數據狀態頁面上標記。
RCA（數據焦點）：根源在於電路/合同故障、源延遲、業務規則不正確、漂移。
CAPA：模式控制，新測試，掃描限制，發行註釋，培訓。

14）角色和責任（RACI）

數據產品所有者：SLA/SLO，優先級，路徑圖。
Data Engineer/Analytics Engineer： piplines,建模,測試,優化。
平臺/地獄：編排，湖/倉庫，安全性和可用性。
Governance/Steward：目錄、質量、分類、合規性。
Sec/Compliance：隱私，審計，監管報告。
企業所有者指標：確定和控制指標的「真相」。

15）目錄和元數據

數據目錄：表/字段說明、所有者、標簽（PII/財務）、查詢示例、質量級別。
Active Metadata：自動填充線路，查詢的受歡迎程度，使用建議。
Glossary（商業詞典）：指標定義和計算規則、版本和所有者。

16） DataOps Dashbords（最低設置）

Piplines健康：任務成功/錯誤、DAG潛伏期、平均運行時間、隊列。
質量和新鮮度：測試的有效性，青銅/銀/金層延遲，檢疫比例。
線性景觀：表X下降對Y消費者的影響。
財務：存儲和掃描費用$，「昂貴」查詢/模型，實現節省。
更改：轉換發布，模式更改，合同差異。

17）「數據產品就緒」支票清單"

• 描述了入口/出口，所有者和SLA/SLO（新/完整/精度）。
• 存儲庫中的方案和合同，包括質量測試（有效性閾值）。
• 設置了行和目錄；應用了PII/分類標簽。
• RBAC/ABAC可用性，掩碼和回避策略。
• 管弦樂隊和異形樂隊：短而長的窗口，升級通道。
• Backfills是冪等的；有一個回滾和隔離的計劃。
• 價值優化：批次/聚類/實現。
• 指標文檔和查詢示例。

18）反模式

「數據交換」：沒有方案/目錄/所有者的湖泊→未使用且昂貴的數據。
報廢源方案→級聯事件。
僅在prod中進行測試→以後的發現，昂貴的修復程序。
一種用於所有域的通用「銀錘」變換。
缺乏檢疫：婚姻落入黃金和BI。
無限制的掃描/喬伊納「運氣」→成本爆炸。
Logs/Samples中的PII，缺乏修飾和掩飾。

19）迷你模板

數據產品的SLA模板

新鮮度：99%的添加劑不遲於T+10分鐘；完全重新計票-在08：00 UTC D+1之前。
完整性：≥ 99。7％的記錄vs來源；按鍵閾值。

精度： 與校驗指標≤ 0的差異。3%.

可用性：SQL-endpoints/vyuhi可用≥ 99。9%（28天）。
升級通道、所有者、支持窗口。

計劃驗證策略

次要：添加可選字段,反向匹配。
專業：刪除/重命名；平行出版V1/V2 ≥ N周；刪除標記。

Backfill計劃

來源，日期範圍，成本/時間評估，相等性，啟動窗口，成功標準，回滾。

20） DataOps實施路線圖（示例8-12周）

1.奈德。1-2：源清單,域圖,Lakehouse/OLAP選擇,目錄。
2.奈德。3-4：計劃/合同標準，CI/CD/CT骨架，基本DQ測試。
3.奈德。5-6：線性和新鮮度，檢疫，首批SLA數據產品。
4.奈德。7-8：FinOps優化（分期/實現），模板後門。
5.奈德。9-12：MDM/參考，RBAC/掩飾，數據事件的RCA實踐，成熟度KPI。

21）結果

DataOps是數據操作系統：域責任，合同和測試，更改自動化，可觀察性和安全性，經濟學和事件過程。通過這種方法，數據成為可靠的產品：可以在決策，報告和ML中進行驗證，測量，擴展和自信使用。