合成數據的仿真和生成

1）定義和目標

合成數據-人工生成的集合，保留原始數據的統計和/或因果屬性，而無需披露特定記錄。
模擬-使用形式規則（隨機，離散事件，代理-basd，causal）對過程/環境進行建模，以獲取數據和情景。

• 隱私和合規性：PII/PHI/PCI風險較小。
• 覆蓋罕見事件，「尾巴」分布，壓力測試。
• R&D加速：Dev/QA/ML的沙箱,無需訪問數據。
• 在無法收集實際道路/道路數據的地方進行實驗和模型培訓。

2）何時使用，何時不使用

適合：冷啟動，數據短缺，高隱私風險，昂貴的A/B，政策/價格/負載模擬，管道測試。
小心/不適合：監管報告，強制性審計，罕見的域工件，其中本地模式是關鍵且易於扭曲的。

3）生成方法的分類法

3.1統計和經典：盜版，排列，經驗分布，copula方法（Gaussian/Vine/Archimedean）以保持相關性。

• 表數據的GAN/CTGAN/TVAE；
• 連續空間的VAE/常規氣流；
• 圖像/音頻/時間序列的Diffusion模型；
• 文本/對話的LLM方法（帶有guardrails和過濾器）。
• 3.3傾斜模擬器：結構傾斜模型（SCM）,因果關系圖,幹擾（X）。
• 3.4離散事件/順序/蒙特卡洛：過程建模（物流、呼叫中心、交易所、M/M/1隊列、M/G/k）。
• 3.5經紀人：具有行為規則（市場、遊戲、用戶路徑）的代理人群。

4）數據類型和具體情況

表：類別/數字/日期；邊際分布，依賴性，稀有價值很重要。
時間序列：趨勢/季節性/噪聲，滯後相關性，事件和模式；regim生成（HMM/HSMM），分段擴散模型。
圖和網絡：學位分配，集群/社區，動機；Erdesh-Renyi模型，Barbashi-Albert模型，圖形GAN/VAE。
文本/日誌數據：用戶查詢的合成方法，字幕；需要對毒性/泄漏進行法律鑒定和控制。
圖像/音頻：域條件（分辨率、噪音）、類平衡。

5）隱私與保護

風險指標：記錄鏈接/重新識別概率,membership inference持續性,attribute inference protection。
差分隱私（DP）：DP-SGD，PATE，ε預算後處理；隱私報告（ε、δ、敏感性）。
PII修訂版：學前令牌/偽裝；LLM生成中的流程表/過濾器。
政治家和期刊：誰，什麼，如何訓練合成模型的數據；請求的時間。

6）合成品的質量和實用性

• 統計接近：KS/ χ ²/WD，PSI，類別/稀有值的覆蓋範圍。
• 多線性性和依賴性：相關性/MI，copula距離。
• 公用事業測試：合成模型培訓→實況測試（合成火車，實況測試，TSTR），反之亦然（TRTS）。
• 下遊穩定性：業務指標/功能重要性的可持續性。
• 公平與偏差：伴侶度量，之前/之後的生物比較。

校準：生成超參數子結構,然後通過公用/特權閾值。

7）域限制和規則

剛性業務不變量：總和≥ 0，資產負債表保存，ID唯一性，參考完整性。
地理/時間：有效日歷模式，時區，假期。
因果關系：在幹預中保留do關系。
Constraint-aware生成：後過濾器，反射采樣，可區分的約束。

8）如果有的話，情景和壓力測試

蒙特卡洛（Monte Carlo）：KPI結果在輸入變化中的分布。
Causal幹預：價格/限額/規則變化和uplift/風險評估。
負載模擬：流量配置文件、爆發、輸送機容錯。
罕見的事件：frod，DDoS，「黑天鵝」（尾巴橫跨）。

9）集成到pipline和MLOps中

轉化：dataset，sids，config生成，模型權重；SemVer語義。
Lyneedge：合成與源的聯系（沒有PII的抽象級別）。
測試和合同：合成的DQ規則，CI中的隱私檢查。
編目：關於方法、超參數、ε預算、公用事業評估的元數據。
自動化：DAG用於發電機培訓，批量釋放，漂移監測。

10）實現堆棧和模式（解決方案類）

表/關系：copulas/CTGAN/TVAE/flows；啟用FK的發電機。
時間序列：狀態空間/ARIMA/VAR，擴散/GAN時間，定期交換。
圖：具有結構不變量的生成器，GNN-VAE/GAN。
文本/LLM：帶有規則和詞典的序列，非個人材料的RAG框架，排毒/編輯。
模擬器：離散事件框架，代理庫，同構腳本引擎。

（選擇支持私密性、constraint-aware生成和報告的工具。）

11）驗證和驗收

Stat套件：對比分布和依存關系（之前/之後）。
TSTR/TRTS：目標任務上的實用程序閾值。
Privacy suite：MIA/AIA測試，epsilon報告，k-surrogate匿名。
業務不變量：自動驗證（總和，資產負債表，圖連通性）。

用戶接受： 域名所有者的專業知識,視覺名利支票.

12）法律和倫理方面

與律師保持一致：使用目的，跨境轉移，重建。
許可和IP：培訓材料衍生的合成技術和模型策略。
道德與公平：不增加歧視；記錄風險/偏差。
通信：在系統/報告中明確標記合成材料。

13）反模式

「生成所有LLM 'om」，而無需檢查隱私和不變量。
忽略尾巴：合成品平滑稀有→銷量下降。
沒有實用程序驗證：美麗的分配，但對任務毫無用處。
PII泄漏：對原始數據進行培訓，並且缺乏DP/過濾器。
非虛構的蘋果酒/版本：不可生產，有爭議的結果。
缺乏因果關系：模擬是「美麗的」，但錯誤地回答了「如果有的話」。

14）實施路線圖

1.發現：目標（utility/privacy），目標任務，風險，不變量，所有者。
2.MVP：一個域（例如付款/會話），基本生成器+privacy過濾器，stat suite+TSTR。
3.尺度：支持FK/圖/時間序列，constraint-aware，DP ε預算，目錄/行。
4.Hardening： Causal/Agent Simulation,壓力測試,pipeline的混沌場景。
5.優化：成本優勢生成,主動尾巴改進,自動選擇超參數。

15）發行前的支票清單

• 清除了PII/秘密，描述了使用的法律制度。
• 記錄的坐標/版本，元數據和線性。
• 經過stat suite（分布/依賴性）和業務不變式。
• TSTR/TRTS在關鍵任務上通過實用程序閾值。
• 執行了隱私測試（MIA/AIA），顯示並記錄了ε預算（如果DP）。
• 已設置了漂移監視和周期性再火車發電機。
• 合成材料在BI/API中明確標記，禁止未經授權的出口。

16）腳本模板

表格銷售：增值稅/貨幣/日歷的copula+後過濾器→折扣壓力測試。
流量/會話：代理行為模型+擴散時間序列→隊列/負載測試。
Frod Cases：超規尾巴+圖形鍵生成→計分調試。
支持服務：帶有身份證明的自動售貨機的LLM合成→路由器培訓。
物流：根據SLA/成本對 KPI →倉庫/快遞員的離散事件模擬。

結果：模擬和合成數據是工程學科，而不是「為了生成而生成」。將隱私性（DP/修訂版）、實用性（TSTR/TRTS）、因果關系和域約束與可復制的MLOps回路連接起來。然後，合成將成為研究，測試和決策的安全加速器。