業務和管理→業務質量控制

操作質量控制

1）為什麼需要它

運營質量是收入、SLA和用戶信任所依賴的活動的可預測性和可重復性。強大的質量控制系統減少了變異性，加快了換班之間的變動，減少了發布錯誤的數量，並提高了事件響應速度。

• 使過程可測量和可管理。
• 降低性能變化（穩定性）。
• 減少浪費（等待，重做，「手拐杖」）。
• 在日常工作中嵌入持續改進（Kaizen）。

2）質量模型： QA vs QC

質量保證（QA （Quality Assurance）-「內置」質量：標準、SOP、培訓、門、流程執行前和過程中的自動化檢查。
QC（質量控制）-結果檢查/采樣/執行後審計（復習字幕、日誌檢查、SPC卡控制）。

原則：質量最大化-在設計和執行（QA）階段,QC仍然是「保險」和改進的數據來源。

3）系統的關鍵要素

1.標準和SOP：分步指令，角色模型，支票單。
2.流程圖：輸入/輸出，所有者，流程的SLO，工件。
3.質量門：步驟公差（預檢查），「停止起重機」風險。
4.SPC（統計過程控制）：控制卡，觸發器。
5.審計和抽樣：定期檢查是否符合標準。
6.反饋和RCA：驗屍後，5 Why/「魚骨」。
7.培訓和認證：技能矩陣，陰影轉換。
8.自動化：自動驗證，機器人，策略，集成測試。

4）質量控制流程（示例）

輪班例程（監視，鑰匙旋轉，備用，值班檢查）。
Hendovers和升級（升級矩陣，通信渠道，時間）。
事件管理（檢測→通信→恢復）。
流量發布/Fichegration/Crossroads。
提供商操作（PSP/KYC），重新註冊，報告。
內容/限制管理，頭獎/獎金。
數據操作（ETL，存檔，隱私）。

5）過程的SLO和KPI質量

• FPY （First Pass Yield）：在未重新設計的情況下完成的過程中所占比例。
• RFT （Right First Time）：無錯誤/退貨任務比例。
• DPMO：每百萬個機會（用於批量操作）的缺陷。
• 過程的SLO：p95/p99持續時間，占成功完成的百分比。
• 合規率：遵守強制性的SOP/支票單點。
• Change Failure Rate：回滾/事件發行比例。
• MTTD/MTTR過程：故障檢測/恢復。
• Handoff Quality Score： hendover質量（完整性、及時性）。

6）標準及支票單（QA）

• 關鍵行列板健康檢查（API p99，lag，DB連接）。
• 提供商狀態（PSP/KYC/工作室），配額和限制。
• 事件隊列和未打開的驗屍。
• 每班間隔發布/ficheflags計劃。
• 備用通信渠道和升級可用性。
• Bakaps/鑰匙/秘密-時間表控制。
• Hendover從以前的班次（文物，風險，觀察）。

• 所有測試/linters/安全綠色。
• 由疾病預防控制中心/與外部工具簽訂合同。
• 回滾計劃和ficheflagi；金絲雀已經準備好了。
• 當前運行手冊，已確認值班，提供商窗口已計入。
• 包含在dashbords中的發布註釋。

7） SPC和控制卡

• 要監控的是操作持續時間、缺陷百分比、反應時間、回避時間。
• 規則：1個禁區，7個連續的上升/下降點，8個點與平均值相差-過程變化的信號。
• 行動：在SPC信號下→簡短的RCA和糾正措施（SOP校正，培訓，自動化）。

8）抽樣和審計（QC）

樣本計劃：關鍵過程-每日點選；平均每周；低-觸發器。
審核標準：支票單的完整性、執行準確性、通信正確性、SLO合規性、安全合規性。
審計得分：0-100，臨界權重；結果-進入整體質量儀表板。

9）手推車和輪班的質量

手提包：短暫狀態，風險，「觀察到的趨勢」，未完成的行動，每個間隔的SLO。
通訊：單一的升級格式（模式），事件頻道響應的SLA，用於決策的超時框。
陰影轉變：新運營商「在陰影中」值班，然後在認證支票單上轉向獨立轉變。

10）事件管理質量

Done的定義：事件僅在恢復SLO、發布業務/劄幌升級並創建修復任務後才關閉。
無指控的驗屍後：事實，年表，「下次會有所不同」。
行動項目SLA：截止日期和所有者；每周狀態核對。
度量標準：未回歸事件的百分比,第一個更新之前的平均時間,時間線的完整性。

11）質量控制自動化

自動檢查器：機器人檢查檢查清單的填充，發布註釋的存在，Alertmanager路線的正確性。
政策/規則：CI/CD中的強制性門，configs驗證（JSON/YAML），秘密掃描儀。
挖掘過程：分析日誌以查找瓶頸和偏離「參考」路線。
自動提醒：過期的驗屍程序，未公開的動作項目，錯過的SOP項目。

12）度量標準和dashbords（最低設置）

操作質量概述：FPY，RFT，DPMO，SLO過程，更改失敗率，開放動作項目。
Shifts Board：執行支票單、Handoff Quality Score、Alerta反應時間、監控覆蓋。
增量質量：MTTD/MTTR，第一個客戶端升級，完整性RCA，回歸。
Release Quality：加那利群島的降級百分比、回滾率、平均持續時間。
Compliance&Security：執行強制程序（備份、密鑰輪換、訪問）、違規行為和消除時間表。

13）Alerta質量（想法）

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14）改進程序（PDCA循環）

1.計劃：選擇指標/目標，根據SPC/審核確定瓶頸。
2.Do：在有限範圍內進行變更試點（SOP、培訓、自動化）。
3.檢查：比較前後指標（FPY/RFT/SLO/事件）。
4.行動：擴大成功規模，回滾失敗的；更新標準。

15）角色和責任

流程所有者：SLO，標準，dashbords，改進。
運營商：執行，支票單，事件通信。
SRE/平臺：自動化，監視，Alertmanager路線。
QA操作：審計，樣本，控制卡，培訓。

質量經理： PDCA協調,優先改進.

16）反模式

「我們再檢查一下」-缺少QA，僅依賴QC的事實後。
為了打勾而支票單（跳過沒有後果）。
沒有單一的hendover標準→上下文丟失和錯誤重播。
在沒有目標→指標的情況下測量「所有連續」，而無需采取行動。
沒有動作項和時間表的驗屍→永久回歸。
手動檢查什麼可以自動化。

17）實施支票

• 流程圖,所有者,輸入/輸出,SLO。
• SOP和支票單（班次、發布、事件、提供商）。
• CI/CD和操作工具中的質量門。
• Dashbords和SPC控制卡。
• 抽樣計劃和定期審核。
• Hendover模板和Shadow輪班培訓。
• 後驗屍條例及追蹤動作項目。
• 自動檢查和提醒。
• 季度改進目標（FPY/RFT/SLO/MTTR）。

18）模板（片段）

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19）快速啟動（30天）

第1周：描述3-5個關鍵過程，SLO，所有者；啟動基本輪班/發行清單。
第2周：包括質量碼和3個警報（ShiftChecklist，Handoff，IncidentSLA）。
第3周：運行1-2度量的樣本/審計和SPC。
第4周：根據技術進行2次驗屍並批準PDCA的季度計劃。

20) FAQ

Q： 如何快速看到效果?

A：從hendovers和IncidentSLA開始：它可以立即降低MTTR並提高可預測性。

問：如果已經有Alertes，是否需要SPC？
A：是的。Alerts捕獲「火災」，SPC-將過程移至火災。

問：首先要自動化什麼？
A：發布門、輪班檢查清單、發布註釋和動作項目提醒。