业务和管理→业务质量控制

操作质量控制

1）为什么需要它

运营质量是收入、SLA和用户信任所依赖的活动的可预测性和可重复性。强大的质量控制系统减少了变异性，加快了换班之间的变动，减少了发布错误的数量，并提高了事件响应速度。

• 使过程可测量和可管理。
• 降低性能变化（稳定性）。
• 减少浪费（等待，重做，"手拐杖"）。
• 在日常工作中嵌入持续改进（Kaizen）。

2）质量模型： QA vs QC

质量保证（QA （Quality Assurance）-"内置"质量：标准、SOP、培训、门、流程执行前和过程中的自动化检查。
QC（质量控制）-结果检查/采样/执行后审计（复习字幕、日志检查、SPC卡控制）。

原则：质量最大化-在设计和执行（QA）阶段,QC仍然是"保险"和改进的数据来源。

3）系统的关键要素

1.标准和SOP：分步指令，角色模型，支票单。
2.流程图：输入/输出，所有者，流程的SLO，工件。
3.质量门：步骤公差（预检查），"停止起重机"风险。
4.SPC（统计过程控制）：控制卡，触发器。
5.审计和抽样：定期检查是否符合标准。
6.反馈和RCA：验尸后，5 Why/"鱼骨"。
7.培训和认证：技能矩阵，阴影转换。
8.自动化：自动验证，机器人，策略，集成测试。

4）质量控制流程（示例）

轮班例程（监视，钥匙旋转，备用，值班检查）。
Hendovers和升级（升级矩阵，通信渠道，时间）。
事件管理（检测→通信→恢复）。
流量发布/Fichegration/Crossroads。
提供商操作（PSP/KYC），重新注册，报告。
内容/限制管理，头奖/奖金。
数据操作（ETL，存档，隐私）。

5）过程的SLO和KPI质量

• FPY （First Pass Yield）：在未重新设计的情况下完成的过程中所占比例。
• RFT （Right First Time）：无错误/退货任务比例。
• DPMO：每百万个机会（用于批量操作）的缺陷。
• 过程的SLO：p95/p99持续时间，占成功完成的百分比。
• 合规率：遵守强制性的SOP/支票单点。
• Change Failure Rate：回滚/事件发行比例。
• MTTD/MTTR过程：故障检测/恢复。
• Handoff Quality Score： hendover质量（完整性、及时性）。

6）标准及支票单（QA）

• 关键行列板健康检查（API p99，lag，DB连接）。
• 提供商状态（PSP/KYC/工作室），配额和限制。
• 事件队列和未打开的验尸。
• 每班间隔发布/ficheflags计划。
• 备用通信渠道和升级可用性。
• Bakaps/钥匙/秘密-时间表控制。
• Hendover从以前的班次（文物，风险，观察）。

• 所有测试/linters/安全绿色。
• 由疾病预防控制中心/与外部工具签订合同。
• 回滚计划和ficheflagi；金丝雀已经准备好了。
• 当前运行手册，已确认值班，提供商窗口已计入。
• 包含在dashbords中的发布注释。

7） SPC和控制卡

• 要监控的是操作持续时间、缺陷百分比、反应时间、回避时间。
• 规则：1个禁区，7个连续的上升/下降点，8个点与平均值相差-过程变化的信号。
• 行动：在SPC信号下→简短的RCA和纠正措施（SOP校正，培训，自动化）。

8）抽样和审计（QC）

样本计划：关键过程-每日点选；平均每周；低-触发器。
审核标准：支票单的完整性、执行准确性、通信正确性、SLO合规性、安全合规性。
审计得分：0-100，临界权重；结果-进入整体质量仪表板。

9）手推车和轮班的质量

手提包：短暂状态，风险，"观察到的趋势"，未完成的行动，每个间隔的SLO。
通讯：单一的升级格式（模式），事件频道响应的SLA，用于决策的超时框。
阴影转变：新运营商"在阴影中"值班，然后在认证支票单上转向独立转变。

10）事件管理质量

Done的定义：事件仅在恢复SLO、发布业务/札幌升级并创建修复任务后才关闭。
无指控的验尸后：事实，年表，"下次会有所不同"。
行动项目SLA：截止日期和所有者；每周状态核对。
度量标准：未回归事件的百分比,第一个更新之前的平均时间,时间线的完整性。

11）质量控制自动化

自动检查器：机器人检查检查清单的填充，发布注释的存在，Alertmanager路线的正确性。
政策/规则：CI/CD中的强制性门，configs验证（JSON/YAML），秘密扫描仪。
挖掘过程：分析日志以查找瓶颈和偏离"参考"路线。
自动提醒：过期的验尸程序，未公开的动作项目，错过的SOP项目。

12）度量标准和dashbords（最低设置）

操作质量概述：FPY，RFT，DPMO，SLO过程，更改失败率，开放动作项目。
Shifts Board：执行支票单、Handoff Quality Score、Alerta反应时间、监控覆盖。
增量质量：MTTD/MTTR，第一个客户端升级，完整性RCA，回归。
Release Quality：加那利群岛的降级百分比、回滚率、平均持续时间。
Compliance&Security：执行强制程序（备份、密钥轮换、访问）、违规行为和消除时间表。

13）Alerta质量（想法）

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14）改进程序（PDCA循环）

1.计划：选择指标/目标，根据SPC/审核确定瓶颈。
2.Do：在有限范围内进行变更试点（SOP、培训、自动化）。
3.检查：比较前后指标（FPY/RFT/SLO/事件）。
4.行动：扩大成功规模，回滚失败的；更新标准。

15）角色和责任

流程所有者：SLO，标准，dashbords，改进。
运营商：执行，支票单，事件通信。
SRE/平台：自动化，监视，Alertmanager路线。
QA操作：审计，样本，控制卡，培训。

质量经理： PDCA协调,优先改进.

16）反模式

"我们再检查一下"-缺少QA，仅依赖QC的事实后。
为了打勾而支票单（跳过没有后果）。
没有单一的hendover标准→上下文丢失和错误重播。
在没有目标→指标的情况下测量"所有连续"，而无需采取行动。
没有动作项和时间表的验尸→永久回归。
手动检查什么可以自动化。

17）实施支票

• 流程图,所有者,输入/输出,SLO。
• SOP和支票单（班次、发布、事件、提供商）。
• CI/CD和操作工具中的质量门。
• Dashbords和SPC控制卡。
• 抽样计划和定期审核。
• Hendover模板和Shadow轮班培训。
• 后验尸条例及追踪动作项目。
• 自动检查和提醒。
• 季度改进目标（FPY/RFT/SLO/MTTR）。

18）模板（片段）

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19）快速启动（30天）

第1周：描述3-5个关键过程，SLO，所有者；启动基本轮班/发行清单。
第2周：包括质量码和3个警报（ShiftChecklist，Handoff，IncidentSLA）。
第3周：运行1-2度量的样本/审计和SPC。
第4周：根据技术进行2次验尸并批准PDCA的季度计划。

20) FAQ

Q： 如何快速看到效果?

A：从hendovers和IncidentSLA开始：它可以立即降低MTTR并提高可预测性。

问：如果已经有Alertes，是否需要SPC？
A：是的。Alerts捕获"火灾"，SPC-将过程移至火灾。

问：首先要自动化什么？
A：发布门、轮班检查清单、发布注释和动作项目提醒。