地图 关键路径
开始使用服务目录和它支持的工作流程 依赖图应包含已宣布失败的域名和失踪的观察。
依赖是工作流正常运行所需的条件,而不只是系统之间的一条连线。记录失去它的影响、由谁负责,以及如何观测其恢复。将已发现的关系与编写的假设区分开来,并标记尚未观测到的依赖。
- 任命企业和技术所有者。
- 马克要求依赖和量子假设。
- 记录宣布恢复和服务目标。
作者:中断
指定消耗、持续和恢复步骤 处理修复时间作为假设,除非独立测量。
选择一次具体的中断,并定义其开始时间、持续时长和受影响的故障域。在适用时纳入延迟恢复和二次中断。除非有目标运行环境的实测数据支持,否则模型所用的修复时间都只是假设。
恢复顺序遵循声明的前提条件
已恢复的服务可能仍依赖有效的身份和访问权限。
- 测试部分恢复和重复失败。
- 比较一个以上的恢复命令。
- 保留所有模型和场景版本。
审查业务连续性
与交易准确性相结合,检查服务影响 实现模拟目标并不确定真正的基础设施恢复性能。
进程在技术上可能已可访问,而业务服务仍处于不一致状态。恢复后,请检查待处理工作、重复影响、所需状态和依赖服务。在报告建模可用性的同时,一并报告目标未达成的情况和未解决的结果。
如果合成订单服务在其队列完成对账之前恢复,会发生什么?
以固定的初始状态为故障建模。比较两种恢复顺序,检查待处理订单、重复处理以及业务工作流恢复可用的时间点。
进程重启更快,并不一定意味着服务恢复更快。在接受该顺序之前,请审核未解决的订单和状态一致性。
- 修复后检查业务变量。
- 确定目标违规和单点失败。
- 计划部署 - 具体恢复资格。
比较恢复顺序
比较恢复顺序时,请使用相同的中断和初始条件。如果数据或身份依赖仍不可用,先重启应用的顺序可能毫无效果。
仅在受支持的场景契约范围内为备选顺序建模。说明哪些前提条件会造成延迟,哪些步骤可以独立进行。可视化依赖图是审核辅助工具,并不能证明所有生产依赖都已被发现。
衡量正确的恢复里程碑
| 里程碑 | 所需观测 | 常见缺口 |
|---|---|---|
| 组件可用 | 进程或依赖可访问。 | 其状态或前提条件可能仍不可用。 |
| 工作流已恢复 | 声明的端到端路径已完成。 | 待处理工作和异常路径可能仍未解决。 |
| 业务状态已验证 | 断言和对账已经过审核。 | 未经测试的故障域仍需资格认定。 |
- 记录前提条件和故障域。
- 让修复假设保持可见。
- 比较服务就绪程度,而不只是组件启动时间。
在恢复期间保护状态
恢复计划不仅要考虑备份,还要考虑状态标识、留存的回执和保管。恢复较旧的数据库可能会重新引入与后续擦除或保管决策相冲突的状态。
对于与保管绑定的内部环境,请保留独立的保管日志并使用兼容的运行时。任何客户恢复流程都应针对其自身的环境和目标进行资格认定。保留恢复证据,而不要用一次成功的重新运行将其覆盖。
让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。
- 保留备份、检查点和失败的恢复结果。
- 在再次调度之前,审核不确定的下游影响。
- 恢复后验证业务状态。
准备故障预演
为关键依赖指定业务负责人和技术负责人。在预演之前,约定中断方式、停止条件、观测内容和审核标准。
使用该检查清单准备一次受控评估。建模得出的恢复时间并不是经过实测的基础设施保证。物理主机和独立站点恢复需要各自针对具体部署进行资格认定。
审核准备
0 / 6 已准备- 明确中断方式和恢复顺序。
- 声明恢复目标和服务目标。
- 将建模结果与实测的恢复证据区分开来。