决策及范围
记录业务问题、负责任的所有者、基线、候选人变更和范围内的界面。
写下一个可以通过有边界的比较来解决的决策。确定当前基线、候选变更以及结论的预期用途。列出被排除的环境、接口和条件,以免该文档被误认为范围更广的保证声明。
- 答:这个评估应该解决什么?
- 范围:哪些环境和条件适用?
- 例外:什么不代表?
输入和验证
列出源的截图,模型版本,作者假设和独立接受声明。
将观测到的输入与编写的假设和合成案例区分开来。记录数据源标识、相关时间、映射或 schema 版本、模型修订版本以及场景设置。在候选方案运行之前定义断言,并明确由谁负责其业务含义。
与输入、断言、结果和审核相关联的决策
说明评估必须解决什么问题,以及由谁对答案负责。
- 证据:来源、时间表、分类和版本。
- 声明:预期的业务和运营结果。
- 执行:工作负载、模式、预算和重复性。
评论和下一门
记录结果,例外,审计员的决定和下一个阶段所需的证据。
分别记录已接受、已否决和无定论的结果,而不要将它们合并为单一的成功标志。保留审核人身份、理由、未解决的例外事项以及结论的局限。如果下一步需要新的证据或不同的批准,请明确指出这道关口。
一个关于容量变更的问题,如何变成一份可审核的契约?
说明受支持的容量参数、固定的工作负载、模型标识和所需的业务断言。明确哪些结果决定验收,以及哪些客户测量仍在范围之外。
最终形成的证据包应让审核人能够将结论追溯到其输入和条件。可复用的模板并不能证明实验本身已经通过。
- 结果:被接受、拒绝或无限。
- 例外:影响、所有者和分辨率条件。
- 下一门:部署特定的资格和批准。
使用经得起交接的契约
其他审核人应当在无法查看原始沟通记录的情况下也能理解证据。请优先使用稳定的标识和明确的描述,而不是“最近那次运行”或“那个好的数据集”之类的非正式说法。
契约应随导出的结果一同保留。将问题、输入的固定版本、预期结果和审核局限保存在一起。不要仅为了让证据包看起来完整而包含凭据或原始敏感数据;在适当情况下,请引用经批准的保管位置。
让证据可用的字段
| 契约字段 | 有效填写 | 应避免 |
|---|---|---|
| 决策 | 在声明工作负载下的一项具名变更。 | 诸如“让它更好”之类没有边界的目标。 |
| 输入引用 | 确切的数据源、模型和场景标识。 | 对“最新数据”的模糊引用。 |
| 验收 | 独立断言和问责审核。 | 在观察结果之后才选定的成功阈值。 |
- 使用确切的版本和数据源引用。
- 保留排除项和相关性假设。
- 将证据引用与机密材料分开。
追踪变更,而不改写历史
模型、工作负载或断言的变更会改变结果的上下文。保留先前的契约和结果,然后记录发生了什么变化,以及为何需要新的评估。
即使后来的候选方案成功了,失败的资格认定仍然是证据的一部分。将开发阶段的改进与独立评估区分开来,并保留适用于每个结果的验收条件。
让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。
- 对契约的重大变更进行版本管理。
- 雷达失败,并推迟了结果。
- 不要在观察结果后悄然调整验收关口。
填写准备工作表
使用下方的可编辑字段起草问题、范围、证据引用和下一道关口。文本保存在本页面会话中,并会包含在下载的资源里。
这是一份规划模板,既不是审批机制,也不是存放机密的地方。请将完成的草稿交给责任审核人,并将最终的验收决策与实际执行证据一同保存。
页面会话草稿,将包含在您的下载内容中。请使用引用,而非凭据或敏感记录。
审核准备
0 / 6 已准备- 写下一个具体的决策。
- 确定基线、候选方案和断言。
- 指定审核人和下一道证据关口。