定义双胞胎代表什么
一个模型代表一个声明的行为层,从支持的界面,相关的业务对象和明确的变异开始。
明确决策所需的业务对象和状态流转。例如,支付模型可以按编写的规则表示发起、处理和结算,同时排除一条不受支持的异常路径。这些排除项是模型定义的一部分;缺少它们,读者可能会推断出从未被评估过的覆盖范围。
- 记录模型和未模型路径。
- 区分源产值与作者假设。
- 保持版本和源点与每个模型。
保护独立证据
定义独立的说法,并保持持有案例与训练和改进分开。
数据划分应体现案例之间的相关性。密切相关的场景、重复的源世界或共享的底层事件,会使名义上独立的案例实际上并不像其数量所显示的那样独立。记录抽样框架和分组假设,并确保预期结果不受提出候选方案的流程影响。
将模型改进与独立验证分开
定义模型所代表的案例、条件和排除项。
- 使用已宣布的标准分开案例。
- 保留保护的证据和预期的结果。
- 不要反对同一个隐藏的阴谋,直到它过去。
阅读失败作为信息
检查错误,未支持的案例和模型敏感性 源链的失败比未合格的信任得分更有用。
在修改模型之前,先对不一致进行分类。它可能暴露出映射错误、不完整的业务规则、不受支持的案例或错误的预期结果。保留原始证据,并说明任何修正。针对已揭示的验证集反复调优,会改变这些证据的含义。
合成结算孪生能否保持预期的会计结果?
冻结模型和声明的支付总体。针对结算、异常和排序使用独立的预期结果,并确保受保护用例不参与参数调优。
在接受速度更快的候选方案之前,先调查失败的会计断言。即使后续的模型修订解决了该问题,也要保留这次失败。
- 保持例外和和解细节。
- 评论提出了与域专家的改进。
- 确定结果有效的条件。
使用能挑战模型的断言
断言应独立于被测实现,表达一项业务或运营属性。例如:有效的状态流转、标识保持不变、总额已对账以及对预期异常的明确处理。
确定性运行可能每次都重现同样的错误。请将可重复性与可能失败的断言结合起来,并检查断言是否覆盖了所考虑的决策。仅凭大量案例并不能确立具有代表性的覆盖。
三种不同的证据
| 证据 | 它能告诉您什么 | 它不能证明什么 |
|---|---|---|
| 可重复的重放 | 相同的声明配置能够重现其行为。 | 普遍意义上的业务正确性。 |
| 独立验证 | 冻结的模型在声明的案例上满足指定断言。 | 对未经测试的客户条件的覆盖。 |
| 领域审核 | 结果对于既定决策具有意义。 | 自动获得生产或专业批准。 |
- 在候选方案运行之前声明预期结果。
- 纳入异常和对顺序敏感的案例。
- 将断言负责人与自动化提案生成分开。
结合覆盖范围与不确定性一起解读
说明测试了什么、哪些失败了,以及哪些条件仍未被观测。将训练结果与受保护的验证结果分开,并保留与两者相关的确切模型和数据源标识。
敏感性分析可以揭示结论对某个编写参数的依赖,但不会把该假设变成观测到的事实。请说明哪些变化会改变结论,以及哪些新的来源证据能够降低不确定性。
让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。
- 保留每一项资格认定结果。
- 记录相关性和抽样局限。
- 分别审核数值结果和领域实用性。
准备验证审核
验证审核应针对声明的模型版本和预期用途得出结论:可以接受一个有边界的结论,可以否决候选方案,也可以要求补充证据。
在审核时带上模型定义、独立断言、完整的结果集和排除项。针对特定客户的模型验收和生产授权,与内部合成参考测试相互独立。
审核准备
0 / 6 已准备- 固定确切的候选方案和证据。
- 记录失败和不受支持的案例。
- 指定审核人以及结论的允许用途。