跳到内容
工作区开始仿真→
← 资源图书馆
孪生验证指南 / 6分钟

可重复固然有用,
经过验证更进一步。

单独重复,学习和独立的业务验证。

6 个实用章节工作例子审核检查清单
CORTEXSIM / 图解实践笔记选择组件
使用允许的开发证据进行改进保持预期独立01声明的总体02开发用例03受保护用例04已冻结的孪生05验证
声明的总体

定义模型所代表的案例、条件和排除项。

指南 / CORTEXSIM

将模型改进与独立验证分开. 选择一个组件,了解它在评估中的作用。

章节 01

定义双胞胎代表什么

一个模型代表一个声明的行为层,从支持的界面,相关的业务对象和明确的变异开始。

明确决策所需的业务对象和状态流转。例如,支付模型可以按编写的规则表示发起、处理和结算,同时排除一条不受支持的异常路径。这些排除项是模型定义的一部分;缺少它们,读者可能会推断出从未被评估过的覆盖范围。

设计要点
  • 记录模型和未模型路径。
  • 区分源产值与作者假设。
  • 保持版本和源点与每个模型。
章节 02

保护独立证据

定义独立的说法,并保持持有案例与训练和改进分开。

数据划分应体现案例之间的相关性。密切相关的场景、重复的源世界或共享的底层事件,会使名义上独立的案例实际上并不像其数量所显示的那样独立。记录抽样框架和分组假设,并确保预期结果不受提出候选方案的流程影响。

了解方法

将模型改进与独立验证分开

声明的总体

定义模型所代表的案例、条件和排除项。

设计要点
  • 使用已宣布的标准分开案例。
  • 保留保护的证据和预期的结果。
  • 不要反对同一个隐藏的阴谋,直到它过去。
章节 03

阅读失败作为信息

检查错误,未支持的案例和模型敏感性 源链的失败比未合格的信任得分更有用。

在修改模型之前,先对不一致进行分类。它可能暴露出映射错误、不完整的业务规则、不受支持的案例或错误的预期结果。保留原始证据,并说明任何修正。针对已揭示的验证集反复调优,会改变这些证据的含义。

示例详解

合成结算孪生能否保持预期的会计结果?

预演

冻结模型和声明的支付总体。针对结算、异常和排序使用独立的预期结果,并确保受保护用例不参与参数调优。

评论

在接受速度更快的候选方案之前,先调查失败的会计断言。即使后续的模型修订解决了该问题,也要保留这次失败。

合成评估示意。不代表任何客户结果或基准测试。
设计要点
  • 保持例外和和解细节。
  • 评论提出了与域专家的改进。
  • 确定结果有效的条件。
章节 04

使用能挑战模型的断言

断言应独立于被测实现,表达一项业务或运营属性。例如:有效的状态流转、标识保持不变、总额已对账以及对预期异常的明确处理。

确定性运行可能每次都重现同样的错误。请将可重复性与可能失败的断言结合起来,并检查断言是否覆盖了所考虑的决策。仅凭大量案例并不能确立具有代表性的覆盖。

三种不同的证据

证据它能告诉您什么它不能证明什么
可重复的重放相同的声明配置能够重现其行为。普遍意义上的业务正确性。
独立验证冻结的模型在声明的案例上满足指定断言。对未经测试的客户条件的覆盖。
领域审核结果对于既定决策具有意义。自动获得生产或专业批准。
设计要点
  • 在候选方案运行之前声明预期结果。
  • 纳入异常和对顺序敏感的案例。
  • 将断言负责人与自动化提案生成分开。
章节 05

结合覆盖范围与不确定性一起解读

说明测试了什么、哪些失败了,以及哪些条件仍未被观测。将训练结果与受保护的验证结果分开,并保留与两者相关的确切模型和数据源标识。

敏感性分析可以揭示结论对某个编写参数的依赖,但不会把该假设变成观测到的事实。请说明哪些变化会改变结论,以及哪些新的来源证据能够降低不确定性。

随结果一同保留的内容
01输入引用
02模型 + 场景
03完整结果
04审核 + 局限

让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。

设计要点
  • 保留每一项资格认定结果。
  • 记录相关性和抽样局限。
  • 分别审核数值结果和领域实用性。
章节 06

准备验证审核

验证审核应针对声明的模型版本和预期用途得出结论:可以接受一个有边界的结论,可以否决候选方案,也可以要求补充证据。

在审核时带上模型定义、独立断言、完整的结果集和排除项。针对特定客户的模型验收和生产授权,与内部合成参考测试相互独立。

审核准备

0 / 6 已准备
所选内容仅保存在本页面会话中,不代表批准评估、授予权限或确认生产就绪。
设计要点
  • 固定确切的候选方案和证据。
  • 记录失败和不受支持的案例。
  • 指定审核人以及结论的允许用途。
将指南转化为计划

把问题带回来。
构建证据。

定义一个有意义的决策、它所依赖的条件以及审核人所需的证据。

创建您的评估简报 ↗