使用公平基线
在同一工作负载、观察窗口和执行模式下比较替代品 测量客户端测试和虚拟时间场景回答不同的问题。
说明时间数据来自建模的虚拟时间场景,还是实测的客户端测试。这是两种不同的观测,不应出现在同一张未加标注的图表中。请让预热、到达模式、并发度、数据分布和观测窗口保持可见,以便正确解读比较结果。
- Pin 需求和数据假设。
- 分开的平均和尾巴 latency。
- 随时记录实验种子。
超越一个尺寸
更快的响应可以创造更多的退出、压力或失败的操作。
成功响应的延迟改善可能掩盖了更高的超时率。即使有效完成量没有增加,重试流量也会增加工作量。既要比较数值,也要比较分母:有多少请求被计划、被接纳、已完成、已失败或仍未解决?
比较结果的分布形态,而不是单一的核心数字
固定需求、输入总体、执行模式和观测窗口。
- 包括退休和退休费用。
- 检查完整性和准确性。
- 显示边界违规,而不是仅仅是平均值。
加密结论
使用独立的测量来检查模型,在可能的情况下,保持工作负担和不确定性相匹配,而不是意味着普遍性能。
说明支撑建模服务行为的证据,以及这种支撑较弱的条件。合成工作负载有助于探索假设,但并不能确立客户部署的普遍吞吐量或延迟。
合成的更快响应路径是否真的完成了更多有效工作?
对两个候选方案使用相同的到达模式。在查看响应时间分布、超时次数和重试工作量的同时,检查完成情况和正确性。
如果候选方案在计算成功响应延迟时排除了更多请求,就应否定简单的“更快”结论。请先审核完整的分母。
- 国家的测量支持模型。
- 保持标签的图像数据。
- 重复只有当输入或不确定性证明它时。
将响应时间与有效工作区分开来
选择能够描述业务问题的指标。响应延迟、队列等待、完成数量、正确性和资源消耗揭示的是不同的故障模式。单一的综合评分可能掩盖对工作流至关重要的退化。
在关注平均值的同时,也要关注尾部和异常。记录超时,而不是悄悄将其从比较中剔除。如果观测窗口结束时仍有待处理的工作,请在解读中纳入这些工作。
结合上下文解读指标
| 指标 | 搭配指标 | 原因 |
|---|---|---|
| 平均延迟 | 尾部延迟和超时次数 | 平均值可能掩盖少数缓慢或失败的请求。 |
| 吞吐量 | 正确完成量和计划需求 | 更多的尝试并不一定意味着更多的有效工作。 |
| 资源成本 | 队列压力和重试流量 | 局部优化可能将成本转移到别处。 |
- 将计划数量与完成数量区分开来。
- 展示重试和失败的操作。
- 结合性能结果审核正确性。
结合假设解读图表
本指南中的图形为概念性比较,并非基准测试。有价值的实测图表应注明单位、总体、计时方法、观测窗口,以及它表示的是建模行为还是观测行为。
重复实验时,请保留先前的结果并说明发生了什么变化。额外的运行可以用来探索波动性或输入变化;只挑选最好的结果则会改变证据本身。在提出更广泛的性能结论之前,请审核不确定性和工作负载的适配度。
让证据与其条件始终保存在一起。后来的成功不会抹去先前的失败,也不会扩大原有范围。
- 分别标注示意数据和实测数据。
- 保留场景设置和版本。
- 避免将本地测量结果转化为生产容量承诺。
准备比较审核
带上成对的基线和候选方案,并提供足够的上下文,使他人能够理解其中的权衡。在查看候选结果之前,约定阈值和不可接受的结果。
审核可以接受有边界的改进、否决退化,或要求使用更具代表性的工作负载。客户的持续负载和突发负载资格认定,与内部合成场景及有边界的本地检查相互独立。
审核准备
0 / 6 已准备- 冻结工作负载和目标。
- 记录所有结果类别。
- 说明仍待进行的部署测试。