Use uma base justa
Compare alternativas sob a mesma carga de trabalho, janela de observação e modo de execução. Testes de cliente medidos e cenários em tempo virtual respondem a diferentes perguntas.
Declare se os tempos vêm de um cenário modelado em tempo virtual ou de um teste de cliente medido. São observações diferentes e não devem compartilhar um gráfico sem rótulo. Mantenha visíveis o aquecimento, o padrão de chegadas, a concorrência, a distribuição dos dados e a janela de observação para que a comparação possa ser interpretada.
- Pin demanda e suposições de dados.
- A latência média e a latência do pescoço.
- Regista a semente experimental quando aplicável.
Olhe para além de uma métrica
Uma resposta mais rápida pode criar mais retries, pressão na fila ou operações malsucedidas. Compare os alvos de aceitação em vários resultados.
Uma melhoria de latência entre as respostas bem-sucedidas pode esconder uma taxa maior de timeouts. O tráfego de novas tentativas pode aumentar o trabalho mesmo quando as conclusões úteis não aumentam. Compare os denominadores, além dos valores: quantas solicitações foram agendadas, admitidas, concluídas, falharam ou ficaram sem resolução?
Compare o formato dos resultados, não um único número de destaque
Fixe a demanda, a população de entrada, o modo de execução e a janela de observação.
- Incluem o tempo e os custos de retorno.
- Verifique a conclusão e a correcção juntos.
- Mostrar as violações de limite em vez de apenas as médias.
Calibre a conclusão
Use medições independentes para verificar o modelo onde possível.Mantenha a correspondência da carga de trabalho e incerteza em vez de implicar desempenho universal.
Explique as evidências que sustentam o comportamento modelado do serviço e as condições em que esse respaldo é fraco. Uma carga de trabalho sintética é útil para explorar uma hipótese, mas não estabelece vazão ou latência universais para a implantação de um cliente.
Um caminho de resposta sintético mais rápido está de fato concluindo mais trabalho útil?
Use o mesmo padrão de chegadas para as duas candidatas. Inspecione conclusão e correção junto com a distribuição do tempo de resposta, a contagem de timeouts e o trabalho de novas tentativas.
Rejeite uma conclusão simplista de “mais rápido” se a candidata excluir mais solicitações do cálculo de latência das respostas bem-sucedidas. Revise primeiro o denominador completo.
- Estado que as medições apoiam o modelo.
- Mantenha os dados ilustrativos marcados.
- Repita apenas quando as entradas ou incertezas o garantem.
Separe o tempo de resposta do trabalho útil
Escolha métricas que descrevam a pergunta de negócio. Latência de resposta, espera na fila, contagem de conclusões, correção e consumo de recursos revelam modos de falha diferentes. Uma única pontuação agregada pode esconder uma regressão que importa para o fluxo de trabalho.
Observe caudas e exceções junto com as médias. Registre os timeouts em vez de removê-los discretamente da comparação. Se uma janela de observação terminar com trabalho pendente, leve esse trabalho pendente para a interpretação.
Leia as métricas no contexto
| Métrica | Combine com | Motivo |
|---|---|---|
| Latência média | Latência de cauda e contagem de timeouts | Uma média pode esconder uma minoria lenta ou com falha. |
| Vazão | Conclusões corretas e demanda agendada | Mais tentativas não significam necessariamente mais trabalho útil. |
| Custo de recursos | Pressão na fila e tráfego de novas tentativas | Uma otimização local pode transferir o custo para outro lugar. |
- Mantenha separadas as contagens de agendados e concluídos.
- Mostre novas tentativas e operações com falha.
- Revise a correção junto com o resultado de desempenho.
Leia os gráficos com suas premissas anexadas
O gráfico deste guia é uma comparação conceitual, não um benchmark. Um gráfico medido útil deve informar suas unidades, população, método de medição de tempo, janela de observação e se representa comportamento modelado ou observado.
Ao repetir um experimento, preserve o resultado anterior e explique o que mudou. Execuções adicionais podem explorar variabilidade ou entradas alteradas; selecionar apenas o melhor resultado altera as evidências. Revise a incerteza e a adequação da carga de trabalho antes de fazer uma afirmação de desempenho mais ampla.
Mantenha as evidências e suas condições juntas. Um sucesso posterior não apaga uma falha anterior nem amplia o escopo original.
- Rotule separadamente os dados ilustrativos e os medidos.
- Guarde as configurações e versões do cenário.
- Evite transformar medições locais em promessas de capacidade em produção.
Prepare uma revisão de comparação
Traga uma referência e uma candidata pareadas, com contexto suficiente para que outra pessoa entenda o trade-off. Acorde os limiares e os resultados inaceitáveis antes de inspecionar o resultado da candidata.
A revisão pode aceitar uma melhoria delimitada, rejeitar uma regressão ou solicitar uma carga de trabalho mais representativa. A qualificação de carga sustentada e de picos do cliente permanece separada dos cenários sintéticos internos e das verificações locais delimitadas.
Preparação da revisão
0 / 6 preparados- Congele a carga de trabalho e as metas.
- Registre todas as categorias de resultado.
- Declare quais testes de implantação ainda faltam.