Utilisez une base de référence équitable
Comparez les alternatives dans le même contexte de charge de travail, fenêtre d'observation et mode d'exécution. Les tests clients mesurés et les scénarios à temps réel répondent à différentes questions.
Précisez si les temps proviennent d'un scénario modélisé en temps virtuel ou d'un test client mesuré. Ce sont des observations différentes qui ne doivent pas partager un graphique non étiqueté. Gardez visibles la période de chauffe, le profil d'arrivées, la concurrence, la distribution des données et la fenêtre d'observation afin que la comparaison puisse être interprétée.
- Fixez les hypothèses sur la demande et les données.
- Séparer la latence moyenne et en queue.
- Enregistrer la graine de l'expérience lorsqu'elle est applicable.
Regardez au-delà d’une seule métrique
Une réponse plus rapide peut créer plus de tentatives, une pression sur les files d’attente ou des opérations infructueuses. Comparez les cibles d’acceptation à travers plusieurs résultats.
Une amélioration de la latence des réponses réussies peut masquer un taux d'expiration plus élevé. Le trafic de nouvelles tentatives peut accroître le travail sans augmenter les achèvements utiles. Comparez les dénominateurs autant que les valeurs : combien de requêtes ont été planifiées, admises, terminées, en échec ou laissées non résolues ?
Comparer la forme des résultats, pas un seul chiffre phare
Figez la demande, la population d'entrée, le mode d'exécution et la fenêtre d'observation.
- Inclure les coûts de timeout et de tentatives.
- Inspectez la complétion et la correction ensemble.
- Afficher les dépassements de seuil plutôt que seulement les moyennes.
Calibrez la conclusion
Utilisez des mesures indépendantes pour vérifier le modèle dans la mesure où cela est possible. Conservez l'adéquation de la charge de travail et l'incertitude plutôt que d'imposer des performances universelles.
Expliquez les preuves qui étayent le comportement modélisé du service et les conditions dans lesquelles cet appui est faible. Une charge synthétique est utile pour explorer une hypothèse, mais elle n'établit ni un débit ni une latence universels pour un déploiement client.
Un chemin de réponse synthétique plus rapide accomplit-il réellement plus de travail utile ?
Utilisez le même profil d'arrivées pour les deux candidats. Inspectez l'achèvement et l'exactitude avec la distribution des temps de réponse, le nombre d'expirations et le travail de nouvelles tentatives.
Rejetez une simple conclusion « plus rapide » si le candidat exclut davantage de requêtes de son calcul de latence des réponses réussies. Examinez d'abord le dénominateur complet.
- Indiquez quelles mesures soutiennent le modèle.
- Gardez les données illustratives étiquetées.
- Répétez uniquement lorsque les entrées ou l'incertitude s'y prêtent.
Distinguer temps de réponse et travail utile
Choisissez des indicateurs qui décrivent la question métier. La latence de réponse, l'attente en file, le nombre d'achèvements, l'exactitude et la consommation de ressources révèlent des modes de défaillance différents. Un score agrégé unique peut masquer une régression importante pour le workflow.
Examinez les queues de distribution et les exceptions aux côtés des moyennes. Consignez les expirations plutôt que de les écarter discrètement de la comparaison. Si une fenêtre d'observation se termine avec du travail en attente, intégrez ce travail à l'interprétation.
Lire les indicateurs en contexte
| Indicateur | À associer à | Raison |
|---|---|---|
| Latence moyenne | Latence de queue et nombre d'expirations | Une moyenne peut masquer une minorité lente ou en échec. |
| Débit | Achèvements corrects et demande planifiée | Plus de tentatives ne signifie pas forcément plus de travail utile. |
| Coût en ressources | Pression sur la file et trafic de nouvelles tentatives | Une optimisation locale peut déplacer le coût ailleurs. |
- Distinguez les volumes planifiés des volumes terminés.
- Montrez les nouvelles tentatives et les opérations en échec.
- Examinez l'exactitude avec le résultat de performance.
Lire les graphiques avec leurs hypothèses
Le graphique de ce guide est une comparaison conceptuelle, pas un benchmark. Un graphique mesuré utile doit indiquer ses unités, sa population, sa méthode de chronométrage, sa fenêtre d'observation et s'il représente un comportement modélisé ou observé.
Lorsque vous répétez une expérience, préservez le résultat antérieur et expliquez ce qui a changé. Des exécutions supplémentaires peuvent explorer la variabilité ou des entrées modifiées ; ne retenir que le meilleur résultat altère les preuves. Examinez l'incertitude et l'adéquation de la charge avant d'avancer une conclusion de performance plus large.
Gardez les preuves et leurs conditions ensemble. Un succès ultérieur n'efface pas un échec antérieur et n'élargit pas le périmètre d'origine.
- Étiquetez séparément les données illustratives et mesurées.
- Conservez les paramètres et versions des scénarios.
- Évitez de transformer des mesures locales en promesses de capacité en production.
Préparer une revue de comparaison
Apportez une référence et un candidat appariés, avec assez de contexte pour qu'une autre personne comprenne le compromis. Convenez des seuils et des résultats inacceptables avant d'inspecter le résultat du candidat.
La revue peut accepter une amélioration délimitée, rejeter une régression ou demander une charge plus représentative. La qualification client en charge soutenue et en pic reste distincte des scénarios synthétiques internes et des vérifications locales délimitées.
Préparation de la revue
0 / 6 préparé- Figez la charge et les objectifs.
- Consignez toutes les catégories de résultats.
- Précisez quels tests de déploiement restent à mener.