公正なベースラインを使う
同じ作業負荷、観測ウィンドウ、実行モードの下で選択肢を比較します 測定されたクライアントテストと仮想時間のシナリオは、さまざまな質問に答えます。
タイミングが、モデル化した仮想時間のシナリオによるものか、クライアントでの測定テストによるものかを明記しましょう。これらは異なる観測であり、ラベルのないひとつのグラフにまとめるべきではありません。比較を解釈できるよう、ウォームアップ、到着パターン、同時実行数、データ分布、観測期間を見える状態にしておきます。
- ピン需要とデータ仮定
- 別々の平均と尾の遅延
- 実験種子を記録する場合。
1メトリックを超えて見る
より迅速な対応により、より多くの退場、圧力、または失敗した作業が発生する可能性があります。
成功したレスポンスのレイテンシーが改善していても、タイムアウト率の上昇が隠れていることがあります。リトライのトラフィックは、有用な完了件数が増えていなくても作業量を増やします。値だけでなく分母も比較しましょう。スケジュールされた、受け付けられた、完了した、失敗した、未解決のまま残ったリクエストはそれぞれ何件か?
ひとつの代表値ではなく、結果の分布の形を比較する
需要、入力の母集団、実行モード、観測期間を固定します。
- タイムアウトとリトリコストを含む。
- 完成と正確性を調べる。
- 単なる平均値ではなく限界違反を表示します。
結論をカリブレーションする
可能な限りモデルをチェックするために、独立した測定を使用します. 普遍的なパフォーマンスを意味する代わりに、作業負荷と不確実性を維持します。
モデル化したサービスの振る舞いを裏付けるエビデンスと、その裏付けが弱い条件を説明しましょう。合成データのワークロードは仮説の探索には有用ですが、お客様のデプロイにおける普遍的なスループットやレイテンシーを確立するものではありません。
合成データで高速化したレスポンス経路は、本当により多くの有用な作業を完了しているか?
両方の候補に同じ到着パターンを使用します。応答時間の分布、タイムアウト件数、リトライの作業量とあわせて、完了状況と正しさを検査します。
候補が、成功したレスポンスのレイテンシー計算から、より多くのリクエストを除外している場合は、単純な「高速化」という結論は退けます。まず分母全体をレビューしましょう。
- 測定がモデルをサポートする状態。
- イラストデータをラベル化する
- 繰り返すのは、入力や不確実性がそれを保証する場合にのみです。
応答時間と有用な作業を区別する
ビジネス上の問いを表す指標を選びましょう。レスポンスのレイテンシー、キューの待ち時間、完了件数、正しさ、リソース消費は、それぞれ異なる障害モードを明らかにします。ひとつの集計スコアでは、ワークフローにとって重要な後退が隠れてしまうことがあります。
平均値だけでなく、テールと例外も確認しましょう。タイムアウトは比較から黙って除外せず、記録します。観測期間の終了時に作業が保留中であれば、その保留中の作業も解釈に含めます。
指標はコンテキストの中で読む
| 指標 | あわせて見るもの | 理由 |
|---|---|---|
| 平均レイテンシー | テールレイテンシーとタイムアウト件数 | 平均値は、遅延や失敗した少数のケースを隠してしまうことがあります。 |
| スループット | 正しく完了した件数とスケジュールされた需要 | 試行回数が増えても、有用な作業が増えるとは限りません。 |
| リソースコスト | キューの負荷とリトライのトラフィック | 局所的な最適化は、コストを別の場所に移すことがあります。 |
- スケジュール件数と完了件数を区別します。
- リトライと失敗したオペレーションを表示します。
- 性能の結果とあわせて、正しさをレビューします。
グラフは前提とあわせて読む
このガイドの図は概念的な比較であり、ベンチマークではありません。有用な測定グラフには、単位、母集団、計測方法、観測期間、そしてモデル化された振る舞いか観測された振る舞いかを明記する必要があります。
実験を繰り返す際は、以前の結果を保持し、何が変わったのかを説明しましょう。追加の実行によってばらつきや入力の変化を探ることはできますが、最良の結果だけを選ぶとエビデンスが変わってしまいます。より広範な性能に関する主張をする前に、不確実性とワークロードの適合性をレビューします。
エビデンスとその条件をひとまとめに保ちます。後の成功が以前の失敗を消したり、元のスコープを広げたりすることはありません。
- イメージのデータと測定データは、区別してラベルを付けます。
- シナリオの設定とバージョンを保持します。
- ローカルでの測定結果を、本番環境の処理能力の約束に置き換えないようにします。
比較レビューに備える
ベースラインと候補を対にし、他の人がトレードオフを理解できるだけのコンテキストを添えて持ち込みましょう。候補の結果を確認する前に、しきい値と許容できない結果について合意します。
レビューでは、限定的な改善を受け入れることも、後退を却下することも、より代表的なワークロードを求めることもあります。お客様環境での持続的な負荷とバーストに関する認定は、社内の合成データによるシナリオや範囲を限定したローカルチェックとは別に扱われます。
レビューの準備
0 / 6 準備済み- ワークロードと目標を固定します。
- すべての結果カテゴリーを記録します。
- まだ残っているデプロイテストを明記します。