Dürüst bir baseline kullanın
Aynı çalışma yükü, gözlem penceresi ve yürütme modunda alternatifleri karşılaştırın. ölçülen müşteri testleri ve sanal zaman senaryoları farklı soruları yanıtlar.
Zamanlamanın modellenmiş bir sanal zaman senaryosundan mı yoksa ölçülmüş bir istemci testinden mi geldiğini belirtin. Bunlar farklı gözlemlerdir ve etiketsiz bir grafiği paylaşmamalıdır. Karşılaştırmanın yorumlanabilmesi için ısınma süresini, geliş örüntüsünü, eşzamanlılığı, veri dağılımını ve gözlem penceresini görünür tutun.
- Pin talep ve veri varsayımları.
- Ayrı ortalama ve boynuz latansı.
- Uygun olduğunda deneme tohumunu kaydedin.
Bir metrin ötesine bakın
Daha hızlı bir tepki daha fazla geri çekilme, çarpışma basıncı veya başarısız operasyonlar yaratabilir.
Başarılı yanıtlardaki bir gecikme iyileşmesi daha yüksek bir zaman aşımı oranını gizleyebilir. Yeniden deneme trafiği, faydalı tamamlanmalar artmasa bile iş yükünü artırabilir. Değerlerin yanı sıra paydaları da karşılaştırın: Kaç istek planlandı, kabul edildi, tamamlandı, başarısız oldu veya çözümsüz kaldı?
Tek bir öne çıkan sayıyı değil, sonuçların biçimini karşılaştırın
Talebi, girdi popülasyonunu, yürütme modunu ve gözlem penceresini sabitleyin.
- Timeout ve retry maliyetleri dahil.
- Tamamlanma ve doğruluğu birlikte kontrol edin.
- Sadece ortalamalar yerine sınır ihlalleri gösterin.
Sonuçları kalibrasyonu
Mümkün olduğunca modelin kontrolü için bağımsız ölçümler kullanın. iş yükü eşleşme ve belirsizlik yerine evrensel performans içerir.
Modellenen hizmet davranışını destekleyen kanıtları ve bu desteğin zayıf olduğu koşulları açıklayın. Sentetik bir iş yükü bir hipotezi keşfetmek için faydalıdır, ancak bir müşteri dağıtımı için evrensel bir işlem hacmi veya gecikme tesis etmez.
Sentetik olarak daha hızlı bir yanıt yolu gerçekten daha fazla faydalı iş tamamlıyor mu?
Her iki aday için de aynı geliş örüntüsünü kullanın. Tamamlanma ve doğruluğu; yanıt süresi dağılımı, zaman aşımı sayısı ve yeniden deneme işiyle birlikte inceleyin.
Aday, başarılı yanıt gecikmesi hesaplamasından daha fazla isteği hariç tutuyorsa basit bir “daha hızlı” sonucunu reddedin. Önce paydanın tamamını inceleyin.
- Modeli destekleyen ölçümler.
- Görüntülü verileri etiketli tutun.
- Tekrarlayın, ancak belirsizlik veya belirsizlik bunu garanti ettiğinde.
Yanıt süresini faydalı işten ayırın
İş sorusunu tanımlayan metrikler seçin. Yanıt gecikmesi, kuyrukta bekleme, tamamlanma sayısı, doğruluk ve kaynak tüketimi farklı arıza türlerini ortaya çıkarır. Tek bir toplu puan, iş akışı için önemli bir gerilemeyi gizleyebilir.
Ortalamaların yanı sıra uç değerlere ve istisnalara da bakın. Zaman aşımlarını karşılaştırmadan sessizce çıkarmak yerine kaydedin. Bir gözlem penceresi bekleyen işlerle sona eriyorsa bu bekleyen işleri yoruma dahil edin.
Metrikleri bağlamıyla okuyun
| Metrik | Şununla eşleştirin | Neden |
|---|---|---|
| Ortalama gecikme | Uç gecikme ve zaman aşımı sayıları | Bir ortalama yavaş veya başarısız bir azınlığı gizleyebilir. |
| İşlem hacmi | Doğru tamamlanmalar ve planlanan talep | Daha fazla deneme, her zaman daha fazla faydalı iş anlamına gelmez. |
| Kaynak maliyeti | Kuyruk baskısı ve yeniden deneme trafiği | Yerel bir optimizasyon maliyeti başka bir yere kaydırabilir. |
- Planlanan ve tamamlanan sayıları ayrı tutun.
- Yeniden denemeleri ve başarısız işlemleri gösterin.
- Doğruluğu performans sonucuyla birlikte inceleyin.
Grafikleri varsayımlarıyla birlikte okuyun
Bu rehberdeki grafik kavramsal bir karşılaştırmadır, bir kıyaslama testi değildir. Faydalı bir ölçüm grafiği; birimlerini, popülasyonunu, zamanlama yöntemini, gözlem penceresini ve modellenmiş mi yoksa gözlemlenmiş davranışı mı temsil ettiğini belirtmelidir.
Bir deneyi tekrarlarken önceki sonucu koruyun ve neyin değiştiğini açıklayın. Ek çalıştırmalar değişkenliği veya değişen girdileri keşfedebilir; yalnızca en iyi sonucu seçmek kanıtı değiştirir. Daha geniş bir performans iddiasında bulunmadan önce belirsizliği ve iş yükü uygunluğunu inceleyin.
Kanıtı ve koşullarını bir arada tutun. Sonraki bir başarı, önceki bir başarısızlığı silmez veya orijinal kapsamı genişletmez.
- Örnek ve ölçülmüş verileri ayrı ayrı etiketleyin.
- Senaryo ayarlarını ve sürümlerini saklayın.
- Yerel ölçümleri üretim kapasitesi vaatlerine dönüştürmekten kaçının.
Bir karşılaştırma incelemesi hazırlayın
Başka birinin ödünleşimi anlayabileceği kadar bağlamla birlikte eşleştirilmiş bir başlangıç durumu ve aday getirin. Aday sonucunu incelemeden önce eşikler ve kabul edilemez sonuçlar üzerinde mutabık kalın.
İnceleme sınırlı bir iyileşmeyi kabul edebilir, bir gerilemeyi reddedebilir veya daha temsili bir iş yükü talep edebilir. Müşteri sürekli yük ve ani yük yeterlilik onayı, dahili sentetik senaryolardan ve sınırlı yerel kontrollerden ayrı kalır.
İnceleme hazırlığı
0 / 6 hazırlandı- İş yükünü ve hedefleri sabitleyin.
- Tüm sonuç kategorilerini kaydedin.
- Hangi dağıtım testlerinin hâlâ kaldığını belirtin.