Sıcaklık için kaydırın
Çalışma alanıSimülasyona başlayalım→
← Kaynak Kütüphanesi
SENARYO KARŞILAŞTIRMA REHBERİ / 6 dakika

Ortalamanın ötesine.
Ödünleşimin içine.

Çalışma yükü, geçici, geri çekilme maliyeti ve belirsizlikleri bir araya getirin.

6 pratik bölümÇalışan Örnekİnceleme kontrol listesi
CORTEXSIM / GÖRSEL SAHA NOTLARIBİR BİLEŞEN SEÇİN
YANIT SÜRESİ / KAVRAMSALARTAN YANIT YÜZDELİĞİ →— Başlangıç durumu biçimi— Aday biçimiYALNIZCA ÖRNEKTİR · ÖLÇÜLMÜŞ BİR KIYASLAMA DEĞİLDİR01İş yükü02Başlangıç durumu03aday04Kuyruk + tamamlanma05Sonuç
İş yükü

Talebi, girdi popülasyonunu, yürütme modunu ve gözlem penceresini sabitleyin.

rehberlik / CORTEXSIM

Tek bir öne çıkan sayıyı değil, sonuçların biçimini karşılaştırın. Değerlendirmedeki rolünü keşfetmek için bir bileşen seçin.

BÖLÜM 01

Dürüst bir baseline kullanın

Aynı çalışma yükü, gözlem penceresi ve yürütme modunda alternatifleri karşılaştırın. ölçülen müşteri testleri ve sanal zaman senaryoları farklı soruları yanıtlar.

Zamanlamanın modellenmiş bir sanal zaman senaryosundan mı yoksa ölçülmüş bir istemci testinden mi geldiğini belirtin. Bunlar farklı gözlemlerdir ve etiketsiz bir grafiği paylaşmamalıdır. Karşılaştırmanın yorumlanabilmesi için ısınma süresini, geliş örüntüsünü, eşzamanlılığı, veri dağılımını ve gözlem penceresini görünür tutun.

TASARIMDAN ÇIKARIMLAR
  • Pin talep ve veri varsayımları.
  • Ayrı ortalama ve boynuz latansı.
  • Uygun olduğunda deneme tohumunu kaydedin.
BÖLÜM 02

Bir metrin ötesine bakın

Daha hızlı bir tepki daha fazla geri çekilme, çarpışma basıncı veya başarısız operasyonlar yaratabilir.

Başarılı yanıtlardaki bir gecikme iyileşmesi daha yüksek bir zaman aşımı oranını gizleyebilir. Yeniden deneme trafiği, faydalı tamamlanmalar artmasa bile iş yükünü artırabilir. Değerlerin yanı sıra paydaları da karşılaştırın: Kaç istek planlandı, kabul edildi, tamamlandı, başarısız oldu veya çözümsüz kaldı?

YÖNTEMİ KEŞFEDİN

Tek bir öne çıkan sayıyı değil, sonuçların biçimini karşılaştırın

İş yükü

Talebi, girdi popülasyonunu, yürütme modunu ve gözlem penceresini sabitleyin.

TASARIMDAN ÇIKARIMLAR
  • Timeout ve retry maliyetleri dahil.
  • Tamamlanma ve doğruluğu birlikte kontrol edin.
  • Sadece ortalamalar yerine sınır ihlalleri gösterin.
BÖLÜM 03

Sonuçları kalibrasyonu

Mümkün olduğunca modelin kontrolü için bağımsız ölçümler kullanın. iş yükü eşleşme ve belirsizlik yerine evrensel performans içerir.

Modellenen hizmet davranışını destekleyen kanıtları ve bu desteğin zayıf olduğu koşulları açıklayın. Sentetik bir iş yükü bir hipotezi keşfetmek için faydalıdır, ancak bir müşteri dağıtımı için evrensel bir işlem hacmi veya gecikme tesis etmez.

ÖRNEK UYGULAMA

Sentetik olarak daha hızlı bir yanıt yolu gerçekten daha fazla faydalı iş tamamlıyor mu?

PROVA EDİN

Her iki aday için de aynı geliş örüntüsünü kullanın. Tamamlanma ve doğruluğu; yanıt süresi dağılımı, zaman aşımı sayısı ve yeniden deneme işiyle birlikte inceleyin.

İnceleme

Aday, başarılı yanıt gecikmesi hesaplamasından daha fazla isteği hariç tutuyorsa basit bir “daha hızlı” sonucunu reddedin. Önce paydanın tamamını inceleyin.

Sentetik değerlendirme örneği. Herhangi bir müşteri sonucu veya kıyaslama iddia edilmemektedir.
TASARIMDAN ÇIKARIMLAR
  • Modeli destekleyen ölçümler.
  • Görüntülü verileri etiketli tutun.
  • Tekrarlayın, ancak belirsizlik veya belirsizlik bunu garanti ettiğinde.
BÖLÜM 04

Yanıt süresini faydalı işten ayırın

İş sorusunu tanımlayan metrikler seçin. Yanıt gecikmesi, kuyrukta bekleme, tamamlanma sayısı, doğruluk ve kaynak tüketimi farklı arıza türlerini ortaya çıkarır. Tek bir toplu puan, iş akışı için önemli bir gerilemeyi gizleyebilir.

Ortalamaların yanı sıra uç değerlere ve istisnalara da bakın. Zaman aşımlarını karşılaştırmadan sessizce çıkarmak yerine kaydedin. Bir gözlem penceresi bekleyen işlerle sona eriyorsa bu bekleyen işleri yoruma dahil edin.

Metrikleri bağlamıyla okuyun

MetrikŞununla eşleştirinNeden
Ortalama gecikmeUç gecikme ve zaman aşımı sayılarıBir ortalama yavaş veya başarısız bir azınlığı gizleyebilir.
İşlem hacmiDoğru tamamlanmalar ve planlanan talepDaha fazla deneme, her zaman daha fazla faydalı iş anlamına gelmez.
Kaynak maliyetiKuyruk baskısı ve yeniden deneme trafiğiYerel bir optimizasyon maliyeti başka bir yere kaydırabilir.
TASARIMDAN ÇIKARIMLAR
  • Planlanan ve tamamlanan sayıları ayrı tutun.
  • Yeniden denemeleri ve başarısız işlemleri gösterin.
  • Doğruluğu performans sonucuyla birlikte inceleyin.
BÖLÜM 05

Grafikleri varsayımlarıyla birlikte okuyun

Bu rehberdeki grafik kavramsal bir karşılaştırmadır, bir kıyaslama testi değildir. Faydalı bir ölçüm grafiği; birimlerini, popülasyonunu, zamanlama yöntemini, gözlem penceresini ve modellenmiş mi yoksa gözlemlenmiş davranışı mı temsil ettiğini belirtmelidir.

Bir deneyi tekrarlarken önceki sonucu koruyun ve neyin değiştiğini açıklayın. Ek çalıştırmalar değişkenliği veya değişen girdileri keşfedebilir; yalnızca en iyi sonucu seçmek kanıtı değiştirir. Daha geniş bir performans iddiasında bulunmadan önce belirsizliği ve iş yükü uygunluğunu inceleyin.

SONUÇLA BİRLİKTE TAŞINANLAR
01Girdi referansları
02Model + senaryo
03Eksiksiz sonuçlar
04İnceleme + sınırlar

Kanıtı ve koşullarını bir arada tutun. Sonraki bir başarı, önceki bir başarısızlığı silmez veya orijinal kapsamı genişletmez.

TASARIMDAN ÇIKARIMLAR
  • Örnek ve ölçülmüş verileri ayrı ayrı etiketleyin.
  • Senaryo ayarlarını ve sürümlerini saklayın.
  • Yerel ölçümleri üretim kapasitesi vaatlerine dönüştürmekten kaçının.
BÖLÜM 06

Bir karşılaştırma incelemesi hazırlayın

Başka birinin ödünleşimi anlayabileceği kadar bağlamla birlikte eşleştirilmiş bir başlangıç durumu ve aday getirin. Aday sonucunu incelemeden önce eşikler ve kabul edilemez sonuçlar üzerinde mutabık kalın.

İnceleme sınırlı bir iyileşmeyi kabul edebilir, bir gerilemeyi reddedebilir veya daha temsili bir iş yükü talep edebilir. Müşteri sürekli yük ve ani yük yeterlilik onayı, dahili sentetik senaryolardan ve sınırlı yerel kontrollerden ayrı kalır.

İnceleme hazırlığı

0 / 6 hazırlandı
Seçimler bu sayfa oturumunda kalır. Bir değerlendirmeyi onaylamaz, izin vermez veya üretime hazırlık durumunu tesis etmez.
TASARIMDAN ÇIKARIMLAR
  • İş yükünü ve hedefleri sabitleyin.
  • Tüm sonuç kategorilerini kaydedin.
  • Hangi dağıtım testlerinin hâlâ kaldığını belirtin.
REHBERİ BİR PLANA DÖNÜŞTÜRÜN

soruyu getirin.
Kanıtı oluşturun.

Anlamlı bir kararı, bağlı olduğu koşulları ve inceleyenlerinizin ihtiyaç duyduğu kanıtları tanımlayın.

Değerlendirme özetinizi oluşturun ↗