Brug en fair baseline
Sammenlign alternativer under den samme arbejdslad, observationsvindue og udførelsesmodus. målt kundeprøver og virtuelle tidsscenarier besvarer forskellige spørgsmål.
Angiv, om timingen kommer fra et modelleret scenarie i virtuel tid eller fra en målt klienttest. Det er forskellige observationer, som ikke bør dele et umærket diagram. Hold opvarmning, ankomstmønster, samtidighed, datafordeling og observationsvindue synlige, så sammenligningen kan fortolkes.
- Pin efterspørgsel og dataforudsætninger.
- Inden for gennemsnit og latens.
- Registrer eksperimentet, hvor det er relevant.
Se ud over en mønster
En hurtigere reaktion kan skabe flere tilbagetrækninger, skubtryk eller mislykkede operationer.
En forbedring af latensen blandt vellykkede svar kan skjule en højere timeout-rate. Trafik fra nye forsøg kan øge arbejdet, selv når de nyttige gennemførelser ikke stiger. Sammenlign nævnere såvel som værdier: Hvor mange anmodninger blev planlagt, optaget, gennemført, fejlede eller forblev uafklarede?
Sammenlign udfaldenes form, ikke ét enkelt overskriftstal
Fastlås efterspørgsel, inputpopulation, eksekveringstilstand og observationsvindue.
- Indbefatter timeout og retreavgifter.
- Kontroller fuldstændighed og korrekthed sammen.
- Vis grænseoverskridelser i stedet for kun gennemsnit.
Kalibrere konklusionen
Brug uafhængige målinger til at kontrollere modellen, hvor det er muligt. opretholde arbejdsløbet match og usikkerhed i stedet for at indebære universel ydeevne.
Forklar den evidens, der understøtter den modellerede tjenesteadfærd, og de forhold, hvor den understøttelse er svag. En syntetisk arbejdsbelastning er nyttig til at udforske en hypotese, men den etablerer ikke universel throughput eller latens for en kundeudrulning.
Gennemfører en syntetisk hurtigere svarvej faktisk mere nyttigt arbejde?
Brug det samme ankomstmønster for begge kandidater. Undersøg gennemførelse og korrekthed sammen med fordelingen af svartider, antal timeouts og arbejde fra nye forsøg.
Afvis en simpel konklusion om „hurtigere“, hvis kandidaten udelader flere anmodninger fra beregningen af latens for vellykkede svar. Gennemgå hele nævneren først.
- Staten, hvor målinger understøtter modellen.
- Hold illustrative data mærket.
- Gentag kun, når indtægter eller usikkerhed garanterer det.
Adskil svartid fra nyttigt arbejde
Vælg metrikker, der beskriver forretningsspørgsmålet. Svarlatens, ventetid i kø, antal gennemførelser, korrekthed og ressourceforbrug afslører forskellige fejltyper. En enkelt samlet score kan skjule en regression, der har betydning for workflowet.
Se på haler og undtagelser sammen med gennemsnit. Registrér timeouts i stedet for stille at fjerne dem fra sammenligningen. Hvis et observationsvindue slutter med ventende arbejde, så tag det ventende arbejde med i fortolkningen.
Læs metrikker i kontekst
| Metrik | Kombinér den med | Begrundelse |
|---|---|---|
| Gennemsnitlig latens | Halelatens og antal timeouts | Et gennemsnit kan skjule et langsomt eller fejlet mindretal. |
| Throughput | Korrekte gennemførelser og planlagt efterspørgsel | Flere forsøg betyder ikke nødvendigvis mere nyttigt arbejde. |
| Ressourceomkostning | Køpres og trafik fra nye forsøg | En lokal optimering kan flytte omkostningen et andet sted hen. |
- Hold planlagte og gennemførte antal adskilt.
- Vis nye forsøg og fejlede operationer.
- Gennemgå korrekthed sammen med ydeevneresultatet.
Læs diagrammer med antagelserne vedhæftet
Grafikken i denne guide er en konceptuel sammenligning, ikke en benchmark. Et nyttigt målt diagram skal angive enheder, population, tidsmålingsmetode, observationsvindue, og om det viser modelleret eller observeret adfærd.
Når et eksperiment gentages, så bevar det tidligere resultat, og forklar, hvad der ændrede sig. Ekstra kørsler kan udforske variabilitet eller ændrede input; at udvælge kun det bedste udfald ændrer evidensen. Gennemgå usikkerhed og arbejdsbelastningens egnethed, før der fremsættes en bredere påstand om ydeevne.
Hold evidensen og dens betingelser samlet. En senere succes sletter ikke en tidligere fejl eller udvider det oprindelige omfang.
- Mærk illustrative og målte data hver for sig.
- Bevar scenarieindstillinger og versioner.
- Undgå at omsætte lokale målinger til løfter om produktionskapacitet.
Forbered en sammenligningsgennemgang
Tag et parret udgangspunkt og en kandidat med tilstrækkelig kontekst til, at en anden person kan forstå afvejningen. Aftal tærskler og uacceptable udfald, før kandidatresultatet undersøges.
Gennemgangen kan acceptere en afgrænset forbedring, afvise en regression eller anmode om en mere repræsentativ arbejdsbelastning. Kvalificering af kundens vedvarende belastning og spidsbelastning forbliver adskilt fra interne syntetiske scenarier og afgrænsede lokale kontroller.
Forberedelse af gennemgang
0 / 6 forberedt- Frys arbejdsbelastning og mål.
- Registrér alle udfaldskategorier.
- Angiv, hvilke udrulningstests der stadig mangler.