Nasıl test ediyoruz, tam olarak

Düzenek

Aynı makine, aynı hat, aynı içerik

Bir karşılaştırmadaki her istemci tek bir makinede, aynı sağlayıcılara karşı, aynı içerik üzerinde, aynı tur içinde koşar. Önceki bir günden hiçbir şey devralınmaz.

Makineler. Bir Apple M1 Ultra, Avrupa'da 10 GbE bir hatta; ve bir M3 Ultra, Amerika Birleşik Devletleri'nde daha yavaş bir hatta. Karşılaştırmalar ikisini asla karıştırmaz: bir tablo bir makinedir.
Hat işlemciden daha çok önemlidir. 10 GbE bir hatta çoğu istemci kolay bir işte bağlantıyı doyurabilir; ilginç senaryoların, sonucu ham bant genişliği dışında bir şeyin belirlediği senaryolar olmasının nedeni budur.
Sağlayıcılar. Beş ticari sağlayıcı, her istemci için aynı küme, TLS üzerinden. Bir sağlayıcıyı bu turların dışında tutuyoruz, çünkü aynı anda kaç konumun bağlanabileceğini kısıtlıyor; bu da paylaşılan bir test makinesini ikinci koşana karşı haksız kılardı.
Bağlantılar. Her istemci belirli bir turda sağlayıcı başına aynı sayıyı alır, ve tur hangisi olduğunu söyler. Daha fazlası kendiliğinden daha iyi değildir; kendi istemcimizin, bağlantı sayısındaki dokuz kat değişim boyunca aynı bitiş süresini koruduğunu ölçtük.

Her şeyi belirleyen kural

Bir istemci kendi durum iletisine göre değil, dosyaya göre değerlendirilir

Bu sayfadaki tek başına en önemli şey budur. Her tur, istemcinin ürettiği en büyük dosyayı çıktısının herhangi bir yerinde bulup bilinen doğru bir kopyaya karşı özetini alarak biter. Boyut ve MD5, her turda, örneklemle değil.

Bunu yapıyoruz çünkü bir istemcinin kendi başarı bildirimi güvenilir kanıt değildir. Çıktı dizini boş olan bir işte done bildiren bir istemci ölçtük. Hiç açmadığı ham arşiv birimlerini teslim etmiş olarak Completed bildiren bir başkasını ölçtük. Yaygın kullanılan bir onarım aracı, başarılı bir onarımın ardından hata koduyla çıkıyor. Bu istemcilerin hiçbiri yalan söylemiyordu; durum dizgeleri farklı yazarlar için farklı şeyler ifade eder, ve onlara güvenen bir kıyaslama davranışı değil söz dağarcığını ölçer.

Yani bitiş çizgisi herkes için aynıdır: içerik var, doğru boyutta, doğru özetle. Bir istemci bundan önce durursa süre almaz, ve sütunun tamamı sessizce atlanmak yerine işaretlenir. Bitiren yavaş bir istemci, bitiremeyen hızlı birinden daha iyi iş çıkarıyordur, ve tablo bunu söylemelidir.

Bunun doğal sonucu, bitirememenin bir sonuç olduğu, bizim tarafımızdaki bir hata olmadığıdır. Böyle bir şey yayımladığımızda son durumu yalın sözcüklerle betimleriz, genel olmaktan çok o işe özgü olduğunu düşündüren her şey dâhil, ve istemcinin bitirmek yerine ne yaptığını söyleriz.

Sıra ve yineleme

Turlar neden dönüşümlü, ve tek koşular neden yayımlanmıyor

Sağlayıcı hızı dakikadan dakikaya değişir, bazen iki ya da üç kat. Farklı zamanlarda alınan iki ölçüm kısmen havayı ölçmektedir.

Bu yüzden istemciler art arda ve iç içe geçmiş biçimde koşar, ve yinelemeler arasında sıra tersine döner; böylece hiçbir istemci ısınmış ya da soğuk bir hatta hep ilk giren olmaz. Bir sonuç, yinelemeler boyunca görülen örüntüdür; en iyi koşu değil. Yayılım genişken, onu gizleyecek bir ortalama yerine aralığı yayımlarız, ve bir istemcinin sayılarının neden dağıldığını bilmiyorsak, bir neden uydurmak yerine bunu söyleriz.

Farklı turlar arası karşılaştırmalardan mümkün olduğunca kaçınılır. Bir sav iki sayı gerektiriyorsa, bir günün rakamını bir başkasınınkinden çıkarmaktansa ikisini tek turda yeniden yarıştırmayı yeğleriz; çünkü düzeneğin durumu, sağlayıcı koşulları ve istemci sürümleri hep kayar. Kendi iki yapımızı karşılaştırırken, ikisi de aynı turda, dönüşümlü olarak, aynı içerik üzerinde koşar.

Gösterişsiz denetimler

Her turdan önce ve sırasında ne çalışır

Bunların çoğu, sessiz bir arızanın bir zamanlar sağlıklı görünen, yayımlanabilir ve yanlış bir sayı üretmiş olması yüzünden var. Her biri artık kendiliğinden çalışır ve uyarmak yerine turu durdurur.

Tur başlamadan önce her sağlayıcı yanıt verir. İki sağlayıcı çökmüşken koşulan bir tur bir kesintiyi ölçer, ve tıpkı yavaş bir istemci gibi görünür.
İkili dosya her turdan önce özetle tanımlanır, dosya adıyla ya da sürüm dizgesiyle değil. Bizim iki yapımız 88 işlem farkı olduğu hâlde aynı sürüm numarasını bildiriyordu; onları yalnızca özet ayırt eder, ve tablolar onu anar.
Her istemci yerel kod olarak çalışır. Apple makinelerinde yanlış derlenmiş bir yardımcı sessizce çeviri katmanı altında çalışabilir; bu da istemcinin koduna değil bizim paketleme seçimimize ait olan işlemci zamanına mal olur. Yalnızca dosyayı değil, çalışan süreci denetleriz.
Açık dosya sınırları herkes için aynı biçimde yükseltilir. macOS programları 256 açık dosya sınırıyla başlatır; tam bir bağlantı kümesi bunu aşabilir. Bu sınıra çarpan bir istemci genellikle çökme raporu bırakmadan yok olur, ki bu tıpkı yazılımın başarısızlığı gibi okunur. Bir rakibin görünürdeki bitirememesinin bu olduğu ortaya çıktı; sınır yükseltilince aynı iş 44 saniyede bitti.
Disk trafiği tur başına kaydedilir, ki bu aynı zamanda makineyi başka hiçbir şeyin kullanmadığının denetimi işlevini görür. O sayaçlar tek bir programı değil diskin tamamını kapsar, dolayısıyla ikinci bir iş çalışıyor olsaydı onun çalışması bizim ölçümlerimizin içinde görünürdü. Bir tur boyunca düz okumalar, bir sonucun adını taşıdığı istemciye ait olduğunu böyle biliriz.
Her istemci kendi çıktı ağacına yazar, ve ağaç her turdan önce silinir; böylece hiçbir koşu önceki bir koşunun dosyasıyla karşılanamaz.

Bir istemcinin iyi başarım için belirli ayarlara ihtiyacı varsa onları alır, ve tur hangileri olduğunu söyler. Örnekler: bir istemci kapalı geliyorsa istek ardışıklamanın açılması, aynı iş defalarca indirildiğinde yinelenen denetiminin kapatılması, ve açma yardımcılarının sistem kopyası yerine istemcinin kendi paketinden alınması. Amaç, her istemcinin öntanımlı değerleriyle değil en iyi hâliyle ölçülmesidir; çünkü öntanımlı değerler yetenekten ayrı bir tartışmadır.

Yapmayacaklarımız

Bu sayıların sınırları

Ölçmediğimiz bir rakamı yayımlamayız. Bir sayı gözlenmiş değil türetilmişse, türetilmiş olarak etiketlenir, ve bir boşluğu ölçüm gibi okunan bir aritmetikle doldurmaktansa boş bırakmayı yeğleriz.
Kaybettiğimiz bir sonucu sessizce güncellemeyiz. Kaybettiğimiz bir tur, bir yeniden koşu onun yerini alana dek yayımda kalır, ve bir yenilgi zafere dönüştüğünde değişiklik sessiz bir düzenleme yerine tablonun yanında bir açıklama alır.
Sağlayıcı turları henüz bağımsız olarak yeniden üretilebilir değil, çünkü içerik dağıtmamız için bize ait değil. Üretilmiş içerik kullanan bileşen testleri öyle. Sağlayıcı turlarının da denetlenebilir olması için yayımlayabileceğimiz test dosyaları hazırlıyoruz.
Bunlar bizim, başkalarının yazılımına dair kıyaslamalarımızdır. Her sürüm adlandırılır ve tarihlenir, ve bir istemci yeni bir sürüm çıkardığında bayat bir karşılaştırmayı ayakta bırakmak yerine etkilenen turları yeniden koşarız. Bir sonucun yanlış olduğunu düşünüyorsanız, ayarlar ve sürümler yayımlanmıştır; böylece özgül olarak tartışılabilir.