Cum testăm, în întregime

Standul

Aceeași mașină, aceeași linie, același conținut

Fiecare client dintr-o comparație rulează pe o singură mașină, către aceiași furnizori, pe același conținut, în aceeași rundă. Nimic nu este preluat dintr-o zi anterioară.

Mașinile. Un Apple M1 Ultra pe o linie de 10 GbE în Europa, și un M3 Ultra pe o linie mai lentă în Statele Unite. Comparațiile nu le amestecă niciodată pe cele două: un tabel este o mașină.
Linia contează mai mult decât procesorul. Pe o linie de 10 GbE majoritatea clienților pot satura conexiunea la o sarcină ușoară, motiv pentru care scenariile interesante sunt cele în care altceva decât lățimea de bandă brută decide rezultatul.
Furnizori. Cinci furnizori comerciali, același set pentru fiecare client, peste TLS. Excludem un furnizor din aceste runde fiindcă limitează câte locații se pot conecta simultan, ceea ce ar face o mașină de test partajată nedreaptă față de cine rulează al doilea.
Conexiuni. Fiecare client primește același număr per furnizor într-o rundă dată, iar runda spune care. Mai multe nu înseamnă automat mai bine; am măsurat propriul nostru client păstrând același timp de sosire de-a lungul unei variații de nouă ori a numărului de conexiuni.

Regula care hotărăște totul

Un client este judecat după fișier, nu după propriul mesaj de stare

Acesta este cel mai important lucru de pe pagină. Fiecare rundă se încheie găsind cel mai mare fișier produs de client, oriunde în ieșirea lui, și calculându-i amprenta față de o copie de referință. Dimensiune și MD5, la fiecare rundă, nu pe un eșantion.

Facem asta fiindcă raportul de succes al unui client nu este o dovadă de încredere. Am măsurat un client raportând done la o sarcină al cărei director de ieșire era gol. Am măsurat altul raportând Completed după ce livrase volume de arhivă brute pe care nu le dezarhivase niciodată. Un instrument de reparare foarte folosit iese cu un cod de eroare după o reparare reușită. Niciunul dintre acei clienți nu mințea; șirurile de stare pur și simplu înseamnă lucruri diferite pentru autori diferiți, iar un benchmark care se încrede în ele măsoară vocabular, nu comportament.

Așadar linia de sosire este aceeași pentru toți: conținutul există, la dimensiunea corectă, cu amprenta corectă. Dacă un client se oprește înainte, nu primește timp, iar întreaga coloană este marcată în loc să fie omisă în tăcere. Un client lent care termină se descurcă mai bine decât unul rapid care nu termină, iar tabelul trebuie să spună asta.

Corolarul este că o neterminare este un rezultat, nu o eroare de partea noastră. Când publicăm una, descriem starea finală în termeni simpli, inclusiv orice sugerează că este specifică acelei sarcini și nu generală, și spunem ce a făcut clientul în loc să termine.

Ordine și repetare

De ce rundele alternează, și de ce rulările unice nu se publică

Debitul furnizorilor variază de la minut la minut, uneori cu un factor de doi sau trei. Două măsurători luate la momente diferite măsoară în parte vremea.

Așadar clienții rulează unul după altul și întrepătruns, iar ordinea se inversează între repetări, astfel încât niciun client să nu fie mereu cel care intră primul pe o linie caldă sau rece. Un rezultat este tiparul de-a lungul repetărilor, nu cea mai bună rulare. Când împrăștierea este mare, publicăm intervalul în locul unei medii care ar ascunde-o, iar dacă nu știm de ce cifrele unui client sunt împrăștiate, o spunem în loc să inventăm o cauză.

Comparațiile între runde diferite se evită oriunde este posibil. Dacă o afirmație cere două cifre, preferăm să le realergăm pe amândouă într-o singură rundă decât să scădem cifra unei zile din a alteia, fiindcă starea standului, condițiile furnizorilor și versiunile clienților derivă toate. Când comparăm două versiuni proprii, ambele rulează în aceeași rundă, alternând, pe același conținut.

Verificările nespectaculoase

Ce rulează înainte și în timpul fiecărei runde

Cele mai multe există fiindcă o defecțiune tăcută a produs cândva un număr cu aspect sănătos, publicabil și greșit. Fiecare rulează acum automat și oprește runda în loc să avertizeze.

Fiecare furnizor răspunde înainte ca runda să înceapă. O rundă rulată în timp ce doi furnizori sunt căzuți măsoară o pană, și arată exact ca un client lent.
Executabilul este identificat prin amprentă înaintea fiecărei runde, nu după numele fișierului sau șirul de versiune. Două versiuni ale noastre raportau același număr de versiune deși difereau prin 88 de comiteri; doar amprenta le deosebește, iar tabelele o citează.
Fiecare client rulează ca fiind cod nativ. Pe mașinile Apple un ajutor construit greșit poate rula tăcut sub traducere, ceea ce costă timp de procesor care ține de alegerea noastră de împachetare, nu de codul clientului. Verificăm procesul care rulează, nu doar fișierul.
Limitele de fișiere deschise sunt ridicate pentru toți, identic. macOS pornește programele cu o limită de 256 de fișiere deschise, pe care un set complet de conexiuni o poate depăși. Un client care o atinge tinde să dispară fără raport de blocare, ceea ce se citește exact ca o defecțiune a programului. Aparenta neterminare a unui concurent s-a dovedit a fi tocmai asta; cu limita ridicată, sarcina identică s-a încheiat în 44 de secunde.
Traficul pe disc este înregistrat pe rundă, ceea ce servește totodată drept verificare că nimic altceva nu folosea mașina. Contoarele acelea acoperă întregul disc, nu un singur program, așa că dacă ar rula o a doua sarcină, munca ei ar apărea în măsurătorile noastre. Citirile plate de-a lungul unei runde sunt felul în care știm că un rezultat aparține clientului pe care îl numește.
Fiecare client scrie în propriul arbore de ieșire, iar arborele este șters înaintea fiecărei runde, astfel încât nicio rulare să nu poată fi satisfăcută de fișierul unei rulări anterioare.

Acolo unde un client are nevoie de setări anume pentru a se descurca bine, le primește, iar runda spune care. Exemple: înlănțuirea cererilor activată acolo unde un client vine cu ea oprită, verificarea duplicatelor dezactivată când aceeași sarcină este descărcată în mod repetat, și ajutoarele de dezarhivare luate din pachetul propriu al clientului în locul unei copii de sistem. Scopul este ca fiecare client să fie măsurat la potențialul lui maxim, nu la setările implicite, întrucât setările implicite sunt o discuție separată de capacitate.

Ce nu vom face

Limitele acestor cifre

Nu publicăm o cifră pe care nu am măsurat-o. Dacă un număr este dedus și nu observat, este etichetat ca dedus, și preferăm să lăsăm un gol decât să îl umplem cu o aritmetică ce se citește ca o măsurătoare.
Nu actualizăm pe tăcute un rezultat pierdut. O rundă pe care o pierdem rămâne publicată până când o reluare o înlocuiește, iar când o înfrângere devine victorie, schimbarea primește o explicație lângă tabel în locul unei editări tăcute.
Rundele cu furnizori nu sunt încă reproductibile independent, fiindcă nu al nostru este conținutul, ca să îl distribuim. Testele pe componente, care folosesc conținut generat, sunt. Pregătim fișiere de test pe care le putem publica, astfel încât și rundele cu furnizori să devină verificabile.
Acestea sunt benchmark-urile noastre asupra programelor altor oameni. Fiecare versiune este numită și datată, iar când un client lansează o versiune nouă realergăm rundele pe care le afectează în loc să lăsăm sus o comparație învechită. Dacă socotești că un rezultat este greșit, setările și versiunile sunt publicate ca să se poată contesta punctual.