Como testamos, por inteiro

A bancada

Mesma máquina, mesma linha, mesmo conteúdo

Cada cliente de uma comparação corre numa só máquina, contra os mesmos fornecedores, sobre o mesmo conteúdo, dentro da mesma ronda. Nada é aproveitado de um dia anterior.

As máquinas. Um Apple M1 Ultra numa linha de 10 GbE na Europa, e um M3 Ultra numa linha mais lenta nos Estados Unidos. As comparações nunca misturam as duas: uma tabela é uma máquina.
A linha conta mais do que o processador. Numa linha de 10 GbE a maioria dos clientes consegue saturar a ligação numa tarefa fácil, e é por isso que os cenários interessantes são aqueles em que algo que não a largura de banda bruta decide o desfecho.
Fornecedores. Cinco fornecedores comerciais, o mesmo conjunto para cada cliente, por TLS. Excluímos um fornecedor destas rondas porque limita quantos locais podem ligar-se ao mesmo tempo, o que tornaria uma máquina de teste partilhada injusta para quem corresse em segundo.
Ligações. Cada cliente recebe o mesmo número por fornecedor numa dada ronda, e a ronda diz qual. Mais não é automaticamente melhor; medimos o nosso próprio cliente a manter o mesmo tempo de chegada ao longo de uma variação de nove vezes no número de ligações.

A regra que decide tudo

Um cliente é julgado pelo ficheiro, não pela sua própria mensagem de estado

Esta é a coisa mais importante desta página. Cada volta termina procurando o maior ficheiro que o cliente produziu, em qualquer ponto da sua saída, e calculando o seu resumo criptográfico contra uma cópia de referência. Tamanho e MD5, em todas as voltas, não por amostragem.

Fazemo-lo porque o relatório de sucesso de um cliente não é prova fiável. Medimos um cliente a comunicar done numa tarefa cuja pasta de saída estava vazia. Medimos outro a comunicar Completed tendo entregado volumes de arquivo em bruto que nunca desempacotou. Uma ferramenta de reparação muito usada termina com um código de erro após uma reparação bem-sucedida. Nenhum desses clientes estava a mentir; as cadeias de estado significam simplesmente coisas diferentes para autores diferentes, e um benchmark que confia nelas mede vocabulário em vez de comportamento.

Portanto a meta é a mesma para todos: o conteúdo existe, com o tamanho certo e o resumo certo. Se um cliente parar antes disso, não recebe tempo, e a coluna inteira é assinalada em vez de omitida em silêncio. Um cliente lento que termina está a sair-se melhor do que um rápido que não termina, e a tabela deve dizê-lo.

O corolário é que uma não chegada é um resultado, não um erro nosso. Quando publicamos uma, descrevemos o estado final em termos simples, incluindo tudo o que sugira que é específica daquela tarefa e não geral, e dizemos o que o cliente fez em vez de terminar.

Ordem e repetição

Porque as voltas se alternam, e porque não se publicam execuções únicas

O débito dos fornecedores varia de minuto a minuto, por vezes num fator de dois ou três. Duas medições feitas em momentos diferentes medem em parte o tempo que fazia.

Por isso os clientes correm seguidos e intercalados, e a ordem inverte-se entre repetições, para que nenhum cliente seja sempre o que entra primeiro numa linha quente ou fria. Um resultado é o padrão ao longo das repetições, não a melhor corrida. Quando a dispersão é grande, publicamos o intervalo em vez de uma média que a esconderia, e se não soubermos porque os números de um cliente estão dispersos, dizemo-lo em vez de inventar uma causa.

Evitam-se comparações entre rondas diferentes sempre que possível. Se uma afirmação exige dois números, preferimos voltar a correr ambos numa só ronda a subtrair o valor de um dia ao de outro, porque o estado da bancada, as condições dos fornecedores e as versões dos clientes derivam todos. Quando comparamos duas compilações nossas, ambas correm na mesma ronda, alternadamente, sobre o mesmo conteúdo.

As verificações pouco vistosas

O que corre antes e durante cada volta

A maioria existe porque uma falha silenciosa produziu um dia um número de aspeto saudável, publicável e errado. Cada uma corre agora automaticamente e interrompe a ronda em vez de avisar.

Todos os fornecedores respondem antes de a volta começar. Uma volta corrida enquanto dois fornecedores estão em baixo mede uma avaria, e parece exatamente um cliente lento.
O binário é identificado por resumo criptográfico antes de cada volta, não por nome de ficheiro nem cadeia de versão. Duas compilações nossas indicavam o mesmo número de versão diferindo em 88 commits; só o resumo as distingue, e as tabelas citam-no.
Todos os clientes correm como código nativo. Em máquinas Apple, um auxiliar mal construído pode correr em silêncio sob tradução, o que custa tempo de processador que pertence à nossa escolha de empacotamento e não ao código do cliente. Verificamos o processo em execução, não apenas o ficheiro.
Os limites de ficheiros abertos são elevados para todos, de forma idêntica. O macOS arranca os programas com um limite de 256 ficheiros abertos, que um conjunto completo de ligações pode exceder. Um cliente que lhe toca tende a desaparecer sem relatório de falha, o que se lê exatamente como um defeito do software. A aparente não chegada de um concorrente veio a ser isto; com o limite elevado, a tarefa idêntica terminou em 44 segundos.
O tráfego de disco é registado por volta, o que serve também de verificação de que mais nada estava a usar a máquina. Esses contadores cobrem o disco inteiro e não um único programa, portanto se estivesse a correr uma segunda tarefa, o trabalho dela apareceria dentro das nossas medições. Leituras planas ao longo de uma ronda são como sabemos que um resultado pertence ao cliente que nomeia.
Cada cliente escreve na sua própria árvore de saída, e a árvore é apagada antes de cada volta, para que nenhuma execução possa ser satisfeita pelo ficheiro de uma execução anterior.

Onde um cliente precisa de definições específicas para render bem, recebe-as, e a ronda diz quais. Exemplos: encadeamento de pedidos ligado onde um cliente o traz desligado, verificação de duplicados desligada quando a mesma tarefa é descarregada repetidamente, e auxiliares de desempacotamento tirados do próprio pacote do cliente em vez de uma cópia do sistema. O objetivo é que cada cliente seja medido no seu melhor e não nas suas predefinições, já que as predefinições são uma discussão separada da capacidade.

O que não faremos

Os limites destes números

Não publicamos um valor que não tenhamos medido. Se um número é deduzido em vez de observado, é rotulado como deduzido, e preferimos deixar uma lacuna a preenchê-la com aritmética que se lê como uma medição.
Não atualizamos discretamente um resultado perdedor. Uma volta que perdemos fica publicada até que uma nova execução a substitua, e quando uma derrota se torna vitória a mudança leva uma explicação ao lado da tabela em vez de uma edição silenciosa.
As voltas com fornecedores ainda não são reproduzíveis de forma independente, porque o conteúdo não é nosso para distribuir. Os testes de componentes, que usam conteúdo gerado, são. Estamos a preparar ficheiros de teste publicáveis para que também as voltas com fornecedores passem a ser conferíveis.
Estes são os nossos benchmarks de software de outras pessoas. Cada versão é nomeada e datada, e quando um cliente lança uma nova versão voltamos a correr as voltas que ela afeta em vez de deixar de pé uma comparação desatualizada. Se achares que um resultado está errado, as definições e as versões estão publicadas para que se possa contestar em concreto.