Cómo probamos, al completo

El banco de pruebas

Misma máquina, misma línea, mismo contenido

Cada cliente de una comparación se ejecuta en una sola máquina, contra los mismos proveedores, sobre el mismo contenido, dentro de la misma tanda. No se arrastra nada de un día anterior.

Las máquinas. Un Apple M1 Ultra en una línea de 10 GbE en Europa, y un M3 Ultra en una línea más lenta en Estados Unidos. Las comparaciones nunca mezclan las dos: una tabla es una máquina.
La línea importa más que el procesador. En una línea de 10 GbE la mayoría de los clientes pueden saturar la conexión en un trabajo fácil, y por eso los escenarios interesantes son aquellos en los que algo distinto del ancho de banda bruto decide el resultado.
Proveedores. Cinco proveedores comerciales, el mismo conjunto para cada cliente, sobre TLS. Excluimos a un proveedor de estas tandas porque limita cuántas ubicaciones pueden conectarse a la vez, lo que haría que una máquina de prueba compartida fuese injusta con quien corriera en segundo lugar.
Conexiones. Cada cliente recibe el mismo número por proveedor en una tanda dada, y la tanda dice cuál. Más no es automáticamente mejor; hemos medido a nuestro propio cliente manteniendo el mismo tiempo de llegada a lo largo de un cambio de nueve veces en el número de conexiones.

La regla que lo decide todo

A un cliente se le juzga por el archivo, no por su propio mensaje de estado

Esto es lo más importante de esta página. Cada vuelta termina buscando el archivo más grande que produjo el cliente, en cualquier parte de su salida, y calculando su hash contra una copia de referencia. Tamaño y MD5, en cada vuelta, no sobre una muestra.

Lo hacemos porque el informe de éxito de un cliente no es prueba fiable. Hemos medido a un cliente informando done en un trabajo cuyo directorio de salida estaba vacío. Hemos medido a otro informando Completed tras entregar volúmenes de archivo en bruto que nunca desempaquetó. Una herramienta de reparación muy usada sale con código de error tras una reparación correcta. Ninguno de esos clientes mentía; las cadenas de estado simplemente significan cosas distintas para autores distintos, y un benchmark que se fía de ellas mide vocabulario en lugar de comportamiento.

Así que la meta es la misma para todos: el contenido existe, con el tamaño correcto y el hash correcto. Si un cliente se para antes, no obtiene tiempo, y toda la columna se marca en vez de omitirse en silencio. Un cliente lento que termina lo está haciendo mejor que uno rápido que no, y la tabla debe decirlo.

El corolario es que una no llegada es un resultado, no un error nuestro. Cuando publicamos una, describimos el estado final en términos llanos, incluido cualquier indicio de que sea específica de ese trabajo y no general, y decimos qué hizo el cliente en lugar de terminar.

Orden y repetición

Por qué las vueltas se alternan, y por qué no se publican ejecuciones sueltas

El rendimiento de los proveedores varía de minuto a minuto, a veces en un factor de dos o tres. Dos medidas tomadas en momentos distintos miden en parte el tiempo que hacía.

Por eso los clientes corren seguidos y entrelazados, y el orden se invierte entre repeticiones, de modo que ningún cliente sea siempre el que entra primero en una línea caliente o fría. Un resultado es el patrón a lo largo de las repeticiones, no la mejor carrera. Cuando la dispersión es amplia, publicamos el rango en lugar de una media que lo ocultaría, y si no sabemos por qué las cifras de un cliente están dispersas, lo decimos en vez de inventar una causa.

Las comparaciones entre tandas distintas se evitan siempre que se puede. Si una afirmación requiere dos cifras, preferimos volver a correr ambas en una misma tanda antes que restar la cifra de un día a la de otro, porque el estado del banco, las condiciones de los proveedores y las versiones de los clientes van a la deriva. Cuando comparamos dos compilaciones nuestras, ambas corren en la misma tanda, alternándose, sobre el mismo contenido.

Las comprobaciones poco vistosas

Qué se ejecuta antes y durante cada vuelta

La mayoría existe porque un fallo silencioso produjo una vez una cifra de aspecto sano, publicable y equivocada. Cada una se ejecuta ahora automáticamente y detiene la tanda en lugar de avisar.

Todos los proveedores responden antes de que arranque la vuelta. Una vuelta ejecutada mientras dos proveedores están caídos mide una avería, y parece exactamente un cliente lento.
El binario se identifica por hash antes de cada vuelta, no por nombre de archivo ni cadena de versión. Dos compilaciones nuestras declaraban el mismo número de versión pese a diferir en 88 commits; solo el hash las distingue, y las tablas lo citan.
Todos los clientes se ejecutan como código nativo. En máquinas Apple, un auxiliar mal construido puede correr en silencio bajo traducción, lo que cuesta tiempo de procesador que pertenece a nuestra elección de empaquetado y no al código del cliente. Comprobamos el proceso en ejecución, no solo el archivo.
Los límites de archivos abiertos se elevan para todos por igual. macOS arranca los programas con un límite de 256 archivos abiertos, que un juego completo de conexiones puede superar. Un cliente que lo alcanza suele desaparecer sin informe de fallo, lo que se lee exactamente como un defecto del software. La aparente no llegada de un competidor resultó ser esto; una vez elevado el límite, el mismo trabajo terminó en 44 segundos.
El tráfico de disco se registra por vuelta, lo que sirve además para comprobar que nada más estaba usando la máquina. Esos contadores cubren todo el disco en vez de un solo programa, así que si estuviera corriendo un segundo trabajo, su actividad aparecería dentro de nuestras medidas. Lecturas planas a lo largo de una tanda son la forma en que sabemos que un resultado pertenece al cliente que nombra.
Cada cliente escribe en su propio árbol de salida, y el árbol se borra antes de cada vuelta, de modo que ninguna ejecución pueda quedar satisfecha con el archivo de una ejecución anterior.

Donde un cliente necesita ajustes concretos para rendir bien, los recibe, y la tanda dice cuáles. Ejemplos: el encadenado de peticiones activado donde un cliente lo trae apagado, la detección de duplicados desactivada cuando el mismo trabajo se descarga repetidamente, y los auxiliares de desempaquetado tomados del propio paquete del cliente en vez de una copia del sistema. El objetivo es que cada cliente se mida en su mejor forma y no en sus valores por omisión, ya que los valores por omisión son una discusión aparte de la capacidad.

Lo que no haremos

Los límites de estas cifras

No publicamos una cifra que no hayamos medido. Si un número es derivado y no observado, se etiqueta como derivado, y preferimos dejar un hueco antes que rellenarlo con una aritmética que se lea como una medición.
No corregimos calladamente un resultado perdedor. Una vuelta que perdemos sigue publicada hasta que otra ejecución la sustituya, y cuando una derrota se convierte en victoria, el cambio lleva una explicación junto a la tabla en vez de una edición silenciosa.
Las vueltas con proveedores todavía no son reproducibles de forma independiente, porque el contenido no es nuestro para distribuirlo. Las pruebas de componentes, que usan contenido generado, sí lo son. Estamos preparando archivos de prueba publicables para que las vueltas con proveedores también se puedan comprobar.
Estos son nuestros benchmarks del software de otras personas. Cada versión se nombra y se fecha, y cuando un cliente publica una nueva entrega volvemos a correr las vueltas que afecta en lugar de dejar arriba una comparación caducada. Si crees que un resultado está mal, los ajustes y las versiones están publicados para que se pueda discutir en concreto.