Rejouer un test volatil ne le rend pas fiable

Dès que tes tests de performance montent en gamme, la reproductibilité te réserve des surprises. Ton système finit par montrer des variations importantes dans les mesures, et tu remets en cause la légitimité des résultats. Ton premier instinct, c'est de relancer un second test pour évaluer la volatilité. C'est une grosse connerie.

Parce qu'une fois le point dessiné sur le graphe, tu te dis que ça pourrait être pire, ou que ça pourrait être mieux. Alors tu en lances un autre. Puis vient le constat en réunion mensuelle : les tests sont trop volatils, on les rejoue tout le temps, est-ce qu'on ne les lancerait pas trois fois par défaut avec une moyenne ?

Cette fois tu fais trois. Dans un mois, faute d'avoir eu exactement les résultats que tu voulais, tu passeras à cinq. Dans un an, tu auras divisé ta capacité à tester par dix, parce que tes exigences de précision auront augmenté au gré de chaque nouvelle incertitude.

Des résultats suspects ou faux, ça porte un nom : tu es entré dans le monde des tests flaky. La bonne nouvelle, c'est que tu n'es pas seul. La mauvaise, c'est que tu vas faire les mêmes bêtises que tout le monde.

Alors rejoue ton test autant de fois qu'il faut pour reproduire le problème à volonté, reproduis-le dans un environnement que tu peux manipuler, puis investigue vraiment et pose un correctif durable. Arrête de forcer, enquête.

Le bon test dans le bon environnement, plus la démonstration acharnée de vouloir corriger les problèmes. Tout le reste, ce sont des raccourcis de myope qui n'a pas encore compris ce que ça va coûter en infra.