Sans objectif, tester c'est lancer les dés

L'erreur n°1 toutes catégories que je rencontre : lancer un test comme on lance un dé, sans savoir ce que tu cherches.

Je te raconte pas le nombre de fois où on m'a dit "t'inquiètes, on ne part pas de zéro" et où, j'ai beau feuilleter le plan de test dans Word (j'ai des cicatrices ok ?), les objectifs sont aux abonnés absents.

On a dépensé des mille et des cents en outil d'injection de charge, en outil de monitoring, en infrastructure, on a sué en planification, en priorisation, et après tout ça aucune manifestation claire de ce qu'on souhaite atteindre.

"On veut que ça tienne la charge."

Pardon, mais ça veut rien dire.

Combien d'utilisateurs ? Sur quel parcours ? Avec quel temps de réponse acceptable ? Pendant combien de temps ? Et surtout : à partir de quand on considère que c'est un échec ?

Si t'as pas posé tes hypothèses et tes critères de succès AVANT de lancer le test, tu vas te retrouver devant des résultats et tu vas faire ce que tout le monde fait :

Tu vas les interpréter dans le sens qui t'arrange.

800 millisecondes ? Ça a l'air bien. 2% d'erreurs ? C'est pas tant.

Le test de performance c'est pas un exercice de confirmation. C'est un exercice d'honnêteté.

Tu poses ton hypothèse. Tu définis ce qui est acceptable et ce qui ne l'est pas. Tu lances. Tu regardes. Et tu acceptes le verdict.

Même quand il pique.

C'est comme ça que tu prends de vraies décisions. C'est comme ça que tu dors la nuit. Et c'est comme ça que le jour où ton/ta CTO te demande "pourquoi tu veux retarder la release ?" t'as une réponse qui tient debout.

Le test de perf sans exigences, c'est un horoscope avec des graphes.