Ta moyenne te dit que tout va bien. Tes utilisateurs te disent le contraire.
Je t'explique.
Tu lances ton test de perf. 10 000 requêtes. Temps de réponse moyen : 200ms. Tu souris. Tu valides. Tu passes à autre chose.
Sauf que dans le tas la majorité est à 50ms, et 500 irréductibles à 3 secondes. Tu n'as rien vu.
Ton tableau de bord est tout vert et raconte un weekend paisible. Mais tes 500 utilisateurs qui poireautent 3 secondes, eux, te disent autre chose. Réflexion faite, ils ne te disent rien d'ailleurs. Ils sont partis et ne reviendront pas.
La moyenne est la pire option qui existe en test de performance lorsqu'elle est seule. Elle écrase tout. Elle masque tout. Elle te ment avec le sourire.
Douze jeux de données complètement différents peuvent avoir la même moyenne et le même écart-type. L'un dessine carrément un dinosaure.
À la place, utilise les centiles. Le P99, le P95, le P90. "90% de mes utilisateurs ont un temps de réponse inférieur à X." Là, tu parles d'une réalité vécue par de vraies personnes.
Et si tu veux vraiment comprendre ce qui se passe : les nuages de points. Chaque point est une requête, placée dans le temps. Tu vois les patterns, les pics, les dérives. Tu vois ce que la moyenne t'a caché pendant des mois.
La moyenne c'est un chiffre confortable. Les centiles c'est un chiffre utile. Les nuages de points c'est là où tu commences à comprendre.
Et comprendre, c'est quand même vachement le but du jeu.
L'œil humain est fantastique. Mets-le à contribution.
Publié à l'origine sur LinkedIn.
Voir le post sur LinkedIn →