Ta moyenne te dit que tout va bien. Mais tes utilisateurs te disent le contraire.
C’est normal, je t'explique.
Tu lances ton test de perf. Tu lances 10 000 requêtes.
Temps de réponse moyen : 200ms. Tu souris. Tu valides. Tu passes à autre chose.
Sauf que dans le tas la majorité est à 50ms, et 500 irréductibles à 3 secondes.
Et toi tu n’as rien vu.
Ton tableau de bord est tout vert et raconte un week-end paisible. Mais tes 500 utilisateurs qui poireautent 3 secondes, eux, te disent autre chose.
Réflexion faite, ils ne te disent rien d'ailleurs. Ils sont partis et ne reviendront pas.
→ La moyenne est la pire option qui existe en test de performance lorsqu’elle est seule. Elle écrase tout. Elle masque tout. Elle te ment avec le sourire.
Si tu en doutes encore, regarde l’illustration de ce post.
Douze jeux de données complètement différents. Même moyenne. Même écart-type.
L'un dessine carrément un dinosaure. 🦕
À la place, utilise les centiles. Le P99, le P95, le P90. "90% de mes utilisateurs ont un temps de réponse inférieur à X." Là, tu parles d'une réalité vécue par de vraies personnes.
Et si tu veux vraiment comprendre ce qui se passe : les nuages de points. Chaque point est une requête, placée dans le temps. Tu vois les patterns, les pics, les dérives. Tu vois ce que la moyenne t'a caché pendant des mois.
La moyenne c'est un chiffre confortable.
Les centiles c'est un chiffre utile.
Les nuages de points c'est là où tu commences à comprendre.
Et comprendre, c'est quand même vachement le but du jeu ;)
L’oeil humain est fantastique. Mets-le à contribution.
Publié à l'origine sur LinkedIn.
Voir le post sur LinkedIn →