Les tests statistiques sont des outils puissants mais
Voici 4 erreurs fréquentent dans la mise en place d’un test :
– Toute chose égale par ailleurs
Un test statistique doit se dérouler dans un environnement stable afin que les différences que l’on mesure puissent être attribuées au phénomène que l’on veut mesurer. Par exemple, sur un site web si on fait 2 modifications, les résultats observés ne pourront pas être attribués à l’une ou à l’autre des modifications mais à la combinaison de ces 2 éléments.
Un test doit se faire toute chose égale par ailleurs : entre la population témoin et la population de test uniquement un élément doit différé.
– Significativité
La significativité est un élément très important du test. En effet, tant que le test n’est pas significatif, vous ne pouvez rien conclure.
Au delà du chiffre de significativité, faites attention à ce que le test soit intrinsequement significatif :
Par exemple, si vous observez des comportements totalement différents en fonction des jours de la semaine, menez un test au minimum sur 1 semaine.
Si votre activité a de fortes saisonnalités, n’hésitez pas à retester la fonctionnalité lors de vos différents saisons.
– Représentativité
La population et la population témoin doivent avoir les mêmes caractéristiques.
Attention au biais du à l’échantillonnage.
– Mise en place en amont du test : kpi, population, …
L’erreur provient souvent de la définition du test et de sa mise en place à la lecture des résultats.
Pour être sur d’avoir des résultats objectifs et non biaisé par notre souhait de valider nos hypothèses, il est préférable de définir l’ensemble du test en amont de sa mise en place. Aussi, mettez-vous d’accord sur la population testée, la mesure de succès du test, le risque, …
Ainsi, vous pourrez être serein à la lecture des résultats.