Test bilatéral
Test bilatéral : détecter une différence dans les deux sens
Un test bilatéral vérifie s'il existe une différence entre deux versions, sans préjuger du sens de cette différence. Il détecte aussi bien une amélioration qu'une dégradation, ce qui en fait le choix par défaut dans presque toutes les expérimentations marketing.
Pourquoi le test bilatéral est le choix par défaut
Une modification faite pour améliorer peut dégrader. Un bouton déplacé, un formulaire raccourci, un titre réécrit : chacun peut produire l’effet inverse de celui attendu.
Un test unilatéral ne verrait pas cette dégradation et conclurait simplement à l’absence d’amélioration, ce qui n’est pas la même information.
Ce que le bilatéral coûte
| Conséquence | Détail |
|---|---|
| Échantillon nécessaire | Plus grand qu’en unilatéral |
| Durée du test | Plus longue à trafic constant |
| Sensibilité | Légèrement moindre |
| Sécurité de la conclusion | Nettement supérieure |
Le surcoût en volume reste modéré et se justifie presque toujours par la protection qu’il apporte. Sur un test à faible trafic, il peut néanmoins repousser la conclusion de plusieurs semaines.
Comment le déclarer dans un protocole
Avant le lancement, avec le seuil retenu et la taille d’échantillon calculée. Un protocole écrit évite la tentation de basculer en unilatéral quand le résultat approche du seuil sans l’atteindre.
Ce que le test bilatéral ne fait pas
Il ne dit pas quelle version est meilleure quand la différence est significative. Il signale une différence, et c’est le signe de l’écart qui indique le sens.
Les confusions fréquentes et ce qui les sépare
- Test unilatéral
- L'unilatéral ne regarde qu'une direction. Le bilatéral surveille les deux, ce qui protège contre une dégradation non anticipée.
- Test multivarié
- Le test multivarié fait varier plusieurs éléments. Le caractère bilatéral porte sur le sens de l'hypothèse, pas sur le nombre de variables.
Mis à jour le