Test unilatéral
Test unilatéral : vérifier une différence dans un seul sens
Un test unilatéral vérifie si une différence existe dans un seul sens, par exemple si la version B fait mieux que la version A. Il concentre le risque d'erreur d'un seul côté, ce qui le rend plus sensible mais aussi plus facile à employer abusivement.
Ce que le test unilatéral change
| Aspect | Test bilatéral | Test unilatéral |
|---|---|---|
| Hypothèse testée | Une différence, dans un sens ou l’autre | Une amélioration seulement |
| Répartition du risque | Cinq pour cent partagés | Cinq pour cent d’un seul côté |
| Sensibilité | Moindre | Plus élevée à échantillon égal |
| Dégradation détectée | Oui | Non |
Le gain de sensibilité est réel. Il se paie par l’incapacité à détecter une dégradation, ce qui est rarement acceptable en optimisation de site.
Quand un test unilatéral se justifie
Quand une dégradation est impossible ou sans conséquence. Une modification qui ne peut mécaniquement pas nuire, ou un test où l’on se contente de savoir si le seuil minimal est atteint.
Ces cas sont rares en marketing, où presque toute modification peut nuire.
Le risque d’usage abusif
Choisir le sens du test après avoir vu les données. Cette pratique double mécaniquement le taux de faux positifs, tout en donnant l’apparence de la rigueur.
Le sens se décide avant le lancement et s’écrit dans le protocole.
Ce que le test unilatéral ne dispense pas de faire
Calculer un échantillon suffisant. Le gain de sensibilité ne remplace pas le volume, il le réduit à la marge.
Les confusions fréquentes et ce qui les sépare
- Test bilatéral
- Le bilatéral détecte une différence dans les deux sens. L'unilatéral ne regarde qu'une direction, décidée avant le test.
- Test de non-infériorité
- Le test de non-infériorité vérifie qu'une version n'est pas pire d'une marge donnée. L'unilatéral vérifie qu'elle est meilleure.
Mis à jour le