Taille d'échantillon
Taille d'échantillon : combien de visiteurs pour conclure
La taille d'échantillon est le nombre d'observations nécessaires pour qu'un test puisse détecter un effet d'une ampleur donnée. Elle se calcule avant le lancement, à partir du taux de base, de l'écart minimal recherché et du niveau de confiance retenu.
Les paramètres d’un calcul de taille d’échantillon
| Paramètre | Ce qu’il représente |
|---|---|
| Taux de base | Le taux de conversion actuel |
| Écart minimal recherché | Le gain relatif qu’on veut pouvoir détecter |
| Niveau de confiance | Le risque de faux positif accepté |
| Puissance visée | Le risque de rater un effet réel |
L’écart minimal est le paramètre qui pèse le plus. Vouloir détecter un gain de cinq pour cent demande un échantillon bien plus grand que pour un gain de vingt.
L’effet du taux de base sur la taille d’échantillon
Plus le taux de conversion de départ est faible, plus l’échantillon nécessaire est grand. Un site à un pour cent de conversion a besoin de bien plus de visiteurs qu’un site à dix pour cent pour détecter le même gain relatif.
C’est pourquoi les tests sur des tunnels à faible conversion tournent des mois.
Que faire quand la taille d’échantillon est hors d’atteinte
Tester plus haut dans le tunnel, sur une micro-conversion plus fréquente. Ou accepter de ne détecter que de gros écarts, en le sachant. Ou renoncer au test et décider sur d’autres bases.
Lancer quand même un test sous-dimensionné est le pire des trois choix.
L’erreur de l’arrêt anticipé
Regarder les résultats chaque jour et s’arrêter dès qu’une version passe devant invalide entièrement le calcul. Le test s’arrête à l’échantillon prévu, pas au moment qui arrange.
Les confusions fréquentes et ce qui les sépare
- Durée du test
- La durée découle de l'échantillon nécessaire et du trafic disponible. Elle ne se fixe pas indépendamment.
- Volume de trafic
- Le trafic total inclut des visiteurs qui n'entrent pas dans le test. Seuls les visiteurs exposés comptent dans l'échantillon.
Mis à jour le