Puissance statistique
Puissance statistique : détecter un effet qui existe
La puissance statistique est la probabilité qu'un test parvienne à détecter un effet lorsque cet effet existe réellement. Un test peu puissant conclut à l'absence de différence alors qu'une différence existe, ce qui fait abandonner des améliorations qui fonctionnaient parfaitement.
Ce qui détermine la puissance d’un test
| Facteur | Effet sur la puissance |
|---|---|
| Taille de l’échantillon | Plus il est grand, plus la puissance monte |
| Ampleur de l’effet réel | Un gros effet se détecte plus facilement |
| Seuil de signification retenu | Un seuil strict réduit la puissance |
| Dispersion des données | Une forte dispersion la réduit |
Seul le premier facteur se décide vraiment. C’est pourquoi le calcul d’échantillon précède toujours le lancement d’un test sérieux.
Le seuil de puissance usuel
Quatre-vingts pour cent est la convention la plus répandue. Elle signifie qu’un test correctement dimensionné rate encore un effet réel une fois sur cinq.
Ce chiffre surprend souvent. Il rappelle qu’un test non concluant ne prouve pas l’absence d’effet.
La conséquence pratique la plus coûteuse
Une équipe qui teste sur des échantillons trop petits conclut à l’absence d’effet dans la majorité des cas. Elle abandonne des améliorations réelles et finit par croire que rien ne marche.
Le calcul préalable de l’échantillon évite ce gaspillage.
Ce que la puissance ne corrige pas
Un test biaisé. Une puissance élevée sur une expérimentation mal répartie détecte très bien un effet qui n’existe pas.
Les confusions fréquentes et ce qui les sépare
- Seuil de signification
- Le seuil contrôle le risque de conclure à tort à un effet. La puissance contrôle le risque inverse, celui de rater un effet réel.
- Taille de l'effet
- La taille de l'effet est l'ampleur de la différence. La puissance est la capacité du test à la détecter.
Mis à jour le