P-value
P-value : la probabilité que l'écart vienne du hasard
La p-value est la probabilité d'observer un écart au moins aussi grand que celui mesuré, en supposant qu'aucune différence réelle n'existe entre les deux versions. Une p-value de 0,03 signifie que le hasard produirait cet écart trois fois sur cent. Elle ne mesure pas la probabilité que le résultat soit vrai.
Comment se lit une p-value
Le raisonnement part d’une hypothèse de départ : les deux versions se valent. La p-value répond alors à une seule question : si cette hypothèse était vraie, à quelle fréquence observerais-je un écart aussi marqué ?
Une valeur faible rend l’hypothèse de départ peu confortable. Elle ne la réfute pas et ne prouve rien sur la version testée.
Le seuil de 5 % et son interprétation
| Seuil retenu | Faux positifs attendus |
|---|---|
| 10 % | 1 test sur 10 conclut à tort |
| 5 % | 1 test sur 20 conclut à tort |
| 1 % | 1 test sur 100 conclut à tort |
Le seuil de 5 % est une convention, pas une loi de la nature. Une équipe qui lance quarante tests par an et retient tout ce qui passe sous 5 % déploie deux faux gagnants par an sans le savoir.
Les deux confusions les plus répandues sur la p-value
La p-value ne mesure pas l’importance. Un écart minuscule devient significatif dès que l’échantillon est très grand.
Une p-value au-dessus du seuil ne prouve pas l’égalité. Elle dit que le test n’a pas permis de distinguer, souvent faute de volume.
Ce qu’il vaut mieux regarder qu’une p-value
L’intervalle de confiance. Il donne la fourchette dans laquelle se situe probablement l’effet réel, ce qu’aucune p-value ne fournit.
Les confusions fréquentes et ce qui les sépare
- Probabilité que la version gagne
- Une p-value de 0,03 ne signifie pas 97 % de chances que la version B soit meilleure. Elle décrit un monde où aucune différence n'existe.
- Taille de l'effet
- La p-value dit si un écart est distinguable du hasard. Elle ne dit rien de son ampleur ni de son intérêt commercial.
Mis à jour le