Faux positif
Faux positif : conclure à un effet qui n'existe pas
Un faux positif est une conclusion qui affirme un effet là où il n'y en a aucun. En test statistique, sa fréquence est fixée par le seuil retenu : avec un seuil à 5 %, un test sur vingt conclut à tort. Cette proportion s'applique même quand la méthode est parfaitement respectée.
Pourquoi les faux positifs sont plus fréquents qu’annoncé
Le seuil de 5 % suppose un test unique, décidé à l’avance, arrêté à la date prévue. Trois pratiques courantes font monter la proportion réelle bien au-delà.
| Pratique | Effet sur les faux positifs |
|---|---|
| Regarder les résultats chaque jour | La proportion peut dépasser 20 % |
| Tester plusieurs indicateurs | Chaque indicateur ajoute sa chance de faux positif |
| Découper l’audience après coup | Un segment finit toujours par sembler gagnant |
La troisième est la plus tentante. Après un test neutre, chercher le segment sur lequel la version B gagne produit presque toujours un résultat.
Comment limiter les faux positifs
Fixer l’indicateur unique et la durée avant le lancement. Calculer l’échantillon nécessaire, puis attendre de l’atteindre. Répliquer les gains importants avant de les tenir pour acquis.
Une réplication coûte le prix d’un second test et évite de bâtir une année de travail sur un accident.
Le coût d’un faux positif en acquisition
Une modification adoptée à tort ne coûte pas seulement le développement. Elle installe une croyance dans l’équipe, qui oriente les tests suivants dans une direction fausse.
Ce que cette erreur n’est pas
Ce n’est pas une erreur de calcul ni une faute professionnelle. C’est une conséquence mécanique du fait de décider sous incertitude.
Les confusions fréquentes et ce qui les sépare
- Faux négatif
- Le faux négatif rate un effet réel. Il vient presque toujours d'un échantillon trop petit, alors que le faux positif vient du hasard ou d'une méthode relâchée.
- Biais
- Le biais fausse systématiquement la mesure dans une direction. Le faux positif est un accident aléatoire sur une mesure non biaisée.
Mis à jour le