Intervalle de confiance
Intervalle de confiance : la fourchette de la vraie valeur
L'intervalle de confiance donne la fourchette dans laquelle se situe probablement la vraie valeur d'une mesure, compte tenu de la taille de l'échantillon. Un taux de conversion de 3,2 % avec un intervalle de 2,8 à 3,6 dit que la valeur réelle se trouve vraisemblablement dans cette plage.
Comment se lit un intervalle de confiance
Deux versions testées donnent 3,1 % et 3,4 % de conversion. L’écart semble net. Si les intervalles vont de 2,6 à 3,6 pour la première et de 2,9 à 3,9 pour la seconde, ils se recouvrent largement : rien ne permet de les départager.
C’est cette lecture visuelle qui manque le plus souvent dans les comptes rendus de test, remplacée par une comparaison de deux moyennes nues.
Ce qui fait varier la largeur d’un intervalle de confiance
| Facteur | Effet sur la largeur |
|---|---|
| Échantillon plus grand | Resserre l’intervalle |
| Taux mesuré plus faible | Élargit l’intervalle en valeur relative |
| Niveau de confiance plus élevé | Élargit l’intervalle |
| Dispersion plus forte | Élargit l’intervalle |
Quadrupler l’échantillon réduit la largeur de moitié seulement. C’est pour cela qu’un test sur un taux de conversion faible demande tant de trafic.
Pourquoi préférer l’intervalle à la p-value
L’intervalle donne l’ampleur possible de l’effet. Un gain estimé entre 0,1 et 8 % se lit tout de suite comme fragile, même si le test est déclaré significatif.
Il permet aussi une décision économique : si la borne basse suffit à rentabiliser la modification, elle vaut la peine.
Ce qu’un intervalle de confiance ne couvre pas
Il ne mesure que l’incertitude d’échantillonnage. Un test biaisé par une répartition défectueuse produit un intervalle étroit autour d’une valeur fausse.
Les confusions fréquentes et ce qui les sépare
- Marge d'erreur
- La marge d'erreur est la demi-largeur de l'intervalle. L'intervalle est la fourchette complète, borne basse et borne haute.
- Écart type
- L'écart type décrit la dispersion des observations. L'intervalle décrit l'incertitude sur la moyenne estimée.
Mis à jour le