A/B test
A/B test : comparer deux versions sur le même trafic
Un A/B test compare deux versions d'une page en les servant simultanément à des visiteurs tirés au hasard. La comparaison ne vaut que si un seul élément diffère, si le tirage est aléatoire et si l'échantillon est assez grand pour que l'écart observé ne vienne pas du hasard.
Les quatre conditions de validité d’un A/B test
| Condition | Ce qui arrive si elle manque |
|---|---|
| Un seul élément modifié | On ne sait pas ce qui a produit l’écart |
| Répartition aléatoire | Les deux groupes ne sont pas comparables |
| Durée couvrant un cycle complet | Le résultat dépend du jour de la semaine |
| Échantillon suffisant | L’écart observé vient du hasard |
La quatrième condition est celle qu’on enfreint le plus. Sur des taux de conversion faibles, détecter un gain relatif de dix pour cent demande souvent plusieurs milliers de conversions par version.
Ce qu’il faut fixer avant de lancer un A/B test
L’indicateur unique qui tranchera. La durée minimale. Le nombre de visiteurs visé. L’écart minimal qu’on juge intéressant.
Ces quatre décisions se prennent avant de voir la moindre donnée. Décidées après, elles transforment n’importe quel bruit en victoire.
L’erreur d’arrêt anticipé
Regarder les résultats chaque jour et arrêter dès qu’une version passe devant produit des conclusions fausses dans une proportion élevée. Le hasard fait passer une version devant l’autre plusieurs fois au cours d’un test.
Un test s’arrête à la date prévue, pas au moment où il donne le résultat espéré.
Ce qu’un A/B test ne dit pas
Il mesure un effet sur la période observée. Il ne dit pas si cet effet tient dans six mois, ni si la nouveauté seule expliquait le gain.
Les confusions fréquentes et ce qui les sépare
- Test multivarié
- Le test multivarié fait varier plusieurs éléments à la fois pour mesurer leurs combinaisons. Il demande beaucoup plus de trafic qu'un A/B test.
- Déploiement progressif
- Le déploiement progressif sert une nouveauté à une part croissante d'utilisateurs pour limiter le risque. Il ne compare rien.
Mis à jour le