Expérimentation
Expérimentation : valider par la mesure plutôt que par l'avis
L'expérimentation consiste à valider une hypothèse par une mesure contrôlée plutôt que par un débat d'opinions. Elle suppose un protocole défini avant le lancement, un groupe de comparaison et une décision annoncée à l'avance selon le résultat qui sera obtenu.
Ce qu’un protocole d’expérimentation contient
| Élément | Fixé avant le lancement |
|---|---|
| Hypothèse | Ce qu’on pense qu’il va se passer, et pourquoi |
| Indicateur unique | Ce qui tranchera |
| Taille d’échantillon | Le volume nécessaire pour conclure |
| Durée minimale | Couvrant au moins un cycle complet |
| Décision par issue | Ce qu’on fait si ça marche, et si ça ne marche pas |
La dernière ligne est celle qui manque le plus souvent. Sans décision annoncée, un résultat défavorable se discute au lieu de se respecter.
Ce que la culture d’expérimentation change
Elle déplace le débat. La question cesse d’être qui a raison pour devenir comment saurions-nous. Une équipe qui expérimente perd moins de temps en réunion et davantage en mesure.
Elle suppose d’accepter publiquement que la majorité des idées ne fonctionnent pas.
Les conditions matérielles
Du volume, un outil de répartition fiable et un accès rapide à la mise en ligne. Une idée qui attend trois semaines de développement sort du cadre de l’expérimentation.
Ce que l’expérimentation ne remplace pas
Le jugement. Elle valide des hypothèses formulées par quelqu’un. La qualité des idées testées borne entièrement ce qu’on peut en tirer.
Les confusions fréquentes et ce qui les sépare
- Essai
- Un essai déploie une modification et regarde ce qui se passe. L'expérimentation compare à un groupe témoin, ce qui permet d'attribuer l'effet.
- Test A/B
- Le test A/B est une forme d'expérimentation. D'autres existent, comme les tests géographiques ou les extinctions de canal.
Mis à jour le