Le test A/B, qu’on appelle aussi split test, oppose la version actuelle, dite version de contrôle, à une version modifiée, la variante. L’outil envoie chaque visiteur ou destinataire vers l’une des deux, au hasard. Quand assez de personnes ont vu chacune d’elles, on compare l’indicateur unique fixé au départ : inscriptions, achats ou clics dans un e-mail.
Comme les deux groupes voient leur version sur la même période, les facteurs extérieurs (saison, actualité, soldes d’un concurrent) pèsent de la même façon des deux côtés. C’est ce qui distingue un vrai test d’une simple comparaison avant et après. On trouve le split test dans les outils d’emailing, dans les régies publicitaires (expériences Google Ads, tests A/B de Meta), dans les logiciels de test de site et dans de nombreux outils de création de landing page.
Exemple
Un exemple chiffré sur une page d’inscription
Prenons un éditeur de logiciel qui teste un nouveau titre sur sa page d’inscription à l’essai gratuit. En trois semaines, 4 000 visiteurs voient la version de contrôle et 4 000 la variante. La version de contrôle génère 120 essais, soit un taux de conversion de 3,0 %. La variante en génère 152, soit 3,8 %.
La hausse relative se calcule en divisant l’écart par le taux de contrôle : 0,8 divisé par 3,0, environ 27 %. Supposons que l’outil indique qu’un tel écart n’apparaîtrait par hasard que dans moins de 5 % des cas. L’équipe désigne la variante gagnante et la déploie.
L’effet sur le coût est immédiat. Si 8 000 visites payantes par mois coûtent 16 000 €, la version de contrôle apporte 240 essais à environ 67 € l’un, la variante 304 essais à environ 53 €. Arrêtez le même test après 500 visiteurs de chaque côté, et un écart de quelques essais aurait tout aussi bien pu pencher dans l’autre sens.
Usage
Quand le test A/B est le bon outil
- Quand une page ou un e-mail reçoit assez de trafic pour obtenir une réponse nette en quelques semaines, car un test qui dure des mois absorbe trop de changements extérieurs.
- Pour les décisions qui pèsent sur le chiffre d’affaires (l’offre, la présentation du prix, le formulaire, le titre principal) plutôt que pour des détails cosmétiques.
- Il trompe quand l’indicateur est trop superficiel, par exemple un objet d’e-mail qui gagne sur les ouvertures mais perd sur les achats plus loin dans le tunnel.
- Pour un site peu fréquenté, une réécriture franche fondée sur des entretiens clients sert souvent davantage qu’un test qui n’aboutit jamais.
Points de vigilance
Les erreurs fréquentes en test A/B
- Consulter le tableau de bord chaque jour et arrêter le test dès que la variante passe devant, ce qui couronne des gagnants nés d’une simple fluctuation.
- Modifier le titre, l’image et le formulaire dans la même variante, puis ne plus savoir lequel des trois changements a produit l’effet.
- Faire tourner un test uniquement pendant une semaine de fêtes, si bien que le gagnant reflète des acheteurs inhabituels qui ne seront plus là le mois suivant.
- Mesurer les clics sur un bouton au lieu de l’action dont l’entreprise a réellement besoin, comme un achat finalisé ou une demande qualifiée.
- Ne jamais noter l’hypothèse ni le résultat, de sorte que l’équipe refait d’anciens tests et oublie ce qu’elle avait déjà appris.
FAQ
Questions sur Test A/B
Combien de temps faut-il laisser tourner un test A/B ?
Fixez la durée avant le lancement, d’après votre taux de départ et la plus petite hausse qui vaut la peine d’être détectée. Beaucoup d’équipes couvrent au moins deux semaines complètes pour inclure jours ouvrés et week-ends. Arrêter tôt parce qu’une version semble devant est la façon habituelle de désigner un faux gagnant.
Quel trafic faut-il pour faire de l’A/B testing ?
Cela dépend de la fréquence de l’objectif et de l’ampleur du changement espéré. Une page à faible taux de conversion et une retouche subtile demandent beaucoup de visiteurs par version. Si votre calculateur d’échantillon annonce plusieurs mois, testez un changement plus marqué ou une page plus fréquentée.
Quelle différence entre test A/B et test multivarié ?
Un test A/B compare des versions entières, le plus souvent une modification face à l’original. Un test multivarié combine plusieurs éléments à la fois, par exemple titre et image, pour voir quelle association fonctionne. Il répartit les visiteurs en nombreux groupes et convient donc aux sites à fort trafic.
Fonctionnement
Comment un split test rend son verdict
Tout part d’une hypothèse, par exemple : raccourcir le formulaire augmentera le nombre de demandes envoyées, parce que les visiteurs abandonnent au champ du numéro de téléphone. Vous retenez un indicateur principal, vous décidez combien de visiteurs chaque version doit recevoir avant de regarder le résultat, puis l’outil répartit le trafic, en général moitié moitié.
À la fin du test, la question est de savoir si l’écart entre les versions dépasse ce que le hasard seul pourrait produire. Les outils l’expriment par la significativité statistique ou par la probabilité que la variante batte la version de contrôle. Plus l’écart attendu est faible et plus le taux de départ est bas, plus il faut de trafic. Voilà pourquoi un site peu visité ne peut presque jamais tester une petite retouche de formulation dans un délai raisonnable.
C’est l’ampleur du changement qui fait bouger le résultat. Réécrire l’offre, le titre ou la longueur du formulaire modifie davantage le comportement que la couleur d’un bouton : les premiers tests visent donc les zones de la page que les visiteurs lisent vraiment.