Tests A/B : pourquoi vos résultats ne sont pas toujours significatifs

Un test A/B qui affiche un gagnant à +12 % de conversion après trois jours n'a probablement rien prouvé. C'est pourtant sur ce type de résultat que je vois le plus souvent des décisions produit se prendre.

Ce que veut vraiment dire "statistiquement significatif"

Un résultat significatif ne signifie pas "la variante B a fait mieux". Il signifie que l'écart observé a une faible probabilité d'être dû au hasard, généralement en dessous d'un seuil de 5 % (p < 0,05). Sous ce seuil de confiance, l'écart peut très bien disparaître, voire s'inverser, si on relance le même test sur un nouvel échantillon.

La confusion la plus fréquente : traiter un pourcentage de conversion brut comme une preuve, sans jamais vérifier l'intervalle de confiance qui l'entoure.

L'erreur la plus commune : regarder le test avant qu'il soit terminé

Arrêter un test dès qu'un écart semble intéressant (le "peeking") est la source numéro un de faux positifs. Plus on regarde un test en cours, plus la probabilité de tomber sur un pic statistique temporaire augmente, un pic qui n'a rien à voir avec un effet réel.

La règle simple : fixer à l'avance la taille d'échantillon et la durée du test, et ne trancher qu'une fois ces deux seuils atteints, jamais avant.

La taille d'échantillon, la variable qu'on ignore le plus

Un test sur 200 visiteurs par variante ne peut pas détecter un écart de conversion de 10 %, même réel. La taille d'échantillon nécessaire dépend du taux de conversion de départ et de l'écart minimum qu'on veut pouvoir détecter : plus le taux de conversion de base est faible, plus il faut de volume pour observer un signal fiable.

Un calculateur de significativité comme celui d'Evan Miller donne en quelques secondes la taille d'échantillon minimale à atteindre avant de lancer le test, pas après.

Combien de temps faut-il vraiment faire tourner un test

Une durée minimale d'au moins un cycle commercial complet (souvent deux semaines, pour lisser les écarts de comportement entre jours de semaine et week-end) reste une bonne règle de base, à condition qu'elle soit couplée à la taille d'échantillon calculée en amont. Un test qui atteint son échantillon en trois jours sur un site à fort trafic doit quand même tourner au moins une semaine pour éviter un biais de saisonnalité courte.

Ce qui invalide un test même statistiquement significatif

• Un changement externe pendant le test (campagne publicitaire, article de presse, panne technique) qui affecte une variante plus que l'autre
• Un trafic non homogène entre les deux variantes (bug d'assignation aléatoire)
• Un test sur plusieurs métriques à la fois sans correction du seuil de significativité (le problème des comparaisons multiples)
• Un arrêt anticipé dès qu'un résultat semble favorable

Ce que je vérifie avant de valider un résultat

Avant de recommander un déploiement suite à un test A/B, je vérifie systématiquement trois choses : la taille d'échantillon a-t-elle été calculée avant le lancement, le test a-t-il tourné sur la durée prévue sans interruption anticipée, et l'écart observé se maintient-il sur un sous-échantillon a posteriori. Un résultat qui ne passe pas ces trois vérifications reste une hypothèse, pas une conclusion.

C'est cette rigueur statistique que j'intègre dans mon audit CRO : un test A/B mal conduit coûte plus cher qu'aucun test, parce qu'il génère une fausse confiance sur laquelle des décisions produit se construisent ensuite.

Pour identifier les points de friction à tester en priorité avant de lancer un test A/B, mon comparateur de pages produit et mon comparateur de tunnel de commande donnent un premier diagnostic gratuit. Sur la méthode générale du CRO, voir CRO, c'est quoi ? Optimiser la conversion sans tout refaire.