Le test A/B est mort, longue vie au test A/B !

Le test A/B est une méthode très simple et efficace permettant d'améliorer votre produit ou votre marketing (si vous ne savez pas de quoi il s'agit, je vous invite à lire "Améliorer ses résultats web avec le test A/B").

Quand bien même le A/B testing s'applique à peu près à tout, dans l'optique de cet article, je me concentrerais uniquement sur son utilisation aux produits en ligne, sites web et pages de vente.

Comment fonctionne le test A/B traditionnel

La procédure de test A/B est la suivante: vous créez une page avec un but de conversion unique (un achat, une inscription, un click ou un "like") et construisez différentes versions de cette même page avec, à chaque fois, une petite variation en termes de contenu, couleurs, structure, appel à l'action et d'images.

En utilisant un système de votre choix (logiciel, code php, javascript, Google Analytics, etc...), vous allez diriger un pourcentage équivalent de votre trafic vers chaque variation de votre page.

Après un certain temps, une fois que vous avez obtenu un trafic suffisant, vous pouvez analyser vos résultats. Vous devriez rapidement découvrir la variation qui fonctionne le mieux (celle qui a déclenché le plus de conversions avec le même nombre de visiteurs) et l'utiliser comme base pour votre prochain test A/B. Vous allez pouvoir conserver les éléments qui ont bien fonctionné et tester d'autres aspects de votre contenu.

Cette méthode est très traditionnelle et largement utilisée parce qu'elle a un bénéfice évident: vous SAVEZ ce qui fonctionne le mieux et vous pouvez en bénéficier pour améliorer vos résultats dans le temps. Très bien. Mais que ce passe-t-il VRAIMENT ?

Quel est le problème central du A/B testing ?

Le problème principal de l'approche traditionnelle de cette méthode est le temps qu'elle prend.

Pas tant le temps d'implémentation (qui peut s'avérer très court si vous avez un bon web designer ou utilisez un outil adéquat), mais le temps que prend la campagne pour consolider suffisamment de résultats.

Pour que vos résultats aient un sens, il faudra que votre campagne soit en ligne suffisamment longtemps pour obtenir un nombre valide de visites. Qu'est ce qu'un nombre "valide" ? Ca dépend !

Cela dépend du nombre de versions que vous avez créé (vous aurez besoin d'un trafic plus important pour 5 versions que vous n'en auriez besoin pour 2) et du nombre de conversions que vous générez. En dessous de quelques centaines de visiteurs par version et de quelques dizaines de conversions, votre panel sera trop petit pour en tirer la moindre conclusion.

Obtenir ces résultat pourrait prendre longtemps. Le problème est que vous risquez d'oublier votre campagne en cours. Pire, vous gâchez une partie de votre trafic !

Comment ça ? C'est mathématique ! Si vous obtenez 2,000 visites équitablement partagées sur deux versions de votre page, chaque version reçoit 1,000 visites. L'une de vos pages fonctionne mieux que l'autre, ce qui signifie que l'une de vos pages reçoit du traffic qui serait plus efficace sur l'autre page ! Le problème est que vous ne savez pas laquelle tant que votre test n'est pas terminé.

Quelle meilleure approche pour les tests A/B ?

La solution est simple: dirigez votre traffic vers votre meilleure version.

Attendez... n'est ce pas ce que je fais déjà ? Pas vraiment. Vous ALLEZ diriger votre trafic vers votre meilleure page, une fois que vous l'aurez identifiée. Mais cela risque de prendre plusieurs semaines et pendant tout ce temps vous "gâchez" votre bon trafic au profit d'une page moins performante.

Voici ce que vous devriez faire: organisez votre test A/B de manière à obtenir un double niveau de division.

Au premier niveau, vous divisez votre trafic à 80% / 20%.

Pour les 20 premiers pourcent, utilisez la même méthode que ce que vous avez fait jusqu'ici: divisez votre trafic de manière égale sur toutes vos versions.

Pour les 80% restants, dirigez tout votre trafic vers votre meilleure page, celle qui a le meilleur taux de conversion.

De cette manière, vous continuez votre test A/B tout en dirigeant la plupart de votre trafic vers la version qui converti le mieux.

Avec cette méthode, vous n'avez pas besoin de vous soucier de votre campagne: même si vous veniez à l'oublier, vos visiteurs continueraient d'être automatiquement redirigés vers la meilleure version de votre page.

Quelle est votre stratégie de test A/B ?

Julien Rio.