Le test A/A, également connu sous le nom de test fractionné, est une méthode statistique utilisée pour valider la précision des outils et des méthodologies de test A/B. Il s’agit de mettre en place un test A/B dans lequel les deux variantes (A et B) sont des copies identiques l’une de l’autre. L’objectif est de confirmer que l’outil de test ne signale aucune différence statistiquement significative dans les taux de conversion entre les deux variantes identiques.
Quelques éléments clés à connaître sur les tests A/A :
- Il s’agit de vérifier l’exactitude de la mise en œuvre d’un nouvel outil de test A/B ou de changer de configuration. Effectuer régulièrement des tests A/A (e.g. trimestrielle) assure une fiabilité continue.
- La plupart des tests A/B doivent montrer que les différences de conversion entre des variantes identiques sont statistiquement insignifiantes, généralement inférieures à 5 %. Des différences significatives indiquent que des problèmes doivent être résolus.
- Il y a toujours une part d’aléatoire dans les tests. Parfois, un test A/A peut montrer une différence significative, même s’il n’y a pas de variation réelle entre les pages.
Pourquoi les tests A/A sont-ils importants ??
Validation des outils de test A/B
La principale raison pour laquelle les entreprises utilisent les tests A/B est de valider les outils de test fractionné nouvellement mis en œuvre. En comparant deux pages ou applications identiques, ils peuvent vérifier si l’outil signale avec précision des différences insignifiantes dans les indicateurs de conversion clés. Si des anomalies apparaissent, la configuration de l’outil doit être réexaminée afin d’identifier les problèmes avant de lancer les expériences A/B proprement dites.
Définir un taux de conversion de référence
Les tests A/B permettent également d’établir un taux de conversion de référence pour les futurs tests A/B. Par exemple, un test A/A sur une page d’accueil peut montrer un taux de conversion de 3.De 5 % à 3.8 % de conversions pour deux variantes identiques. Cette fourchette devient la référence à laquelle se comparer pour tester les changements de page d’accueil dans le cadre d’une expérience A/B.
Détermination de la taille minimale des échantillons
L’exécution de tests A/A fournit des indications sur les tailles d’échantillon appropriées à utiliser dans les tests fractionnés. L’examen des volumes d’utilisateurs nécessaires pour minimiser les faux positifs ou les anomalies permet de choisir des échantillons minimaux raisonnables pour les expériences A/B. Cela permet d’être plus confiant dans le fait que les différences détectées proviennent de changements de variation réels plutôt que du hasard.
Comment réaliser un test A/A
Suivez les étapes suivantes pour réaliser un test A/A efficace :
1. Sélectionner une page pertinente
Choisissez une page importante ou à fort trafic à tester, comme votre page d’accueil ou une page d’atterrissage clé. Les volumes importants permettent de collecter suffisamment de données dans un délai raisonnable.
2. Mettre en place des variantes identiques
Créez deux copies identiques de la page sélectionnée pour vos variantes A et B. Vérifier que les deux sont des répliques exactes sans différences d’éléments.
3. Insérer des codes de suivi
Insérez des codes dans les deux variantes pour suivre les paramètres de conversion clés que vous souhaitez comparer. Exemples : inscriptions, téléchargements, achats, etc.
4. Définir des règles de rotation
Établissez des règles de rotation des visiteurs afin que le trafic soit réparti de manière égale entre les différentes variantes pendant les tests. Les répartitions 50/50 sont courantes. Effectuer des tests suffisamment longs pour obtenir les tailles d’échantillon nécessaires.
5. Analyser les résultats
Enfin, analyser les données de suivi. Recherchez les différences de conversion entre les variantes A et B identiques et vérifiez si elles sont statistiquement significatives. Évaluer la taille des échantillons, la durée des tests, la segmentation, etc. Il est nécessaire de minimiser les anomalies pour les futures expériences A/B.
6. Retester régulièrement
Planifiez des tests A/A récurrents, par exemple tous les trimestres, afin de vérifier en permanence la fiabilité de votre outil et de votre processus.
Cas d’utilisation des tests A/A
Quelques exemples d’entreprises qui utilisent les tests A/B :
- Lors de la première mise en œuvre d’un nouvel outil de test A/B
- Après avoir effectué des changements d’infrastructure susceptibles d’avoir un impact sur les flux de travail de test
- Lorsque des résultats anormaux apparaissent dans des expériences A/B récentes
- Périodiquement, dans le cadre d’un contrôle continu de l’étalonnage (tous les 3 à 6 mois)
- Lors du changement de plateforme d’analyse utilisée dans les processus d’optimisation
- Après la mise à jour d’un outil de test existant vers une nouvelle version
Défis des tests A/A
Bien que précieux, les tests A/B présentent certains défis :
Pas d’informations sur le comportement des utilisateurs – Contrairement aux tests A/B, les tests A/A ne permettent pas de tirer des enseignements sur la réaction réelle des utilisateurs aux changements de contenu et de page.
Prend du temps – Les grandes tailles d’échantillons nécessaires pour minimiser les faux positifs requièrent des investissements en temps importants. Cela retarde l’apprentissage à partir d’expériences A/B réelles.
Variance aléatoire – La présence d’aléas signifie que les résultats peuvent occasionnellement montrer des différences à tort, même s’il n’y a pas de variation réelle entre les pages.
Dépendance de l’objectif du test – Certains moteurs statistiques, comme ceux basés sur la méthode bayésienne, n’exigent pas de taille minimale prédéterminée pour les échantillons, ce qui influe sur la meilleure façon de structurer les tests A/A.
Améliorer l’efficacité des tests A/A
Quelques conseils pour améliorer la pertinence et la fiabilité des tests A/A :
- Ajouter un suivi qualitatif – Incorporer des outils qualitatifs tels que des enregistrements de sessions et des cartes thermiques pour mieux comprendre les interactions des utilisateurs.
- Exploiter les segments – Comparer les performances de conversion sur des segments d’audience significatifs pour réduire les anomalies.
- Évaluer plusieurs paramètres – Évaluer une série de mesures de conversion et d’engagement pour une validation croisée des performances.
- Vérifier la cohérence du ciblage – Confirmer que le ciblage de l’expérience et les codes de suivi fonctionnent de manière cohérente sur toutes les plateformes.
- Utiliser des échantillons assez importants – Même s’il n’y a pas de différences réelles entre les pages, utilisez de grands échantillons pour minimiser les faux positifs dus à la variance aléatoire.
- Fixer des durées appropriées – Effectuer des tests suffisamment longs pour obtenir une confiance statistique suffisante dans les résultats.
- Retester régulièrement – Répéter les tests A/A au fil du temps pour vérifier en permanence les processus d’optimisation.
En résumé, le test A/A est une méthodologie importante qui permet de vérifier l’exactitude des outils, des configurations et des processus de test A/B. Il ne s’agit pas d’un test A/B, mais d’un test A/A. Une utilisation régulière combinée à de larges échantillons, des données qualitatives, une segmentation et l’exploration de multiples métriques donnent une confiance accrue dans le fait que les résultats A/B réels reflètent le véritable comportement des utilisateurs plutôt que des erreurs d’instrumentation ou des aléas. Bien qu’ils prennent du temps, les tests A/A constituent une partie inestimable du flux de travail global d’optimisation.