Sample Size (Taille d'Échantillon) : Définition
Aussi appelé : Taille de l'Échantillon, Échantillon Statistique, N
Le Sample Size (Taille d'Échantillon) désigne le nombre d'observations ou de participants nécessaires pour qu'une analyse statistique soit fiable et représentative. En marketing digital et CRO, il détermine le nombre de visiteurs requis pour qu'un test A/B atteigne la significativité statistique. Un échantillon trop petit risque de produire des résultats aléatoires (faux positifs), tandis qu'un échantillon trop grand gaspille du temps et des ressources.
Qu'est-ce que la Sample Size et pourquoi est-ce important ?
Le Sample Size est crucial pour tout test ou analyse basée sur des données. Il répond à la question : "Combien d'observations faut-il pour être confiant dans les résultats ?"
En A/B testing, le calcul du sample size dépend de quatre facteurs : le taux de conversion baseline (point de départ), l'effet minimum détectable (MDE - quelle amélioration voulez-vous pouvoir détecter), le niveau de confiance (généralement 95%), et la puissance statistique (généralement 80%).
Exemple : avec un taux de conversion de 3% et un MDE de 20% (passage à 3.6%), il faut environ 15 000 visiteurs par variation pour atteindre la significativité. Lancer un test avec seulement 1 000 visiteurs augmente drastiquement les chances de faux positifs ou faux négatifs.
Formule de calcul du Sample Size
n = 2 × ((Zα + Zβ)² × p(1-p)) / δ²
- n : taille d'échantillon par variation
- Zα : z-score pour le niveau de confiance (1.96 pour 95%)
- Zβ : z-score pour la puissance (0.84 pour 80%)
- p : taux de conversion baseline
- δ : différence absolue à détecter (MDE)
Exemple concret
Un e-commerce planifie un test A/B sur sa page produit :
Paramètres :
- Taux de conversion actuel : 2.5%
- MDE souhaité : 15% relatif (passage à 2.875%)
- Niveau de confiance : 95%
- Puissance : 80%
Calcul : Sample size requis ≈ 35 000 visiteurs par variation, soit 70 000 visiteurs totaux.
Avec 5 000 visiteurs/jour sur la page, le test nécessite 14 jours pour atteindre la significativité.
Erreur évitée : Arrêter le test après 3 jours (15 000 visiteurs) aurait donné 45% de chances de faux positif ou faux négatif.
Benchmarks Sample Size par secteur
| Secteur | Sample Size moyen | Source |
|---|---|---|
| A/B Testing | Niveau de confiance standard : 95% | VWO 2024 |
| CRO | Puissance statistique recommandée : 80% | Optimizely 2024 |
| E-commerce | Durée test minimum : 1-2 semaines business | ConversionXL 2024 |
| Analytics | MDE réaliste : 10-20% relatif | Evan Miller Calculator 2024 |
Questions fréquentes
Pourquoi ne pas simplement attendre 'beaucoup' de visiteurs ?
Un échantillon surdimensionné gaspille du temps (résultats auraient été fiables plus tôt) et expose l'entreprise plus longtemps à une variation potentiellement perdante. Le calcul du sample size optimise le rapport fiabilité/délai. De plus, trop de données peuvent faire ressortir des différences statistiquement significatives mais commercialement négligeables (1% d'amélioration sur un bouton).
Que faire si mon trafic est insuffisant pour le sample size requis ?
Options : 1) Augmenter le MDE (accepter de ne détecter que les gros effets), 2) Tester sur des pages à plus fort trafic, 3) Tester des changements plus radicaux (plus grandes différences = besoin de moins de trafic), 4) Utiliser des méthodes bayésiennes (conclusions plus rapides mais différentes), 5) Se concentrer sur la recherche qualitative plutôt que quantitative.
Peut-on arrêter un test A/B avant d'atteindre le sample size ?
Non recommandé. Regarder les résultats en cours ('peeking') et arrêter dès qu'une variation semble gagner augmente drastiquement les faux positifs (jusqu'à 30-40%). Si vous devez monitorer en cours de test, utilisez des méthodes de correction (sequential testing, alpha spending). La meilleure pratique : définir le sample size et la durée avant de lancer, puis attendre sans regarder.
Comment calculer rapidement le sample size pour un test A/B ?
Utilisez un calculateur en ligne (Evan Miller, VWO, Optimizely). Entrez votre taux de conversion actuel, l'amélioration minimum que vous voulez détecter (MDE), et acceptez les paramètres standards (95% confiance, 80% puissance). Le calculateur vous donne le nombre de visiteurs nécessaires par variation. Multipliez par le nombre de variations pour le total.
Termes connexes
Besoin d'aide pour comprendre vos métriques ?
On peut vous accompagner dans l'analyse de vos données et l'optimisation de vos performances marketing.