Statistical Significance (Significativité statistique) : Définition

La significativité statistique est le fondement mathématique qui valide ou invalide les résultats d'un test A/B ou multivarié. Elle répond à la question : "Cette amélioration est-elle réelle ou pourrait-elle être due au hasard ?". Le concept repose sur la p-value (probabilité), le niveau de confiance, et la puissance statistique. Un niveau de confiance de 95% (p-value < 0,05) est le standard industriel : cela signifie qu'il y a 95% de chances que la variante B soit réellement meilleure que A, et seulement 5% de chances que ce soit un faux positif. La significativité dépend de trois facteurs : la taille de l'échantillon (plus vous avez de données, plus vite vous atteignez la significativité), la magnitude de l'effet (un lift de +50% sera significatif plus rapidement qu'un lift de +5%), et la variance des données (plus le comportement est homogène, plus vite vous êtes significatif). Attention : significativité statistique ne signifie pas significativité pratique. Un test peut montrer une amélioration statistiquement significative de +2% mais qui n'est pas rentable à implémenter si le coût de développement est élevé. Il faut toujours combiner significativité statistique et business impact pour prendre des décisions. Les erreurs courantes incluent : arrêter un test trop tôt dès que 95% est atteint (il faut aussi la taille d'échantillon), monitorer le test en continu et arrêter dès qu'il passe 95% (peeking), et lancer trop de tests simultanément (ce qui augmente les faux positifs).