🏗️Exemple concret
Amazon teste en permanence l'ordre des résultats de recherche. Version A : tri par popularité. Version B : tri par marge. Après 2 semaines sur 5% du trafic, la version B génère +2.3% de marge avec un p-value < 0.01 : la différence est statistiquement significative. Amazon déploie la version B à 100%.
∑ Concept clé
p-value : probabilité d'observer un résultat aussi extrême par hasard. Si p < 0.05 : résultat significatif. Taille d'échantillon minimum : n = 2 × (z_α + z_β)² × σ² / Δ²
🎯Quand l'utiliser ?
✓Optimisation de pages web (CTR, conversion)
✓Test de fonctionnalités produit
✓Validation de l'impact d'un modèle ML avant déploiement total
✅ Avantages
+Seul moyen de prouver la causalité (pas juste la corrélation)
+Décisions basées sur des données, pas sur des opinions
+Permet de tester sans risque sur un petit sous-ensemble
⚠️ Limites
−Nécessite beaucoup de trafic pour détecter de petits effets
−Les tests doivent durer assez longtemps (biais du 'peek')
−Ne teste qu'une chose à la fois (sinon, multivarié requis)
🛠️ Outils principaux
Optimizely
Google Optimize (arrêté)
Split.io
Python (scipy.stats)
R
ExpérimentationStatistiquesProduitConversionCausalité