Taille d'échantillon requise pour déterminer laquelle parmi un ensemble de publicités a le taux de clics le plus élevé

Je suis concepteur de logiciels de métier et je travaille sur un projet pour un client, et je voudrais m'assurer que mon analyse est statistiquement solide.

Considérez ce qui suit: Nous avons n publicités (n <10), et nous voulons simplement savoir quelle publicité est la plus performante. Notre serveur publicitaire diffusera au hasard l'une de ces annonces. Le succès est si un utilisateur clique sur l'annonce - notre serveur en garde la trace.

Éléments fournis: intervalle de confiance: 95%

Question: Quelle est la taille estimée de l'échantillon? (Combien d'annonces au total devons-nous diffuser), pourquoi? (souviens-toi que je suis un mannequin)

Merci

— Jonathan
source

Pourriez-vous préciser ce que vous entendez par "marge d'erreur de 5%"?

— arrêt

@onestop - bonne clarification - je l'ai supprimé de la question. Je viens de prendre cette variable dans le calculateur de taille d'échantillon suivant: raosoft.com/samplesize.html Mais je ne pense pas que ce soit utile dans cette question. Merci!

— Jonathan

Pour de nombreux tests, vous pouvez calculer une taille d'échantillon telle que le test atteigne une certaine puissance compte tenu d'une taille d'effet supposée (fixe). En d'autres termes, vous devez d'abord spécifier ces choses: 1) quel test souhaitez-vous utiliser? 2) Quel pouvoir voulez-vous que ce test ait? conditionnelle à 3) une taille d'effet que vous jugez intéressante. 1) est quelque chose que les gens ici peuvent probablement vous aider. 2) pourrait être lié aux 95% que vous avez indiqués. 3) cependant, est-ce que vous devez fournir au préalable: dans quelle mesure les probabilités doivent-elles être considérées comme différentes?

— caracal

Donc, si je dois donner plus de paramètres ici, vous allez: 1. test à utiliser - aucune idée - avez-vous des suggestions? 2. pouvoir : même après avoir regardé la définition de wikipedia - je ne sais pas comment répondre intelligemment à cela. 3. taille de l'effet : permet de dire 10% de mieux

— Jonathan

Le test que vous voulez probablement est le test exact de Fisher . Malheureusement, étant donné le taux de clics probablement très faible et la petite taille d'effet attendue, vous aurez besoin d'un énorme N pour atteindre l'intervalle de confiance que vous souhaitez. Disons que le "vrai" taux de clics de votre meilleure annonce est de 0,11 et votre deuxième meilleur 0,1. De plus, supposons que vous souhaitiez que la probabilité que vous échouiez à tort à rejeter l'hypothèse nulle (qu'il n'y ait pas de différence entre les deux annonces) soit inférieure à 0,20. Si tel est le cas, vous aurez besoin d'un N de l'ordre de 10 000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Comme l'a suggéré un intervenant, vous ne devriez probablement pas vous soucier d'une différence de 10% dans les performances des annonces. Pour des différences plus grossières, la taille nécessaire des échantillons diminue rapidement.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
source