Estimer le succès comparatif de différentes brochures

Le problème du monde réel

Un de mes clients s'apprête à envoyer un publipostage à sa liste d'utilisateurs abonnés, et ce défi statistique s'est posé.

Leur équipe marketing dispose de 3 brochures différentes et souhaite savoir quelle brochure obtient le taux de réponse le plus élevé. Ils aimeraient également savoir si l'envoi de l'expéditeur avec une adresse manuscrite, sur une enveloppe épaisse, améliore les résultats par rapport à une enveloppe normale.

Supposons ce qui suit:

Pour chaque brochure ( ), une personne qui reçoit cette brochure qui l'ouvre réellement et la lit répondra avec la probabilité , où est le taux de réponse réel pour cette brochure $b_i$ $i = 1,2,3$ $r_i$ $r_i$
Les enveloppes épaisses et de haute qualité ont un véritable taux d'ouverture de tandis que les enveloppes normales ont un taux d'ouverture de $o_{thick}$ $o_{normal}$
D'après les envois précédents, nous prévoyons que les taux de réponse réels observés se situeront entre environ 1% et 5%.

Nos buts

Nous voulons trouver la meilleure brochure tout en envoyant le moins d'envois. Nous voulons également estimer les deux taux ouverts.

Lors de la collecte des taux de réponse empiriques des expéditeurs envoyés réels, si la vraie différence entre les taux de réponse est supérieure à un demi pour cent, nous devrions être en mesure de détecter cette différence comme statistiquement significative avec $r_i$ $p < .05$

Mes pensées jusqu'à présent

Nous attribuons au hasard des utilisateurs à chacune des 3 brochures, de sorte que utilisateurs reçoivent chaque brochure. Nous voulons savoir de quel nous avons besoin pour atteindre notre sensibilité souhaitée dans la détection des différences de taux de réponse. En supposant le pire des cas, nous devons être en mesure de détecter une différence entre les taux réels de 1% et 1,5%. La SD de cette différence est . Fixer le double de cette quantité (2 écarts types nous donne une confiance de 95%) égal à 0,005 (notre demi-pour cent souhaité) conduit à la solution . $N$ $N$ $\sqrt{\frac{(.01*.99) + (.015*.985)}{N}}$ $N = 3948$

Des questions

Est-ce la conception optimale ou pouvons-nous faire mieux?
Mon calcul de correct? $N$

Enfin, quelle est la meilleure façon d'estimer et , ou simplement la différence entre les deux? $o_{normal}$ $o_{thick}$

Mon idée était d'attribuer au hasard la moitié de chaque groupe de brochures à chaque type d'enveloppe. Dans chaque groupe de brochures, les taux de réponse observés seraient le produit des taux ouverts et du . Cela compliquerait mon calcul de ci-dessus, car j'aurais vraiment dû utiliser ce produit dans mon calcul. $r_i$ $N$

Ma réponse dépendrait alors d'une estimation du taux d'ouverture moyen - - que je devrais deviner. De plus, je ne sais pas comment déterminer la distribution de la différence entre et , car nous avons maintenant trois estimations différentes de cette différence, dont chacune dépend d'un différent , chacun dont nous avons seules des estimations empiriques de, estimations empiriques qui dépendent elles-mêmes de notre estimation du taux d'ouverture moyen. $\frac{o_{normal} + o_{thick}}{2}$ $o_{normal}$ $o_{thick}$ $r_i$

Merci beaucoup pour toute aide.

hypothesis-testing anova statistical-significance

— Jonas
source

Voici une expérience de réflexion à considérer avant d'aller trop loin: Supposons deux scénarios, A et B. Dans le scénario A, chaque destinataire reçoit son courrier, l'ouvre, puis lance une pièce avec la probabilité pour décider de répondre ou non. Dans le scénario B, vos destinataires regardent le courrier qu'ils reçoivent, une pièce avec la probabilité et ouvrent le courrier s'il arrive en tête; ils répondent avec impatience à toute offre contenue dans le courrier qu'ils ouvrent et jettent tout courrier qu'ils n'ouvrent pas.

r_{i}

$r_i$

r_{i}

$r_i$

— Cardinal

Hé cardinal, je pense que le modèle le plus précis est en fait un hybride de A et B. Réfléchissez à la façon dont vous traitez réellement le courrier indésirable. Personnellement, sur la base de l'enveloppe et du cachet de la poste, je vais simplement jeter la majeure partie non ouverte. Mais si je l'ouvre, le marketing à l'intérieur doit alors attirer mon attention et me convaincre. Si nous considérons notre expéditeur comme un héros dans une quête, il doit tuer deux dragons indépendants pour sauver la princesse. Et en tant que concepteurs de tests, nous essayons de mesurer la forme physique relative de différents héros à la tâche de tuer ces 2 dragons différents.

— Jonah

Je suis d'accord que les gens n'agissent généralement pas aussi extrêmes, mais le but de l'introduction des scénarios était de provoquer une réflexion sur ce qui peut et ne peut pas être estimé à partir de vos données (sans introduire d'hypothèses supplémentaires implicites et potentiellement assez fortes). Dans un scénario, le taux de réponse observé provient entièrement d'une décision de réponse aléatoire alors que dans le second, il provient entièrement d'une décision d'ouverture de courrier aléatoire!

— Cardinal

Eh bien, je pense que le modèle plus simple que votre expérience de pensée suggère conduit à un problème beaucoup plus facile à résoudre. Je peux simplement penser à tester 6 scénarios (chaque enveloppe avec chaque brochure) et tester les différences en utilisant une méthode similaire à celle de la section "Mes pensées ...". Mais je soupçonne que cela conduira à envoyer plus de mailers qu'une solution au modèle à deux niveaux plus complexe. Le problème est que je ne sais pas à quelle distribution ce modèle à deux niveaux donne lieu, donc je ne sais pas comment le tester - d'où le post :)

— Jonah

Il existe des formules empiriques pour déterminer la taille de l'échantillon. Le test sous-jacent est un test t à deux échantillons pour l'égalité de la métrique (taux de réponse dans votre cas). En supposant que vous voulez que la puissance du test soit de 80%, une de ces formules est où est le dev std de la métrique (taux de réponse) et est la quantité de changement du taux de réponse que vous souhaitez résoudre de manière fiable (avec une signification statistique). $n= 16\sigma^2/\Delta^2$ $\sigma$ $\Delta$

En outre, il existe des plans factoriels fractionnaires qui vous permettent d'optimiser le nombre d'essais (en supposant que vous ne voulez pas mesurer les interactions de chaque facteur avec tous les autres facteurs). Ceci est un document d'enquête sur la conception expérimentale qui décrit les détails.

— wabbit
source

Supposons que vous ayez envoyé les brochures et à un nombre égal de clients , puis utilisateur répond à la brochure , et utilisateurs répondent à la brochure , et . Ensuite, la signification est $A$ $B$ $a$ $A$ $b$ $B$ $b>a$

$P = {\sum_{n=b}^{a+b} C^{a+b}_n \over 2^{a+b}}$

Peu importe le nombre d'utilisateurs qui ont reçu vos brochures, combien ont répondu.

— user31264
source