Questions marquées «ab-test»

Le test A / B, également connu sous le nom de test fractionné ou en seau, est une comparaison contrôlée de l'efficacité des variantes d'un site Web, d'un e-mail ou d'un autre produit commercial.

1
Calcul de la répétabilité des effets d'un modèle lmer
Je viens de tomber sur cet article , qui décrit comment calculer la répétabilité (aka fiabilité, aka corrélation intraclasse) d'une mesure via la modélisation d'effets mixtes. Le code R serait: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
Pourquoi est-il mal d'arrêter un test A / B avant que la taille d'échantillon optimale soit atteinte?
Je suis en charge de présenter les résultats des tests A / B (exécutés sur les variantes du site) dans mon entreprise. Nous exécutons le test pendant un mois, puis vérifions les valeurs de p à intervalles réguliers jusqu'à ce que nous atteignions la signification (ou abandonnons si la signification …
3
Quel test statistique utiliser pour le test A / B?
Nous avons deux cohortes de 1000 échantillons chacune. Nous mesurons 2 quantités sur chaque cohorte. Le premier est une variable binaire. Le second est un nombre réel qui suit une distribution de queue lourde. Nous voulons évaluer la cohorte la plus performante pour chaque métrique. Il existe de nombreux tests …
12 ab-test 
1
La formule du test bayésien A / B n'a aucun sens
J'utilise la formule de test ab bayésien afin de calculer les résultats du test AB en utilisant la méthodologie bayésienne. Pr ( pB> pUNE) = ∑i = 0αB- 1B ( αUNE+ i , βB+ βUNE)( βB+ i ) B ( 1 + i , βB) B ( αUNE, βUNE)Pr(pB>pUNE)=∑je=0αB-1B(αUNE+je,βB+βUNE)(βB+je)B(1+je,βB)B(αUNE,βUNE) \Pr(p_B …
10 r  bayesian  ab-test 
3
Test bayésien AB
J'exécute un test AB sur une page qui ne reçoit que 5 000 visites par mois. Il faudrait trop de temps pour atteindre les niveaux de trafic nécessaires pour mesurer une différence de + -1% entre le test et le contrôle. J'ai entendu dire que je peux utiliser les statistiques …
1
Test AB vs test de l'hypothèse nulle
J'essaie de comprendre la différence entre tester l'hypothèse nulle (c.-à-d. tester que la probabilité d'un «objectif» est la même pour 2 populations différentes, similaire au test prop. dans R) un test A / B utilisant une formule bayésienne telle que décrite ici: http://www.evanmiller.org/bayesian-ab-testing.html Y a-t-il une différence? Est-ce préférable? Le …
2
Test A / B en Python ou R [fermé]
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 8 mois . Tests A / B: http://20bits.com/articles/statistical-analysis-and-ab-testing/ http://elem.com/~btilly/effective-ab-testing/ Je ne suis pas trop …
8 r  python  ab-test 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.