Pourquoi 600 sur 1000 sont-ils plus convaincants que 6 sur 10?

Regardez cet extrait du "Manuel d'étude des compétences", Palgrave, 2012, de Stella Cottrell, page 155:

Pourcentages Remarquez quand des pourcentages sont donnés.
Supposons plutôt que la déclaration ci-dessus se lise:

60% des gens préféraient les oranges; 40% ont déclaré préférer les pommes.

Cela semble convaincant: les quantités numériques sont données. Mais la différence entre 60% et 40% est-elle significative ? Ici, nous aurions besoin de savoir combien de personnes ont été interrogées. Si on demandait à 1 000 personnes à 600 oranges préférées, le nombre serait persuasif. Cependant, si seulement 10 personnes étaient interrogées, 60% signifie simplement que 6 personnes préfèrent les oranges. "60%" semble convaincant, contrairement à "6 sur 10". En tant que lecteur critique, vous devez être à l'affût des pourcentages utilisés pour donner une impression de données insuffisante.

Comment appelle-t-on cette caractéristique dans les statistiques? J'aimerais en savoir plus à ce sujet.

Je voudrais énumérer un autre exemple intuitif.

Supposons que je vous dise que je peux prédire le résultat de n’importe quelle pièce. Vous ne croyez pas et voulez tester mes capacités.

Vous avez testé 5 fois, et je les ai tous bien compris. Pensez-vous que j'ai la capacité spéciale? Peut être pas. Parce que je peux tous les corriger par hasard. ( Plus précisément, supposons que la pièce est une pièce de monnaie de juste, et chaque expérience est indépendante, je peux obtenir tous les droits avec sans super - puissance. Voir Shufflepants de lien pour une blague à ce sujet).$0.5^5\approx0.03$

Par contre, si vous me testez un grand nombre de fois, il est très peu probable que je puisse l’obtenir par hasard. Par exemple, si vous avez testé fois, la probabilité de me faire tous est juste 0,5 100 ≈ 0 .$100$$0.5^{100}\approx 0$

Le concept statistique s'appelle pouvoir statistique, de Wikipeida

La puissance d'un test d'hypothèse binaire est la probabilité que le test rejette correctement l'hypothèse nulle (H0) lorsque l'hypothèse alternative (H1) est vraie.

Pour revenir à l'exemple du super pouvoir sur le flip de pièces, vous souhaitez exécuter un test d'hypothèse.

• Hypothèse nulle (H0): Je n'ai pas le super pouvoir
• Hypothèse alternative (H1): J'ai le super pouvoir

Maintenant, comme vous pouvez le voir dans l'exemple numérique (testez-moi 5 fois contre 100 fois), la puissance statistique a été affectée par la taille de l'échantillon.

Plus à lire ici . (plus technique et basé sur le test t).

Un outil interactif pour comprendre le pouvoir statistique peut être trouvé ici . Notez que la puissance statistique change avec la taille de l'échantillon!

Pensez-y en termes de proportions. Disons que préférer une orange est un succès, préférer une pomme est un échec. Donc, votre taux de réussite moyen est ou dans ce cas .6$\mu = \frac{\text{# of sucesses}}{n}$

L’erreur type de cette quantité est estimée à . Pour une petite taille deéchantillon (soit 10), l'erreur type est≈0,155mais pour une tailleéchantillon de 1000, l'erreur type est≈0,0155. Donc, comme cela a été mentionné dans les commentaires, "la taille de l'échantillon est importante".$\sqrt{\frac{\mu(1-\mu)}{n}}$$\approx .155$$\approx .0155$

Ce concept est une conséquence de la loi des grands nombres . De Wikipedia ,

Selon la loi, la moyenne des résultats obtenus avec un grand nombre d'essais devrait être proche de la valeur attendue et tendra à se rapprocher à mesure que davantage d'essais sont réalisés.

Les résultats d'un petit échantillon peuvent être plus éloignés de la valeur attendue que ceux d'un échantillon plus grand. Ainsi, comme indiqué dans la question, il convient de se méfier des résultats calculés à partir de petits échantillons. L'idée est également très bien expliquée dans cette vidéo de YouTube .

Nous sommes en train d'estimer une quantité de population à partir d'une quantité d'échantillon. Dans ce cas, nous utilisons des proportions d’échantillon pour estimer les proportions de la population, mais le principe est beaucoup plus général.

$1$$0$$1$$0$$1$

Au fur et à mesure que nous prenons des échantillons de plus en plus grands (en utilisant un échantillonnage aléatoire), les moyennes des échantillons tendent à converger vers les moyennes de la population. (Ceci est la loi des grands nombres.)

Cependant, ce que nous voulons vraiment savoir, c'est à quelle distance nous pourrions être (comme ce pourrait être représenté par la largeur d'un intervalle de confiance pour la proportion, ou par la marge d'erreur, qui correspond normalement à la moitié d'une telle largeur) .

$\frac{_1}{^{20}}$

$\frac{_1}{^\sqrt{n}}$

Par conséquent, nous sommes plus confiants quant à la précision de notre estimation lorsque l’échantillon est grand. Si nous répétions notre expérience, d’autres moyens semblables seraient similaires à ceux du modèle actuel: ils se regroupent de plus en plus étroitement, et parce que (dans ce cas) notre estimation est impartiale, ils se regroupent autour des valeurs que nous essayons d'estimer. Un simple échantillon de la moyenne devient de plus en plus informatif sur la position possible de la moyenne de la population.

Une règle empirique pour "compter" les statistiques, comme compter le nombre de personnes qui aiment les oranges ou compter le nombre de "clics" dans un compteur Geiger en raison de la décroissance radioactive, est que la marge d'erreur pour le compte est approximativement le carré -root de la valeur de comptage attendue. Les statistiques de comptage sont connues sont les statistiques de Poisson.

La racine carrée de 6 est 2,4-ish, la marge d'erreur est donc d'environ 40% (2,4 / 6). La racine carrée de 600 correspond à 24 bits, la marge d'erreur est donc d'environ 4% (24/600). C’est pourquoi avoir compté 600 est plus significatif que compter 6. L’erreur relative est d’un dixième.

Je suis un peu négligé sur la définition de la marge d'erreur. C'est vraiment la valeur 1-sigma, et ce n'est pas un seuil difficile, mais c'est la plage où vous vous attendez à la plupart (68%) des mesures. Donc, si vous attendez 6 mangeurs d’oranges, vous devriez vous attendre à une série de sondages qui vous donneront principalement des chiffres allant de 4 à 8, comme 6,6,5,6,7,2,4,6,3,5,6, 6,7,6,10,8,6,5,6,6,9,3,7,8.

Je n'ai pas le nom que vous recherchez, mais le problème n'est pas statistique. Psychologiquement, la façon dont les humains traitent les nombres dans notre cerveau donne plus de poids (autorité) à de plus grands nombres qu’elle ne le fait à des nombres plus petits car la grandeur (taille physique) est visuellement aussi importante que la valeur représentative. Ainsi, 600/1000 apparaît plus crédible que 6/10. C'est pourquoi les acheteurs préfèrent voir "10% de réduction!" pour des valeurs inférieures à 100 et "Save 10 $!" pour les valeurs supérieures à 100 (appelée "règle de 100"). Il s'agit de la façon dont notre cerveau réagit à la perception.

Nick Kolenda présente dans son traité en ligne, " Un guide énorme pour la psychologie des prix ", une présentation étonnante de ce phénomène et de phénomènes similaires .

Bien que la marge d'erreur réelle soit importante, cela semble plus convaincant en raison d'une expérience plus heuristique (règle empirique) avec les gens. La marge d'erreur réelle confirme que cette heuristique a du mérite.

Si l'échantillon est composé de 6 voix pour et 4 voix contre, cela pourrait être 50/50 si une seule personne modifie son vote, ou si une seule personne est enregistrée par erreur. Il n'y a plus que deux personnes du côté 6. Tout le monde connaît deux flocons, tout le monde sait que l’échantillon pourrait être choisi: on ne demandait que des serveuses et personne d’autre. Ou vous n'avez interrogé que 10 professeurs d'université dans les couloirs d'une université. Ou vous avez demandé à 10 personnes riches en dehors de Saks Fifth Avenue.

Même la marge d'erreur mathématique présuppose un véritable caractère aléatoire et ne tient pas compte du biais de sélection, du biais de l'autosélection ou de toute autre chose, les gens peuvent le comprendre intuitivement.

En revanche, le résultat de 600 contre 400 a 200 personnes de plus d'un côté que l'autre, et 100 personnes devraient changer d'avis. Ces chiffres sont très difficiles à obtenir (mais pas impossibles) par un accident de votre lieu de scrutin, de la façon dont vous avez obtenu l’accord des gens, de la façon dont les personnes ont compris ou interprété la question, etc.

C’est plus convaincant, non pas à cause d’une preuve mathématique qu’elle devrait l’être, mais parce que nous savons par expérience que des foules de 1 000 personnes sont beaucoup plus susceptibles d’avoir des opinions divergentes (sur quoi que ce soit) qu’un groupe de 10 (à moins que vous ne le fassiez secrètement). votre vote lors d’un congrès de parti politique, d’un rassemblement du KKK ou de quelque chose d’autre susceptible d’attirer une foule partiale).

La mathématique ne quantifie précisément que ce que nous savons déjà par intuition; qu'il est plus facile de rencontrer au hasard un ou deux votes parasites sur 10 que de rencontrer au hasard 100 ou 200 votes dispersés sur 1000.

Une chose qui n’a pas été mentionnée est d’examiner le problème d’un point de vue bayésien.

$p$$p$

$\beta=\alpha$$\beta=\alpha=1$$p$$\mathrm{U}(0,1)$

$n$$n_o$$n_a=n-n_o$

$p$

$p$$n_o/(n_o+n_a)$$n$

$n_o=6$$n_a=4$

$n_o=600$$n_a=400$

$p=0.4$$p=0.8$

Veuillez noter que bien que ces graphiques ressemblent à ceux de david25272, ils représentent quelque chose de très différent .

$p$$n_o$

$n_o$$p$

La réponse courte:

Fondamentalement, il est plus convaincant d’avoir 600 sur 1000 que six sur 10 car, à égalité de préférences, il est beaucoup plus probable que 6 sur 10 surviennent par hasard.

Faisons l'hypothèse - que la proportion de ceux qui préfèrent les oranges et les pommes est en réalité égale (donc 50% chacun). Appelez cela une hypothèse nulle. Étant donné ces probabilités égales, les probabilités des deux résultats sont les suivantes:

• Sur un échantillon de 10 personnes, il y a 38% de chances d’obtenir au hasard un échantillon de 6 personnes ou plus qui préfèrent les oranges (ce qui n’est pas si improbable).
• Avec un échantillon de 1 000 personnes, il y a moins de 1 chance sur 1 000 que 600 ou plus des 1 000 personnes préfèrent les oranges.

(Pour simplifier, je suppose une population infinie à partir de laquelle prélever un nombre illimité d’échantillons).

Une simple dérivation

Une façon de parvenir à ce résultat est simplement de lister les manières potentielles de combiner les gens dans nos échantillons:

Pour dix personnes c'est facile:

Envisagez de prélever au hasard des échantillons de 10 personnes parmi une population infinie de personnes ayant des préférences égales pour les pommes ou les oranges. Avec des préférences égales, il est facile de simplement énumérer toutes les combinaisons possibles de 10 personnes:

Voici la liste complète.

r   C (n=10)    p
10  1       0.09766%
9   10      0.97656%
8   45      4.39453%
7   120     11.71875%
6   210     20.50781%
5   252     24.60938%
4   210     20.50781%
3   120     11.71875%
2   45      4.39453%
1   10      0.97656%
0   1       0.09766%
    1024    100%

r est le nombre de résultats (les personnes qui préfèrent les oranges), C est le nombre de façons dont un grand nombre de personnes peuvent préférer des oranges et p est la probabilité discrète résultante que nombre de ces personnes préfèrent des oranges de notre échantillon.

(p est juste C divisé par le nombre total de combinaisons. Notez qu’il existe 1024 façons d’arranger ces deux préférences au total (c’est-à-dire 2 à la puissance 10).

• Par exemple, il n'y a qu'un seul moyen (un échantillon) pour 10 personnes (r = 10) de préférer toutes les oranges. Il en va de même pour toutes les personnes préférant des pommes (r = 0).
• Il existe 10 combinaisons différentes, de sorte que neuf d'entre elles préfèrent les oranges. (Une personne différente préfère les pommes dans chaque échantillon).
• Il y a 45 échantillons (combinaisons) où 2 personnes préfèrent des pommes, etc., etc.

(En général, nous parlons de n C r combinaisons de résultats r provenant d'un échantillon de n personnes. Il existe des calculatrices en ligne que vous pouvez utiliser pour vérifier ces chiffres.)

Cette liste nous permet de nous donner les probabilités ci-dessus en utilisant simplement la division. Dans l'échantillon, il y a 21% de chances que 6 personnes préfèrent les oranges (210 des 1024 combinaisons). La probabilité d'obtenir six personnes ou plus dans notre échantillon est de 38% (somme de tous les échantillons de six personnes ou plus, soit 386 combinaisons).

Graphiquement, les probabilités ressemblent à ceci:

Avec des nombres plus importants, le nombre de combinaisons potentielles augmente rapidement.

Il y a 1 048 576 échantillons possibles pour un échantillon de seulement 20 personnes, tous avec la même probabilité. (Remarque: je n'ai montré qu'une combinaison sur deux ci-dessous).

r    C (n=20)   p
20   1          0.00010%
18   190        0.01812%
16   4,845      0.46206%
14   38,760     3.69644%
12   125,970    12.01344%
10   184,756    17.61971%
8    125,970    12.01344%
6    38,760     3.69644%
4    4,845      0.46206%
2    190        0.01812%
0    1          0.00010%
     1,048,576  100%

Il n'y a toujours qu'un seul échantillon où les 20 personnes préfèrent les oranges. Les combinaisons qui présentent des résultats mitigés sont beaucoup plus probables, tout simplement parce qu'il existe beaucoup plus de façons de combiner les personnes des échantillons.

Les échantillons biaisés sont beaucoup plus improbables, simplement parce qu'il y a moins de combinaisons de personnes pouvant donner ces échantillons:

Avec seulement 20 personnes dans chaque échantillon, la probabilité cumulée d'avoir 60% ou plus (12 ou plus) personnes dans notre échantillon préférant les oranges tombe à seulement 25%.

On voit que la distribution de probabilité devient plus mince et plus grande:

Avec 1000 personnes, les chiffres sont énormes

Nous pouvons étendre les exemples ci-dessus à des échantillons plus volumineux (mais le nombre augmente trop rapidement pour pouvoir lister toutes les combinaisons), mais j'ai calculé les probabilités dans R:

r   p (n=1000)
1000    9.332636e-302
900     5.958936e-162
800     6.175551e-86
700     5.065988e-38
600     4.633908e-11
500     0.02522502
400     4.633908e-11
300     5.065988e-38
200     6.175551e-86
100     5.958936e-162
0       9.332636e-302

La probabilité cumulée que 600 ou plus des 1000 personnes préfèrent les oranges est de seulement 1,364232e-10.

La distribution de probabilité est maintenant beaucoup plus concentrée autour du centre:

[

(Par exemple, pour calculer la probabilité d’exactement 600 personnes sur 1 000 préférant des oranges en R, utilisez dbinom(600, 1000, prob=0.5)4.633908e-11, et la probabilité de 600 personnes ou plus est 1-pbinom(599, 1000, prob=0.5)égale à 1,364232e-10 (moins de 1 sur un milliard).

En effet, un nombre élevé assure une plus grande précision. Par exemple, si vous choisissiez 1000 personnes aléatoires de partout sur la planète et que 599 d’entre elles sont des hommes contre 10 personnes aléatoires avec 6 hommes, les premières seraient plus précises. De même, si vous supposez une population de 7 milliards d’habitants et calculez le nombre d’hommes, vous obtiendrez un chiffre plus précis qui serait évidemment plus convaincant qu’avec seulement 1 000 personnes.