Raison intuitive pour laquelle l'information de Fisher sur le binôme est inversement proportionnelle à

12

Cela me rend confus / époustouflant que le binôme a une variance proportionnelle à . De manière équivalente, les informations de Fisher sont proportionnelles à $p(1-p)$ . Quelle est la raison pour ça? Pourquoi l'information Fisher est-elle minimisée à? Autrement dit, pourquoi l'inférence est-elle la plus difficile à? $\frac{1}{p(1-p)}$ $p=0.5$ $p=0.5$

Le contexte:

Je travaille sur un calculateur de taille d'échantillon, et la formule pour , la taille d'échantillon nécessaire, est un facteur croissant de , le résultat d'une estimation de la variance dans la dérivation. $N$ $p(1-p)$

variance binomial interpretation

— Cam.Davidson.Pilon
source

3

La variance d'une variable aléatoire de Bernoulli avec le paramètre

est

et la variable aléatoire binomiale, étant la somme de

variables aléatoires de Bernoulli indépendantes, a la variance

, qui est la somme des

les écarts. En ce qui concerne pourquoi

, considérons la variance comme le moment d'inertie autour du centre de masse des masses

et

à

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$ et

respectivement.

0

$0$

— Dilip Sarwate

Oui, je l' ai dit proportionnel à

, ignorer la

. Pouvez-vous élaborer sur votre deuxième partie, cela semble être une perspective intéressante.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

Pour voir, de manière intuitive, que la variance est maximisée à , prenez égal à (resp. ). Ensuite, un échantillon de contiendra probablement plusieurs (resp. ) et seulement quelques (resp. ). Il n'y a pas beaucoup de variation là-bas. $p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— ocram
source

C'est vrai. Ce que je devrais peut-être demander, c'est pourquoi l'information Fisher est-elle minimisée à ? $p=0.5$ , c'est-à-dire pourquoi l'inférence est-elle la plus difficile à

? Je mettrai à jour ma question pour refléter cela.

p = 0.5

$p=0.5$

— Cam.Davidson.Pilon

3

Encore une fois de manière très intuitive: plus il y a de variations, plus vous avez besoin d'informations.

— ocram

9

La conclusion est « difficile » pour « au milieu, parce qu'un échantillon près du milieu est compatible avec une large gamme de . Près des extrémités, il ne peut pas être si loin - car les extrémités sont des "barrières" au-delà desquelles ne peut pas aller. $p$ $\hat p$ $p$ $p$

Je pense cependant que l'intuition est plus facile à considérer en termes de variance.

L'intuition concernant la variance d'un binôme étant grand au milieu et petit aux extrémités est assez simple: près des points d'extrémité, il n'y a pas de place pour que les données "s'étalent". Considérez petit - parce que la moyenne est proche de 0, la variation ne peut pas être grande - pour que les données moyennes ne peuvent s'éloigner que de la moyenne. $p$ $p$

Considérons la variance d'une proportion d'échantillon dans une série d'essais de Bernoulli. Ici . Donc, en tenant fixe et en variant , la variation est beaucoup plus petite pour près de 0: $\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

Proportion d'échantillons dans les échantillons binomiaux - ici est juste uniforme au hasard; le cas bleu a une moyenne de 0,03, la moyenne noire 0,5 (un peu de gigue a été ajouté pour que les points ne s'accumulent pas trop et ne perdent pas de détails) $y$ entrez la description de l'image ici

Les fonctions de probabilité correspondantes: entrez la description de l'image ici

Dans chaque cas, faites attention aux lignes marquant la moyenne. À mesure que la ligne moyenne devient plus «coincée» contre la barrière, les points en dessous de la moyenne ne peuvent que descendre légèrement en dessous.

$p = \frac{1}{2}$

entrez la description de l'image ici

$\hat p$ $p$

[Cette forme d'intuition ne nous dit pas pourquoi elle prend cette forme fonctionnelle exacte, mais elle montre clairement pourquoi la variance doit être petite près des extrémités, et devenir plus petite plus vous vous rapprochez des extrémités.]

— Glen_b -Reinstate Monica
source

En conséquence, les points au-dessus de la moyenne ne peuvent généralement pas aller trop loin au-dessus de la moyenne (car sinon la moyenne se déplacerait!). Près de p = 12, les points d'extrémité ne "poussent pas" de la même façon. Trop parfait. Ceci est une excellente explication.

— Cam.Davidson.Pilon

7

L'information de Fisher est la variance de la fonction de score. Et c'est lié à l'entropie. Pour un essai à Bernoulli, nous obtenons un bit pour chaque essai. Donc, cette information Fisher a des propriétés similaires à celles de l'entropie de Shannon, comme on pourrait s'y attendre. En particulier, l'entropie a un maximum à 1/2 et l'information a un minimum à 1/2.

— James
source

Ah, une autre grande perspective. Je n'y avais pas pensé du point de vue entropique!

— Cam.Davidson.Pilon