Moyenne de l'échantillon bootstrap vs statistique de l'échantillon

Disons que j'ai un échantillon et l' échantillon de bootstrap de cet échantillon pour un stastitique (par exemple la moyenne). Comme nous le savons tous, cet échantillon bootstrap estime la distribution d'échantillonnage de l'estimateur de la statistique. $\chi$

Maintenant, la moyenne de cet échantillon bootstrap est-elle une meilleure estimation de la statistique de la population que la statistique de l' échantillon d' origine ? Dans quelles conditions serait-ce le cas?

estimation bootstrap

— Amelio Vazquez-Reina
source

La moyenne de l'échantillon bootstrap est la moyenne de l'échantillon et vous n'avez pas besoin d'un échantillon bootstrap dans ce cas.

— Xi'an

Merci @ Xi'an, je ne suis pas sûr de suivre. La moyenne de l'échantillon bootstrap peut être numériquement différente de la moyenne de l'échantillon. Essayez-vous de dire que les deux sont toujours théoriquement équivalents? Pouvez-vous confirmer des deux côtés?

— Amelio Vazquez-Reina

Clarifions notre terminologie: "échantillon bootstrap" pourrait faire référence soit à un échantillon spécifique avec remplacement à partir des données, soit à une variable aléatoire (multivariée) dont un tel échantillon serait considéré comme une réalisation. Vous avez raison de dire que la moyenne d'une réalisation peut différer de la moyenne des données, mais @ Xi'an fournit l'observation la plus pertinente selon laquelle la moyenne de la variable aléatoire (qui par définition est l' estimation bootstrap de la moyenne de la population ) doit coïncider avec la moyenne des données.

— whuber

Ensuite, votre question est presque identique à stats.stackexchange.com/questions/126633/… ; la seule différence est que les réalisations de l'échantillon bootstrap peuvent se chevaucher, mais l'analyse donnée dans la réponse y est facilement reportée à la situation bootstrap, avec le même résultat.

— whuber

Je vois la connexion @whuber, bien que dans le bootstrap on ait des "sous-ensembles avec remplacement" et les réalisations peuvent se chevaucher, comme vous l'avez dit. J'imagine que la distribution (par exemple pseudo-aléatoire) utilisée pour obtenir les ré-échantillons dans le bootstrap peut également affecter le biais de l'estimation à partir de l'échantillon du bootstrap. La réponse est peut-être que pour toutes les questions pratiques, la différence est négligeable. C'est cela la question: les conditions, les subtilités et la différence de pratique.

— Amelio Vazquez-Reina

Réponses:

Généralisons, afin de nous concentrer sur le nœud du problème. J'exposerai les moindres détails afin de ne laisser aucun doute. L'analyse ne requiert que les éléments suivants:

La moyenne arithmétique d'un ensemble de nombres est définie comme étant $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
L'attente est un opérateur linéaire. Autrement dit, lorsque sont des variables aléatoires et sont des nombres, alors l'attente d'une combinaison linéaire est la combinaison linéaire des attentes, $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Soit un échantillon obtenu à partir d'un ensemble de données en prenant éléments uniformément de avec remplacement. Soit soit la moyenne arithmétique de . Il s'agit d'une variable aléatoire. alors $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

suit par la linéarité de l'attente. Puisque les éléments de sont tous obtenus de la même façon, ils ont tous la même attente, dit: $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Cela simplifie ce qui précède pour

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Par définition, l'attente est la somme des valeurs pondérées par la probabilité. Étant donné que chaque valeur de est supposée avoir une chance égale de d'être sélectionnée, $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} X_{1} + \dots + \frac{1}{n} X_{n} = \frac{1}{n} (X_{1} + \dots + X_{n}) = \bar{X},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

la moyenne arithmétique des données.

Pour répondre à la question, si l'on utilise la moyenne des données pour estimer la moyenne de la population, alors la moyenne bootstrap (ce qui est le cas ) est également égale à , et est donc identique comme estimateur de la moyenne de la population. $\bar x$ $k=n$ $\bar x$

Pour les statistiques qui ne sont pas des fonctions linéaires des données, le même résultat ne tient pas nécessairement. Cependant, il serait faux de simplement substituer la moyenne de bootstrap à la valeur de la statistique sur les données: ce n'est pas ainsi que fonctionne le bootstrap. Au lieu de cela, en comparant la moyenne de bootstrap à la statistique des données, nous obtenons des informations sur le biais de la statistique. Cela peut être utilisé pour ajuster la statistique d'origine pour supprimer le biais. Ainsi, l'estimation corrigée du biais devient ainsi une combinaison algébrique de la statistique d'origine et de la moyenne de bootstrap. Pour plus d'informations, recherchez «BCa» (bootstrap à correction de biais et accéléré) et «ABC». Wikipedia fournit quelques références.

— whuber
source

Vous voulez dire que l'attente de la moyenne de bootstrap est égale à la moyenne des données, non? La moyenne de bootstrap elle-même n'est pas déterminée par l'échantillon de données (d'origine).

— capybaralet

@ user2429920 La moyenne de bootstrap est une statistique déterminée par l'échantillon. En ce sens, elle est identique à la moyenne de l'échantillon. Son attente est prise dans le sens de la distribution d'échantillonnage. Je soupçonne que vous utilisez peut-être "l'attente" dans un sens différent par rapport au processus de calcul de la moyenne de bootstrap via un sous-échantillonnage répété avec remplacement.

— whuber

Je pense que le dernier paragraphe est la vraie réponse à cette question car il est général et ne se concentre pas uniquement sur la statistique moyenne. J'avais le même doute que le PO, et je n'étais pas au courant de l'existence de BCa. Bien que la démonstration de cette réponse ne m'a pas beaucoup aidé (je n'utilise pas la moyenne comme statistique), le dernier paragraphe était très clair sur le nœud du problème. Je crois que la réponse de Xi'an aborde également le cas où la statistique moyenne est utilisée, donc même problème. Je vous remercie!

— Gabriel

@Gabriel bons points. J'ai vérifié le dossier: avant l'édition, cette question ne posait à l'origine que la moyenne. C'est pourquoi les réponses semblent être si concentrées sur cette statistique.

— whuber

Puisque la distribution est défini comme bootstrap

{\hat{F}}_{n} (X) = \frac{1}{n} \sum_{je = 1}^{n} {je}_{X_{je} \leq X} X_{je} \overset{iid}{\sim} F (X),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} \sum_{je = 1}^{n} X_{je} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— Xi'an
source

+1 C'est la réponse que je voulais à l'origine écrire, mais je craignais qu'elle soit trop opaque pour certains lecteurs. Je suis néanmoins heureux de le voir si élégamment présenté. Je ne sais pas ce que vous voulez dire dans votre dernière phrase, cependant, où vous semblez différencier l '"attente" de l'approximation simulée de la moyenne de sa "limite": puisque l'attente est constante (elle ne varie pas avec la taille de la simulation ), il n'y a vraiment aucune limite à prendre.

— whuber

@whuber: Merci pour le commentaire et désolé d'avoir écrit ma réponse laconique exactement en même temps que la vôtre! Vos explications sont certainement plus lisibles par les novices en bootstrap. J'ai corrigé la dernière phrase, dont la partie limitante est la loi des grands nombres.

— Xi'an

Votre utilisation de «méchant» dans cette dernière phrase est assez ambiguë! Je l'ai compris à partir de votre indice LLN. Pour toute simulation finie de la distribution bootstrap, chaque échantillon de la simulation produit sa propre moyenne (il y a une seule signification de «moyenne»). La moyenne de tous ces échantillons dans une simulation donnée produit une moyenne de simulation (il y a une autre signification). La moyenne de simulation converge vers une constante au fur et à mesure que la taille de la simulation augmente, ce qui est la moyenne de bootstrap (un troisième sens), ce qui est égal à la moyenne de l'échantillon (le quatrième sens). (Et cela estime la moyenne de la population - un cinquième sens!)

— Whuber