Pourquoi avons-nous besoin de Bootstrapping?

Je lis actuellement "Toutes les statistiques" de Larry Wasserman et je suis perplexe à propos de quelque chose qu'il a écrit dans le chapitre sur l'estimation des fonctions statistiques des modèles non paramétriques.

Il a écrit

"Parfois, nous pouvons trouver l'erreur-type estimée d'une fonction statistique en effectuant quelques calculs. Cependant, dans d'autres cas, il n'est pas évident de savoir comment estimer l'erreur-type".

Je voudrais souligner que dans le chapitre suivant, il parle de bootstrap pour résoudre ce problème, mais comme je ne comprends pas vraiment cette déclaration, je n'obtiens pas pleinement l'incitation derrière Bootstrapping?

Dans quel exemple existe-t-il quand on ne sait pas comment estimer l'erreur type?

Tous les exemples que je l' ai vu jusqu'à présent ont été « évidents » tels que puis $X_1,...X_n ~Ber(p)$ $\hat{se}(\hat{p}_n )=\sqrt{\hat{p}\cdot(1-\hat{p})/n}$

— Shookie
source

Je trouve beaucoup d'exemples dans une recherche de site pour d'autres réponses qui proposent un bootstrap . Ils incluent stats.stackexchange.com/questions/14213 , stats.stackexchange.com/questions/63979 , stats.stackexchange.com/questions/25218 , et bien plus encore.

— whuber

Réponses:

Deux réponses.

Quelle est l'erreur type du rapport de deux moyennes? Quelle est l'erreur type de la médiane? Quelle est l'erreur type d'une statistique complexe? Il y a peut-être une équation de forme fermée, mais il est possible que personne ne l'ait encore résolue.
Pour utiliser la formule de (disons) l'erreur-type de la moyenne, nous devons faire quelques hypothèses. Si ces hypothèses sont violées, nous ne pouvons pas nécessairement utiliser la méthode. Comme @Whuber le souligne dans les commentaires, le bootstrap nous permet d'assouplir certaines de ces hypothèses et peut donc fournir des erreurs standard plus appropriées (bien qu'il puisse également faire des hypothèses supplémentaires).

— Jeremy Miles
source

La réponse 1 est correcte, mais la réponse 2 semble poser la question, car le bootstrap fait également des hypothèses. Je suppose que le point pourrait être qu'il fait généralement des hypothèses différentes des autres procédures populaires, mais c'est juste ma supposition sur ce que vous essayez de dire et je peux me tromper.

— whuber

@Whuber - merci, j'ai ajouté un peu de clarification.

— Jeremy Miles

Merci pour les retouches. Mais n'est-il pas vrai que le bootstrap fait généralement des hypothèses différentes , plutôt que d'en détendre certaines? Par exemple, les hypothèses nécessaires pour estimer une ES d'une moyenne d'échantillon sont que les données sont iid et que la distribution sous-jacente a une variance finie. Le bootstrap doit en fait ajouter des hypothèses dans ce cas: cela ne fonctionne que si la taille de l'échantillon est "suffisamment grande". Bien que cela puisse sembler être une question sur les détails techniques, ce que j'essaie de traiter est la vue d'ensemble: le bootstrap n'est ni une panacée ni n'est toujours applicable.

— whuber

@JeremyMiles le bootstrap n'est pas exempt d'hypothèses. Vous devez vérifier que la distribution est essentielle pour la plupart des calculs d'erreur d'amorçage qui peuvent souvent être plus compliqués que l'obtention d'un estimateur cohérent pour une erreur standard. De plus, le rapport des moyennes a une approximation d'erreur très facile obtenue à partir de la méthode δ. Je ne pense donc pas que cet exemple défie le point du PO.

— AdamO

Un exemple pourrait aider à illustrer. Supposons que , dans un cadre de modélisation de cause à effet, vous êtes intéressé à déterminer si la relation entre (une exposition d'intérêt) un (un résultat d'intérêt) est médiée par une variable . Cela signifie que dans les deux modèles de régression: $X$ $Y$ $W$

\begin{array}{rcl} E [Y | X] & = & β_{0} + β_{1} X \\ E [Y | X, W] & = & γ_{0} + γ_{1} X + γ_{2} W \end{array}

$\begin{eqnarray} E[Y|X] &=& \beta_0 + \beta_1 X \\ E[Y|X, W] &=& \gamma_0 + \gamma_1 X + \gamma_2 W \\ \end{eqnarray}$

L'effet est différent de l'effet . $\beta_1$ $\gamma_1$

À titre d'exemple, considérons la relation entre le tabagisme et le risque cardiovasculaire (CV). Le tabagisme augmente évidemment le risque CV (pour des événements comme les crises cardiaques et les accidents vasculaires cérébraux) en provoquant la fragilisation et la calcification des veines. Cependant, le tabagisme est également un coupe-faim. Nous serions donc curieux de savoir si la relation estimée entre le tabagisme et le risque CV est médiée par l'IMC, qui est indépendamment un facteur de risque de risque CV. Ici, pourrait être un événement binaire (infarctus du myocarde ou neurologique) dans un modèle de régression logistique ou une variable continue comme la calcification artérielle coronaire (CAC), la fraction d'éjection ventriculaire gauche (FEVG) ou la masse ventriculaire gauche (LVM). $Y$

Nous adapterions deux modèles 1: ajustement pour le tabagisme et le résultat avec d'autres facteurs de confusion comme l'âge, le sexe, le revenu et les antécédents familiaux de maladie cardiaque, puis 2: toutes les covariables précédentes ainsi que l'indice de masse corporelle. La différence dans l'effet de tabagisme entre les modèles 1 et 2 est l'endroit où nous basons notre inférence.

\begin{array}{rcl} H & : & β_{1} = γ_{1} \\ K & : & β_{1} \neq γ_{1} \end{array}

$\begin{eqnarray} \mathcal{H} &:& \beta_1 = \gamma_1\\ \mathcal{K} &:& \beta_1 \ne \gamma_1\\ \end{eqnarray}$

$T = \beta_1 - \gamma_1$ $S = \beta_1 / \gamma_1$ ou n'importe quel nombre de mesures. Vous pouvez utiliser les estimateurs habituels pour $T$ et $S$ . L'erreur standard de ces estimateurs est très compliquée à dériver. L'amorçage de leur distribution, cependant, est une technique couramment appliquée, et il est facile de calculer le $p$ -valeur directement à partir de cela.

— AdamO
source

Je pense que je comprends où vous allez avec cette réponse, mais je suis perplexe par les détails. Aviez-vous l'intention de mettre des chapeaux sur les paramètres dans vos descriptions de

T

$T$ et

S

$S$ ? The text sounds like these should be properties of a model rather than estimators. What sense does it make to mix properties of two different models like this? If you really did mean hats, then

T

$T$ and

S

$S$ are statistics, apparently to be used as estimators, but what are they intended to estimate?

— whuber

@whuber I think you're right that in conventional notation they don't use hats. I will make the edit. Perhaps I was not clear enough... there are two parameters for the same variable fit in two different models on the same dataset. It is very difficult to directly calculate the standard error of the statistics

T

$T$ and

S

$S$ .

— AdamO

The only way I have been able to make sense of this is to understand the second model to be nested in the first, so that the hypothesis you are testing is

γ_{2} = 0

$\gamma_2 = 0$ . I do not even know of a valid definition of "hypothesis" that involves two separate models.

— whuber

@whuber Ah I see the confusion. Please see a recommended article from MacKinnon here.

— AdamO

Thank you: that reference helps me understand your example much better. Although I have reservations about the many theoretical solecisms involved in that approach, they are irrelevant to the aptness of your example: it suffices that people have actually tried to understand data in this way and have seen a need to estimate standard errors for estimators of

T

$T$ or

S

$S$ . I notice, though, that your last paragraph still does not distinguish between

T

$T$ and its estimator:

T

$T$ is a model property and as such has no distribution and no SE. An estimator of

T

$T$ does have a distribution.

— whuber

Having parametric solutions for each statistical measure would be desirable but, at the same time, quite unrealistic. Bootstrap comes in handy in those instances. The example that springs to my mind concerns the difference between two means of highly skewed cost distributions. In that case, the classic two-sample t-test fails to meet its theoretical requirements (the distributions from which the samples under investigation were drawn surely depart from normality, due to their long right-tail) and non-parametric tests lack to convey useful infromation to decision-makers (who are usually not interested in ranks). A possible solution to avoid being stalled on that issue is a two-sample bootstrap t-test.

— Carlo Lazzaro
source