Deux façons d'utiliser le bootstrap pour estimer l'intervalle de confiance des coefficients de régression

J'applique un modèle linéaire à mes données:

y_{je} = β_{0} + β_{1} X_{je} + ϵ_{je}, ϵ_{je} \sim N (0, σ^{2}) .

$y_{i}=\beta_{0}+\beta_{1}x_{i}+\epsilon_{i}, \quad\epsilon_{i} \sim N(0,\sigma^{2}).$

Je voudrais estimer l'intervalle de confiance (CI) des coefficients ( , ) en utilisant la méthode bootstrap. Il y a deux façons d'appliquer la méthode d'amorçage: $\beta_{0}$ $\beta_{1}$

Exemple de prédicteur de réponse apparié: rééchantillonnez au hasard des paires de et appliquez une régression linéaire à chaque analyse. Après exécutions, nous obtenons une collection de coefficients estimés . Enfin, calculez le quantile de . $y_{i}-x_{i}$ $m$ ${\hat{\beta_{j}}}, j=1,...m$ ${\hat{\beta_{j}}}$
Exemple d'erreur: Appliquer d'abord une régression linéaire sur les données observées d'origine, à partir de ce modèle, nous obtenons et l'erreur . Ensuite, rééchantillonnez au hasard l'erreur et calculez les nouvelles données avec et . Appliquer à nouveau la régression linéaire. Après exécutions, nous obtenons une collection d'estimations de coefficients estimées . Enfin, calculez le quantile de . $\hat{\beta_{o}}$ $\epsilon_{i}$ $\epsilon^{*}_{i}$ $\hat{\beta_{o}}$ $y^{*}_{i}=\hat{\beta_{o}}x_{i}+\epsilon^{*}_{i}$ $m$ ${\hat{\beta_{j}}}, j=1,...,m$ ${\hat{\beta_{j}}}$

Mes questions sont:

En quoi ces deux méthodes sont-elles différentes?
Dans quelle hypothèse ces deux méthodes donnent-elles le même résultat?

regression bootstrap

— tiantianchen
source

Personnellement, je n'utiliserais pas non plus l'approche par défaut, mais je recommanderais plutôt l'intervalle de confiance de démarrage. Voir p. 8 de www.stat.cmu.edu/~cshalizi/402/lectures/08-bootstrap/lecture-08.pdf. J'ai fait beaucoup de simulations pour le modèle logistique binaire et j'ai vu une meilleure couverture d'intervalle de confiance en utilisant le bootstrap de base qu'en utilisant le centile ou le bootstrap BCa.

— Frank Harrell

@FrankHarrell pour être clair, par "basique", vous faites référence au bootstrap non paramétrique?

— ndoogan

(1) est l'intervalle de confiance non paramétrique centile bootstrap, pas le bootstrap de base. Notez que l'échantillonnage de est le bootstrap inconditionnel, qui est plus exempt d'hypothèses que le bootstrap conditionnel qui rééchantillonne les résidus.

(x, y)

$(x,y)$

— Frank Harrell

Je ne suis vraiment pas un expert, mais pour autant que je le comprenne, 1) est souvent appelé "rééchantillonnage de cas" tandis que le 2) est appelé "rééchantillonnage résiduel" ou "rééchantillonnage" fixe ". Le choix de base de la méthode n'implique pas la méthode de calcul des intervalles de confiance après la procédure. J'ai obtenu cette information principalement du tutoriel de John Fox . Pour autant que je le vois, après l'un ou l'autre bootstrap, vous pouvez calculer les CI de bootstrap de base (par exemple avec in ). Ou est-ce que je manque quelque chose ici?

x

$x$ boot.ci(my.boot, type="basic")R

— COOLSerdash

Oui, vous pouvez effectuer un amorçage de cluster. Ceci est implémenté dans les fonctions R rms validateet calibrate.

— Frank Harrell

Si les paires de prédicteurs de réponse ont été obtenues à partir d'une population par échantillon aléatoire, il est sûr d'utiliser le schéma de rééchantillonnage cas / aléatoire-x / votre premier. Si les prédicteurs ont été contrôlés ou si les valeurs des prédicteurs ont été définies par l'expérimentateur, vous pouvez envisager d'utiliser un schéma de rééchantillonnage résiduel / basé sur le modèle / fixe x / votre seconde.

Comment les deux diffèrent-ils? Une introduction au bootstrap avec des applications en R par Davison et Kounen a une discussion pertinente à cette question (voir p.9). Voir aussi le code R dans cette annexe par John Fox , en particulier les fonctions boot.huber en p.5 pour le schéma random-x et boot.huber.fixed en p.10 pour le schéma fixed-x. Alors que dans les notes de cours de Shalizi les deux schémas sont appliqués à différents ensembles de données / problèmes, l'annexe de Fox illustre le peu de différence que les deux schémas peuvent souvent faire.

Quand peut-on s'attendre à ce que les deux produisent des résultats presque identiques? Une situation se produit lorsque le modèle de régression est correctement spécifié, par exemple, il n'y a pas de non-linéarité non modélisée et les hypothèses de régression habituelles (par exemple, erreurs iid, pas de valeurs aberrantes) sont satisfaites. Voir le chapitre 21 du livre de Fox (dans lequel l'annexe susmentionnée avec le code R appartient indirectement), en particulier la discussion de la page 598 et l'exercice 21.3. intitulé "Rééchantillonnage aléatoire versus ﬁ xe en régression". Pour citer le livre

By randomly reattaching resampled residuals to ﬁtted values, the [fixed-x/model-based]
procedure implicitly assumes that the errors are identically distributed. If, for
example, the true errors have non-constant variance, then this property will not be  
reﬂected in the resampled residuals. Likewise, the unique impact of a high-leverage
outlier will be lost to the resampling.

Vous apprendrez également de cette discussion pourquoi le bootstrap fixed-x suppose implicitement que la forme fonctionnelle du modèle est correcte (même si aucune hypothèse n'est formulée sur la forme de la distribution des erreurs).

Voir également la diapositive 12 de cet exposé pour Society Of Actuaries in Ireland de Derek Bain. Il présente également une illustration de ce qui devrait être considéré comme "le même résultat":

The approach of re-sampling cases to generate pseudo data is the more usual form of   
bootstrapping. The approach is robust in that if an incorrect model is fitted an
appropriate measure of parameter meter uncertainty is still obtained. However re
sampling residuals is more efficient if the correct model has been fitted.

The graphs shows both approaches in estimating the variance of a 26 point data sample
mean and a 52 point sample mean. In the larger sample the two approaches are  
equivalent.

— Hibernation
source