Comment comparer les pentes de régression bootstrapées?

Supposons que j'ai deux ensembles de données avec n observations de paires de données de variable indépendante x et de variable dépendante y chacune. Supposons en outre que je souhaite générer une distribution des pentes de régression pour chaque ensemble de données en amorçant les observations (avec remplacement) N fois et en calculant la régression y = a + bxchaque fois. Comment comparer les deux distributions pour dire que les pentes sont significativement différentes? Un test U pour tester la différence entre les médianes des distributions dépendrait fortement de N, c'est-à-dire que plus je répète le bootstrap, plus la différence sera significative. Comment dois-je calculer le chevauchement entre les distributions pour déterminer une différence significative?

regression statistical-significance bootstrap

— user7417
source

Le bootstrap est effectué pour obtenir une image plus robuste de la distribution d'échantillonnage que celle qui est supposée par la théorie des grands échantillons. Lorsque vous démarrez, il n'y a en fait aucune limite au nombre d'échantillons de démarrage que vous prenez; en fait, vous obtenez une meilleure approximation de la distribution d'échantillonnage plus vous prenez d'échantillons de démarrage. Il est courant d'utiliser bootsamples, bien qu'il n'y ait rien de magique de ce nombre. De plus, vous n'exécutez pas de test sur les exemples de démarrage; vous avez une estimation de la distribution d'échantillonnage - utilisez-la directement. Voici un algorithme: $B=10,000$

prendre un échantillon de démarrage d'un ensemble de données en échantillonnant observations de démarrage avec remplacement. [En ce qui concerne les commentaires ci-dessous, une question pertinente est de savoir ce qui constitue une «observation de démarrage» valide à utiliser pour votre échantillon de bottes. En fait, il existe plusieurs approches légitimes; J'en mentionnerai deux qui sont robustes et vous permettent de refléter la structure de vos données: lorsque vous avez des données d'observation (c'est-à-dire que les données ont été échantillonnées dans toutes les dimensions, une observation de démarrage peut être un n-tuple ordonné (par exemple, une ligne Par exemple, si vous avez une variable prédictive et une variable de réponse, vous échantillonnerez $n_1$ $n_1$ $(x,y)$ paires ordonnées. D'un autre côté, lors de l'utilisation de données expérimentales, les valeurs des variables prédictives n'ont pas été échantillonnées, mais des unités expérimentales ont été affectées aux niveaux prévus de chaque variable prédictive. Dans un cas comme celui-ci, vous pouvez échantillonner valeurs à l'intérieur de chacun des niveaux de votre variable prédictive, puis associer ces s à la valeur correspondante de ce niveau prédicteur. De cette manière, vous n'échantillonneriez pas sur ] $n_{1j}$ $y$ $j$ $y$ $X$
adapter le modèle de régression et de stocker l'estimation de la pente (appelons- ) $\hat\beta_1$
prendre un échantillon de démarrage de l'autre ensemble de données en échantillonnant observations de démarrage avec remplacement $n_2$
adapter à l'autre modèle de régression et de stocker l'estimation de la pente (appelons- ) $\hat\beta_2$
former une statistique à partir des deux estimations (suggestion: utiliser la différence de pente ) $\hat\beta_1-\hat\beta_2$
stocker les statistiques et vider les autres informations pour ne pas perdre de mémoire
répéter les étapes 1 - 6, fois $B=10,000$
trier la distribution d'échantillonnage bootstrap des différences de pente
calculer le% du bsd qui chevauche 0 (le plus petit des deux, le% de queue droit ou le% de queue gauche)
multipliez ce pourcentage par 2

La logique de cet algorithme en tant que test statistique est fondamentalement similaire aux tests classiques (par exemple, les tests t) mais vous ne supposez pas que les données ou les distributions d'échantillonnage résultantes ont une distribution particulière. (Par exemple, vous ne présumez pas la normalité.) La principale hypothèse que vous faites est que vos données sont représentatives de la population à partir de laquelle vous souhaitez échantillonner / que vous souhaitez généraliser. Autrement dit, la distribution de l'échantillon est similaire à la distribution de la population. Notez que si vos données ne sont pas liées à la population qui vous intéresse, vous n'avez pas de chance.

Certaines personnes s'inquiètent d'utiliser, par exemple, un modèle de régression pour déterminer la pente si vous n'êtes pas prêt à assumer la normalité. Cependant, cette préoccupation est erronée. Le théorème de Gauss-Markov nous dit que l'estimation est non biaisée (c'est-à-dire centrée sur la vraie valeur), donc c'est bien. L'absence de normalité signifie simplement que la vraie distribution d'échantillonnage peut être différente de celle théoriquement posée, et donc les valeurs de p ne sont pas valides. La procédure d'amorçage vous permet de résoudre ce problème.

Deux autres problèmes concernant le bootstrap: si les hypothèses classiques sont remplies, le bootstrap est moins efficace (c'est-à-dire qu'il a moins de puissance) qu'un test paramétrique. Deuxièmement, l'amorçage fonctionne mieux lorsque vous explorez près du centre d'une distribution: les moyennes et les médianes sont bonnes, les quartiles pas si bons, l'amorçage du min ou du max échoue nécessairement. Concernant le premier point, vous n'aurez peut-être pas besoin de bootstrap dans votre situation; en ce qui concerne le deuxième point, l'amorçage de la pente est parfaitement fin.

— gung - Réintégrer Monica
source

Bien que je puisse me tromper, je pensais que le bootstrap en régression devait être sur les résidus plutôt que sur les données brutes, pour être validé ...

— Xi'an

@ Xi'an, je me suis trompé avant moi, mais je ne comprends pas pourquoi vous pensez que seuls les résidus d'amorçage sont valides. La section 9.5 d'Efron et Tibshirani (1994) dit que "les paires d'amorçage sont moins sensibles aux hypothèses que les résidus d'amorçage. L'erreur standard obtenue en amorçant les paires donne des réponses raisonnables même si [la structure de probabilité du modèle linéaire] est complètement fausse." L'implication est que l'application du bootstrap est plus robuste, bien qu'ils impliquent qu'il peut être moins efficace dans certains cas.

— gung - Rétablir Monica

Mon souci avec l'amorçage des paires est que vous intégrez également la distribution des prédicteurs, qui est généralement laissée en dehors de l'image dans les modèles linéaires réguliers. C'est pourquoi j'apprends toujours à mes élèves à ne bootstrap que les résidus.

— Xi'an

@ Xi'an, c'est un point raisonnable, je suppose que je supposais une structure de données d'observation. J'ai modifié ma réponse pour ajouter plus de détails sur ces préoccupations. Cependant, je ne vois pas comment cela implique que les paires d'amorçage sont nécessairement invalides.

— gung - Rétablir Monica

Forcer un appariement entre deux ensembles de données indépendants est artificiel et inefficace. Vous pouvez faire bien mieux que ça!

— whuber

$s_i$

y_{i} = β_{0} + β_{1} x_{i} + β_{2} s_{i} + β_{3} s_{i} x_{i} + ϵ_{i}

$\begin{equation*}y_i = \beta_0 + \beta_1 x_i + \beta_2 s_i + \beta_3 s_i x_i + \epsilon_i \end{equation*}$

β_{3}

$\beta_3$

\begin{aligned} E [y_{i} ∣ x, s_{i} = 1] & = (β_{0} + β_{2}) + (β_{1} + β_{3}) x_{i} \\ E [y_{i} ∣ x, s_{i} = 0] & = β_{0} + β_{1} x_{i} . \end{aligned}

$\begin{align*} \text{E}[y_i \mid x, s_i = 1] &= (\beta_0 + \beta_2) + (\beta_1 + \beta_3) x_i \\ \text{E}[y_i \mid x, s_i = 0] &= \beta_0 + \beta_1 x_i. \end{align*}$

β_{3}

$\beta_3$

n

$n$

n

$n$

2 n

$2n$

Si vous avez une corrélation entre les termes d'erreur, vous devrez peut-être modifier un peu cette procédure, alors réécrivez si c'est le cas.

Vous pouvez généraliser cette approche au cadre de régression apparemment sans rapport (SUR). Cette approche permet toujours aux coefficients d'interception et de pente d'être arbitrairement différents dans les deux ensembles de données.

— Charlie
source

C'est une bonne idée. Mais cela ne suppose-t-il pas également que les deux régressions comportent des erreurs iid?

— whuber

Bon point. Elle nécessite qu'il n'y ait pas de variances différentes pour les erreurs par groupe et que les erreurs ne soient pas corrélées dans les différents groupes.

— Charlie

Tout faire en une seule régression est net et l'hypothèse d'indépendance est importante. Mais le calcul des estimations ponctuelles de cette manière ne nécessite pas de variance constante. Essayez ce code R;

x <- rbinom(100, 1, 0.5)
z <- rnorm(100)
y <- rnorm(100)
coef(lm(y~x*z))
coef(lm(y~z, subset= x==1))[1] - coef(lm(y~z, subset= x==0))[1]
coef(lm(y~z, subset= x==1))[2] - coef(lm(y~z, subset= x==0))[2]

Nous obtenons la même estimation ponctuelle dans les deux cas. Les estimations de l'erreur standard peuvent nécessiter une variance constante (selon celle que vous utilisez), mais le bootstrap considéré ici n'utilise pas les erreurs standard estimées.

— client
source

Si vous voulez tester si la différence de pentes est nulle (comme dans la réponse de @ Charlie, à laquelle vous semblez suivre), vous avez besoin d'une estimation précise et valide des erreurs standard. Peu importe que vous amorciez cette estimation ou non.

— whuber