Plage possible de

10

Supposons qu'il existe trois séries chronologiques, , et $X_1$ $X_2$ $Y$

Exécution de régression linéaire ordinaire sur ~ ( ), nous obtenons . La régression linéaire ordinaire ~ obtenir . Supposons que $Y$ $X_1$ $Y = b X_1 + b_0 + \epsilon$ $R^2 = U$ $Y$ $X_2$ $R^2 = V$ $U < V$

Quelles sont les valeurs minimales et maximales possibles de lors de la régression ~ ( )? $R^2$ $Y$ $X_1 + X_2$ $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Je crois que le minimum devrait être + une petite valeur, car l'ajout de nouvelles variables augmente toujours , mais je ne sais pas comment quantifier cette petite valeur, et je ne sais pas comment obtenir la plage maximale . $R^2$ $V$ $R^2$

regression multiple-regression r-squared

— Vendetta
source

9

1) EDIT: Commentaire du cardinal ci - dessous montre que la bonne réponse à la min question est . Par conséquent, je supprime ma réponse "intéressante", mais finalement incorrecte, à cette partie du message du PO. $R^2$ $V$

2) Le maximum est 1. Considérons l'exemple suivant, qui correspond à votre cas. $R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Ici, nous fixons la variance de à 0. Cependant, si vous voulez , les choses changent un peu. Vous pouvez obtenir le arbitrairement proche de 1 en plus en plus , mais, comme avec le problème minimum, vous ne pouvez pas y arriver, il n'y a donc pas de maximum. 1 devient le supremum , car il est toujours supérieur à mais c'est aussi la limite comme . $\epsilon$ $\sigma^2_\epsilon > 0$ $R^2$ $\sigma^2_\epsilon$ $R^2$ $\sigma^2_\epsilon \to 0$

— jbowman
source

2

(+1) Quelques commentaires: C'est une bonne réponse; il est intéressant que vous ayez adopté une approche asymptotique alors qu'il n'est pas clair si le PO était intéressé par cela ou, éventuellement, un fixe- (ou les deux). Cette réponse est un peu incompatible avec la contrainte de l'OP que , cependant, et si ou pour certains , par exemple, alors le minimum pour toutes les tailles d'échantillons fixes sont exactement . (Excusez la pathologie de ces exemples.) De plus, l'OLS n'est pas nécessairement cohérent en l'absence de contraintes supplémentaires sur les prédicteurs. :)

n

$n$

U < V

$U < V$

X_{1} = 0

$X_1 = 0$

X_{1} = a 1

$X_1 = a \mathbf{1}$

a \in R

$a \in \mathbb R$

R^{2}

$R^2$

V := V (n)

$V := V(n)$

— cardinal

@cardinal - en relisant, je ne peux pas comprendre pourquoi j'ai adopté cette approche du problème min, alors que semble maintenant être la réponse manifestement correcte et, comme vous l'avez implicitement observé, j'aurais pu construire un exemple qui le réalise dans la veine de la partie max ... eh bien, peut-être que mon expresso ce matin était accidentellement décaféiné. (Peut-être que je devrais revoir mes réponses plus en profondeur avant de poster aussi!)

V

$V$

— jbowman

Je ne pense pas que vous devriez retirer ce que vous avez écrit, que je l' ai trouver une approche intéressante pour répondre à la question! Alors que les pathologies que je mentionne permettent certainement un minimum de , on peut se demander ce que l'on entend vraiment par . L'autre exemple n'est peut-être pas aussi pathologique car dans une version générale de ce problème, il s'étend au cas où tout supplémentaire se trouve dans l'espace de colonne des autres prédicteurs. :)

R^{2}

$R^2$

X_{1} = 0

$X_1 = 0$

X_{i}

$X_i$

— cardinal

1

@cardinal - merci! Je vais le reconstruire, peut-être un peu plus formellement, et le remettre dans le bas dans un moment.

— jbowman

5

Soit égale à la corrélation entre et , est égal à la corrélation entre et , et la corrélation entre et . Puis pour le modèle complet divisé par est égal $r_{1,2}$ $X_1$ $X_2$ $r_{1,Y}$ $X_1$ $Y$ $r_{2,Y}$ $X_2$ $Y$ $R^2$ $V$

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Donc, pour le modèle complet est égal à uniquement si et ou $R^2$ $V$ $r_{1,2} = 0$ $r_{1,Y}^2 = U = 0$

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Si , pour le modèle complet est égale à . $r_{1,2} = 0$ $R^2$ $U + V$

— Margot
source

(+1) Mignon. Bienvenue sur le site. Veuillez envisager d'enregistrer votre compte afin de pouvoir participer plus pleinement. Je vais devoir regarder cette expression un peu plus loin plus tard. :)

— cardinal

4

Sans contraintes sur et , le minimum est , puis le maximum est le plus petit . En effet , deux variables peut être parfaitement corrélé (dans ce cas , l' ajout de la deuxième variable ne change pas le du tout) ou ils pourraient être orthogonales dans ce cas , y compris les résultats en . Il a été souligné à juste titre dans les commentaires que cela nécessite également que chacun soit orthogonal à , le vecteur colonne de 1s. $U$ $V$ $V$ $\min(V + U, 1)$ $R^2$ $U + V$ $\mathbf{1}$

Vous avez ajouté la contrainte . Cependant, il est toujours possible que . Autrement dit, , auquel cas . Enfin, il est possible que donc la borne supérieure soit encore . $U < V \implies X_{1} \neq X_{2}$ $U = 0$ $X_{1} \perp Y$ $\min = \max = V + 0$ $X_{1} \perp X_{2}$ $\min(V + U, 1)$

Si vous en saviez plus sur la relation entre et , je pense que vous pourriez en dire plus. $X_{1}$ $X_{2}$

— Joshua
source

1

(+1) Mais, notez qu'il n'est pas (tout à fait) vrai que si

et

sont orthogonaux, alors leurs valeurs

individuelles seront additionnées en incluant les deux dans le modèle. Nous avons également besoin qu'ils soient orthogonaux au vecteur tout-en-un

. Notez que vous pouvez utiliser

X_{1}

$X_1$

X_{2}

$X_2$

R^{2}

$R^2$

1

$\mathbf 1$

sur ce site pour baliser les mathématiques. :)

L A T E X

$\LaTeX$

— cardinal

C'est vrai. Merci beaucoup pour les commentaires et pour avoir souligné que

peut être utilisé. Je pensais que c'était possible, mais j'avais essayé des échappements de style mathjax (et [pour inline / équations. L'écriture comme je le ferais dans TeX fonctionnait comme un charme :)

L A T E X

$\LaTeX$

— Joshua