Considérez le modèle linéaire simple:

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

où et , et contient une colonne des constantes. $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ $X\in\mathbb{R}^{n\times p}$ $p\geq2$ $X$

Ma question est, étant donné , et , existe-t-il une formule pour une borne supérieure non triviale sur *? (en supposant que le modèle a été estimé par OLS). $\mathrm{E}(X'X)$ $\beta$ $\sigma$ $\mathrm{E}(R^2)$

* J'ai supposé, en écrivant ceci, qu'obtenir lui-même ne serait pas possible. $E(R^2)$

EDIT1

en utilisant la solution dérivée de Stéphane Laurent (voir ci-dessous) nous pouvons obtenir une borne supérieure non triviale sur . Certaines simulations numériques (ci-dessous) montrent que cette limite est en fait assez serrée. $E(R^2)$

Stéphane Laurent a dérivé ce qui suit: où est une distribution bêta non centrale avec paramètre de non-centralité avec $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ $\mathrm{B}(p-1,n-p,\lambda)$ $\lambda$

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

Donc

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

où est un non central avec le paramètre et degrés de liberté. Donc, une borne supérieure non triviale pour est $\chi^2_{k}(\lambda)$ $\chi^2$ $\lambda$ $k$ $\mathrm{E}(R^2)$

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

il est très serré (beaucoup plus serré que ce à quoi je m'attendais serait possible):

par exemple, en utilisant:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

la moyenne des simulations sur 1000 est . La borne supérieure théorique ci-dessus donne . La borne semble être également précise sur de nombreuses valeurs de . Vraiment étonnant! $R^2$ 0.9608190.9609081 $R^2$

EDIT2:

après de plus amples recherches, il semble que la qualité de l'approximation de la borne supérieure de s'améliorera à mesure que augmentera (et toutes choses égales par ailleurs, augmentera avec ). $E(R^2)$ $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— user603
source

R^{2}

$R^2$ a une distribution bêta avec des paramètres dépendant uniquement de et . Non ?

n

$n$

p

$p$

— Stéphane Laurent

Oooppss désolé, ma précédente affirmation n'est vraie que sous l'hypothèse du "modèle nul" (interception uniquement). Sinon, la distribution de devrait être quelque chose comme une distribution Beta non centrale, avec un paramètre de non-centralité impliquant les paramètres inconnus.

R^{2}

$R^2$

— Stéphane Laurent

@ StéphaneLaurent: merci. Souhaitez-vous en savoir plus sur la relation entre les paramètres inconnus et les paramètres de la bêta? Je suis coincé, donc tout pointeur serait le bienvenu ...

— user603

Avez-vous absolument besoin de gérer ? Il existe peut-être une formule exacte simple pour .

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— Stéphane Laurent

Avec les notations de ma réponse,

pour certains

scalaires et le premier moment de la distribution

non centrale est simple.

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$

F

$F$

— Stéphane Laurent

Tout modèle linéaire peut s'écrire où a la distribution normale standard sur et est supposé appartenir à un sous-espace linéaire de . Dans votre cas, . $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$

Soit le sous-espace linéaire unidimensionnel généré par le vecteur . En prenant ci-dessous, le est fortement lié à la statistique de Fisher classique $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ pour le test d'hypothèse deoùest un sous-espace linéaire, et désignant par le complément orthogonal deen, et désignantet

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$ (alors

dans votre situation).

m = p

$m=p$

ℓ = 1

$\ell=1$

En effet, car la définition deest

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

De toute évidence , et . $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Lorsque est vrai $H_0\colon\{\mu \in U\}$ alors et donc $P_Z \mu = 0$ a ladistribution deFisher. Par conséquent, à partir de la relation classique entre la distribution de Fisher et la distribution Bêta,.

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$

Dans la situation générale, nous devons traiter lorsque . Dans ce cas général, on a , la distribution non centrale avec degrés de liberté et le paramètre de non-centralité $P_Z Y = P_Z \mu + \sigma P_Z G$ $P_Z\mu \neq 0$ ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ $\chi^2$ $m-\ell$ , puis (distribution de Fisher non centrale). Il s'agit du résultat classique utilisé pour calculer la puissance destests $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ $F$

La relation classique entre la distribution de Fisher et la distribution de Beta tient également dans la situation non centrale. Enfin a la distribution bêta non centrale avec les "paramètres de forme" et et le paramètre de non-centralité . Je pense que les moments sont disponibles dans la littérature mais ils sont peut-être très compliqués. $R^2$ $m-\ell$ $n-m$ $\lambda$

Notons enfin . Notez que . On a lorsque , et . D'où où ici pour le vecteur de paramètres inconnus . $P_Z\mu$ $P_Z = P_W - P_U$ $P_U \mu = \bar\mu 1$ $U=[1]$ $P_W \mu = \mu$ $P_Z \mu =\mu - \bar\mu 1$ $\mu=X\beta$ $\beta$

— Stéphane Laurent
source

est la projection orthogoanl de

sur le sousespace linéaire

. Et

désigne la projection sur l'orthogonale.

P_{Z} x

$P_Z x$

x

$x$

Z

$Z$

P^{⊥}

$P^\perp$

— Stéphane Laurent

Méfiez-vous de

. Je vais modifier mon article pour écrire les formules.

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$

— Stéphane Laurent

Done - do you see any simplification ?

— Stéphane Laurent

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

— Stéphane Laurent

Type I, obviously: type II are distributed on

(0, \infty)

$(0, \infty)$ . Actually

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$ has the type II distribution. I have done the last corrections for today.

— Stéphane Laurent

Attente conditionnelle du R au carré

EDIT1

EDIT2: