Existe-t-il un moyen d'utiliser la matrice de covariance pour trouver des coefficients de régression multiple?

Pour une régression linéaire simple, le coefficient de régression peut être calculé directement à partir de la matrice de variance-covariance $C$ , par

Si l'on n'a que la matrice de covariance, est-il possible de calculer les coefficients d'un modèle à multiples variables explicatives?

ETA: Pour deux variables explicatives, il apparaît que et de façon analogue pourβ2. Je ne vois pas immédiatement comment étendre cela à trois variables ou plus.

Oui, la matrice de covariance de toutes les variables - explicatives et réponses - contient les informations nécessaires pour trouver tous les coefficients, à condition qu'un terme d'interception (constant) soit inclus dans le modèle. (Bien que les covariances ne fournissent aucune information sur le terme constant, elles peuvent être trouvées à partir des moyennes des données.)

Une analyse

Que les données pour les variables explicatives être disposés comme vecteurs colonnes de dimension x 1 , x 2 , ... , x p , et la variable de réponse soit le vecteur colonne y , considéré comme une réalisation d'une variable aléatoire Y . Les estimations des moindres carrés ordinaires ß des coefficients dans le modèle$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

sont obtenus en assemblant les vecteurs de colonnes X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p en un tableau n × p + 1 X et en résolvant le système d'équations linéaires$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Il est équivalent au système

L'élimination gaussienne résoudra ce système. Il procède en joignant le matrice + 1 $p+1\times p+1$et le$\frac{1}{n}X^\prime X$vecteur + 1 $p+1$dans untableaup+1×p+2Aet en le réduisant en ligne. $\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

La première étape inspectera $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$ will equal $\overline X_i \overline X_j$. This is just the formula for the covariance of $X_i$ and $X_j$. Moreover, the number left in the $i+1, p+2$ position equals $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$, the covariance of $X_i$ with $y$.

Thus, after the first step of Gaussian elimination the system is reduced to solving

and obviously--since all the coefficients are covariances--that solution can be found from the covariance matrix of all the variables.

(When $C$ is invertible the solution can be written $C^{-1}(\text{Cov}(X_i, y))^\prime$. The formulas given in the question are special cases of this when $p=1$ and $p=2$. Writing out such formulas explicitly will become more and more complex as $p$ grows. Moreover, they are inferior for numerical computation, which is best carried out by solving the system of equations rather than by inverting the matrix $C$.)

The constant term will be the difference between the mean of $y$ and the mean values predicted from the estimates, $X\hat{\beta}$.

Example

To illustrate, the following R code creates some data, computes their covariances, and obtains the least squares coefficient estimates solely from that information. It compares them to the estimates obtained from the least-squares estimator lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

The output shows agreement between the two methods:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675