Calcul des erreurs standard pour les problèmes de régression linéaire sans calculer l'inverse


11

Existe-t-il un moyen plus rapide de calculer les erreurs standard pour les problèmes de régression linéaire qu'en inversant ? Ici, je suppose que nous avons une régression:XX

y=Xβ+ε,

est n × k matrice et y est n × 1 vecteur.Xn×kyn×1

Pour trouver une solution au problème des moindres carrés, il est impossible de faire quoi que ce soit avec , vous pouvez utiliser directement les décompositions QR ou SVD sur la matrice X. Ou vous pouvez également utiliser des méthodes de dégradé. Mais qu'en est-il des erreurs standard? Nous n'avons vraiment besoin que de la diagonale de ( X X ) - 1 (et naturellement de la solution LS pour calculer l'estimation de l'erreur type de ε ). Existe-t-il des méthodes spécifiques pour le calcul de l'erreur standard?XXX(XX)1ε

Réponses:


5

Supposons que vous ayez résolu votre problème des moindres carrés en utilisant la décomposition en valeurs singulières (SVD) de , donnée parX

X=UΣV,

et V sont unitaires et Σ est diagonal.UVΣ

ensuite

XX=VΣ2V.

(XX)1X

(XX)1=VΣ2V.

(Voir une réponse que j'ai donnée à une question connexe sur Math.SE. )

ΣV(XX)1nn×nn2O(n3)

XXX


+1, j'ai oublié cette belle propriété SVD. Si aucune autre réponse ne vient, j'accepterai cette réponse, car elle est assez proche de celle que je voulais obtenir (et certainement des magnitudes meilleures que celles que j'attendais :))
mpiktas

(XX)1O(n2)X

(XX)1

Σ

Ignorez le dernier commentaire, il y a une erreur. J'ai cependant la bonne formule.
mpiktas
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.