Questions marquées «least-squares»

Fait référence à une technique d'estimation générale qui sélectionne la valeur du paramètre pour minimiser la différence au carré entre deux quantités, telles que la valeur observée d'une variable, et la valeur attendue de cette observation conditionnée à la valeur du paramètre. Les modèles linéaires gaussiens sont ajustés par les moindres carrés et les moindres carrés est l'idée sous-jacente à l'utilisation de l'erreur quadratique moyenne (MSE) comme moyen d'évaluer un estimateur.

2
Corrélation entre les estimateurs OLS pour l'interception et la pente
Dans un modèle de régression simple, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, les estimateurs OLS et sont corrélés.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} La formule de la corrélation entre les deux estimateurs est (si je l'ai dérivée correctement): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Des questions: Quelle est l'explication intuitive de la …
4
ANOVA vs régression linéaire multiple? Pourquoi l'ANOVA est-elle si couramment utilisée dans les études expérimentales?
ANOVA vs régression linéaire multiple? Je comprends que ces deux méthodes semblent utiliser le même modèle statistique. Cependant, dans quelles circonstances dois-je utiliser quelle méthode? Quels sont les avantages et les inconvénients de ces méthodes en comparaison? Pourquoi l'ANOVA est-elle si couramment utilisée dans les études expérimentales et je ne …
6
Pourquoi choisissons-nous généralement de minimiser la somme des erreurs carrées (SSE) lors de l'ajustement d'un modèle?
La question est très simple: pourquoi, lorsque nous essayons d'adapter un modèle à nos données, linéaires ou non linéaires, essayons-nous généralement de minimiser la somme des carrés d'erreurs pour obtenir notre estimateur pour le paramètre du modèle? Pourquoi ne pas choisir une autre fonction objective à minimiser? Je comprends que, …
3
Que signifie «toutes choses égales par ailleurs» dans une régression multiple?
Lorsque nous effectuons plusieurs régressions et disons que nous examinons le changement moyen de la variable pour un changement d'une variable , en maintenant toutes les autres variables constantes, à quelles valeurs maintenons-nous les autres variables constantes? Leur moyenne? Zéro? De n'importe quelle valeur?yyyxxx J'ai tendance à penser que c'est …
2
Preuve que la statistique F suit la distribution F
À la lumière de cette question: Preuve que les coefficients dans un modèle OLS suivent une distribution t avec (nk) degrés de liberté J'aimerais comprendre pourquoi F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, où est le nombre de paramètres du modèle et le nombre d'observations et la variance totale, la variance résiduelle, suit …
2
Y a-t-il un avantage de SVD sur PCA?
Je sais comment calculer mathématiquement PCA et SVD, et je sais que les deux peuvent être appliqués à la régression linéaire des moindres carrés. Le principal avantage de SVD semble mathématiquement être qu'il peut être appliqué à des matrices non carrées. Les deux se concentrent sur la décomposition de la …
20 pca  least-squares  svd 
2
Comment est-il logique de faire OLS après la sélection de variable LASSO?
Récemment, j'ai découvert que dans la littérature d'économétrie appliquée, lorsqu'il s'agit de problèmes de sélection de caractéristiques, il n'est pas rare d'effectuer LASSO suivi d'une régression OLS en utilisant les variables sélectionnées. Je me demandais comment qualifier la validité d'une telle procédure. Cela causera-t-il des problèmes tels que des variables …
6
Explication intuitive du
Si XXX est de rang plein, l'inverse de X T XXTXX^TX existe et nous obtenons les moindres carrés Estimation: β = ( X T X ) - 1 X Yβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XY et Var ( β ) = σ 2 ( X T X ) - 1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Comment …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.