OLS est-il efficace asymptotiquement sous hétéroscédasticité

Je sais que l'OLS est non biaisé mais pas efficace sous hétéroscédasticité dans un cadre de régression linéaire.

Sur Wikipédia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

L'estimateur MMSE est asymptotiquement non biaisé et sa distribution converge vers la distribution normale: , où I (x) est l'information Fisher de x. Ainsi, l'estimateur MMSE est asymptotiquement efficace. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE serait efficace asymptotiquement. Je suis un peu confus ici.

Cela signifie-t-il que l'OLS n'est pas efficace dans un échantillon fini, mais efficace asymptotiquement sous hétéroscédasticité?

Critique des réponses actuelles: Jusqu'à présent, les réponses proposées ne traitent pas de la distribution limite.

Merci d'avance

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
source

C'est un article wikipedia assez long. Puisqu'elles sont en outre susceptibles de changer, cela vous dérangerait-il de citer le passage qui cause de la confusion?

— hejseb

Les informations de Fisher sont dérivées de la fonction de vraisemblance. Cela implique donc implicitement que la probabilité a été spécifiée correctement. c'est-à-dire que l'énoncé auquel vous vous référez suppose, s'il y a une hétéroscédasticité, que la régression a été pondérée d'une manière telle que l'hétéroscédasticité a été correctement spécifiée. Voir en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . Dans la pratique, nous ne connaissons souvent pas la forme de l'hétéroscédasticité, nous acceptons donc parfois l'inefficacité plutôt que de prendre le risque de biaiser la régression en omettant de spécifier des schémas de pondération.

— Zachary Blumenfeld

@ZacharyBlumenfeld Il n'y avait aucune hypothèse sur la distribution de x dans l'article. Comment en sommes-nous arrivés à l'information Fisher?

— Cagdas Ozgenc

Voir en.wikipedia.org/wiki/Fisher_information L'article implique une distribution sur et quand il prend les attentes dans la section définition. Notez que l'homoscédasticité n'y a jamais été supposée. Dans le contexte de l'OLS, l'homoscédacticité a supposé , la matrice d'identité. L'hétéroscédacticité autorise , toute diagonale positive semi-définie. L' utilisation entraînerait une autre information de Fisher que n'utilisant .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

où puis-je voir une preuve de ce fait que "MMSE converge en distribution vers la distribution normale?"

— Hajir

Réponses:

L'article n'a jamais supposé d'homoskadasticité dans la définition. Pour le mettre dans le contexte de l'article, l'homoscédasticité serait de dire Où est la matrice d'identité et est un nombre positif scalaire. L'hétéroscadasticité permet

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Tout diaganol positif défini. L'article définit la matrice de covariance de la manière la plus générale possible, comme le deuxième moment centré d'une distribution implicite à plusieurs variables. nous devons connaître la distribution multivariée de pour obtenir une estimation asymptotiquement efficace et cohérente de . Cela proviendra d'une fonction de vraisemblance (qui est une composante obligatoire de la partie postérieure). Par exemple, supposons que (c'est-à-dire . La fonction de vraisemblance implicite est alors Où est le pdf normal multivarié. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

La matrice d'informations du pêcheur peut être écrite comme voir en.wikipedia.org/wiki/Fisher_information pour plus. C'est d'ici que nous pouvons dériver Ce qui précède utilise une fonction de perte quadratique mais ne suppose pas homoscédasticité.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

Dans le contexte de l'OLS, où nous régressons sur nous supposons La probabilité implicite est qui peut être facilement réécrit sous la forme le pdf normal univarié. L'information du pêcheur est alors $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Si l'homoscédasticité n'est pas respectée, les informations de Fisher, comme indiqué, sont mal spécifiées (mais la fonction d'attente conditionnelle est toujours correcte), de sorte que les estimations de seront cohérentes mais inefficaces. Nous pourrions réécrire la probabilité de tenir compte de l'hétéroskacticité et la régression est efficace, c'est-à-dire que nous pouvons écrire Ceci est équivalent à certaines formes de moindres carrés généralisés , comme les moindres carrés pondérés. Cependant, cette volonté $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ changer la matrice d'informations de Fisher. Dans la pratique, nous ne connaissons souvent pas la forme de l'hétéroscédasticité, nous préférons donc parfois accepter l'inefficacité plutôt que de biaiser la régression en omettant de spécifier les schémas de pondération. Dans de tels cas, la covariance asymptotique de n'est pas comme spécifié ci-dessus.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumenfeld
source

Merci pour tout le temps que vous avez passé. Cependant, je pense que l'entrée wiki est une merde totale. MMSE ne donnera pas d'efficacité, et nulle part il n'est spécifié que les échantillons sont pondérés de manière appropriée. De plus, même si nous supposons que les échantillons sont pondérés, ce n'est toujours pas un estimateur efficace à moins que la distribution ne soit gaussienne, ce qui n'est pas non plus spécifié.

— Cagdas Ozgenc

@CagdasOzgenc Je suis respectueusement en désaccord. L'article est rédigé d'une manière bayésienne générale qui peut inclure la régression, mais aussi de nombreux autres modèles (il semble viser davantage le filtre de Kalman). La vraisemblance est l'estimateur le plus efficace lorsqu'elle est connue, c'est une propriété fondamentale de la vraisemblance. Ce que vous dites s'applique strictement à un sous-ensemble de modèles de régression (quoique parmi les modèles les plus largement appliqués) où la normalité est supposée lors de la dérivation des conditions de premier ordre.

— Zachary Blumenfeld du

Tu l'as dit toi-même. Malheureusement, l'article ne porte pas sur l'estimateur de vraisemblance. C'est l'estimateur du carré moyen minimum, qui est efficace lorsque certaines conditions sont remplies.

— Cagdas Ozgenc

D'accord, je suis d'accord pour ne pas être d'accord :) Il y a peut-être un conflit avec la définition du MMSE entre la façon dont il est utilisé dans les régressions les plus fréquentes et la façon dont il est appliqué ici dans un cadre plus bayésien. Peut-être devraient-ils lui inventer un nouveau nom. Néanmoins, les probabilités (ou peut-être d'autres estimations non paramétriques) sont implicites lors de la prise d'anticipations indépendantes sur chaque résidu au carré. surtout dans un cadre bayésien (sinon comment l'évaluerions-nous?). Après Google, j'ai trouvé beaucoup de résultats similaires à celui de Wikipédia. Quoi qu'il en soit, je conviens que la terminologie est utilisée à mauvais escient.

— Zachary Blumenfeld du

Non, OLS n'est pas efficace sous hétéroscédasticité. L'efficacité d'un estimateur est obtenue si l'estimateur présente le moins de variance parmi les autres estimateurs possibles. Des déclarations sur l'efficacité dans l'OLS sont faites quelle que soit la distribution limite d'un estimateur.

— type au hasard
source