Inférence dans le modèle linéaire avec hétéroscédasticité conditionnelle

Supposons que j'observe des vecteurs variables indépendants et et une variable dépendante . Je voudrais adapter un modèle de la forme: où est une fonction deux fois différentiable à valeur positive, est un paramètre d'échelle inconnu , et est une variable aléatoire gaussienne à variance unitaire moyenne nulle (supposée indépendante de $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$ et

). Il s'agit essentiellement de la configuration du test d'hétéroskédasticité de Koenker (du moins pour autant que je le comprenne).

\vec{z}

$\vec{z}$

J'ai d'observations de et , et je voudrais estimer et . J'ai cependant quelques problèmes: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Je ne sais pas comment poser le problème d'estimation comme quelque chose comme les moindres carrés (je suppose qu'il existe une astuce bien connue). Ma première supposition serait quelque chose comme mais je ne sais pas comment résoudre ce problème numériquement (peut-être une méthode itérative quasi-Newton pourrait le faire). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
$\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
source

g

$g$

g

$g$

Dans un contexte un peu plus général avec $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

$\sigma > 0$
$(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
$\sigma$ $\beta_1$ $\beta_2$ $g^2$

$\beta_1$ $\beta_2$ $-$

$w_1^T\beta_1 + w_2^T\beta_2$

$l$ $l$ $\beta$ -vecteurs, donc à partir de la normale multivariée approximative du MLE, vous pouvez trouver une approximation normale de la distribution des estimateurs comme décrit ici . Cela vous donne une erreur standard approximative et vous pouvez calculer des intervalles de confiance. Il est bien décrit dans de nombreux livres de statistiques (mathématiques), mais une présentation raisonnablement accessible que je peux recommander est In All Likelihood de Yudi Pawitan. Quoi qu'il en soit, la dérivation formelle de la théorie asymptotique est assez compliquée et repose sur un certain nombre de conditions de régularité, et elle ne donne qu'une asymptotique valide $(y_i,x_i,z_i)$

— NRH
source

quelles sont les asymptotiques MLE standard?

— shabbychef

@shabbychef, il était tard. J'ai donné une explication plus détaillée. Notez que pour que les asymptotiques fonctionnent en théorie comme expliqué, le modèle doit être correct et l'estimateur doit être le MLE. Des résultats plus généraux peuvent être obtenus dans le cadre des fonctions d'estimation générales et des équations d'estimation, voir, par exemple, le livre Quasi-lik vraisemblance and ... de Heyde.

— NRH