Régression linéaire avec erreurs de Laplace

Considérons un modèle de régression linéaire:

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ où

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ , c'est-à-dire , La distribution de Laplace avec

0

$0$ moyenne et paramètre d'échelle

b

$b$ , sont tous indépendants les uns des autres. Considérons une estimation de vraisemblance maximale d'un paramètre inconnu

β

$\boldsymbol \beta$ :

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ à partir de laquelle

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Comment trouver une distribution des résidus $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ dans ce modèle?

regression laplace-distribution

— nmerci
source

Qu'entendez-vous par trouver une distribution des résidus?

— jlimahaverford

Étant donné que les résidus peuvent être regroupés dans un vecteur aléatoire, j'aimerais connaître sa distribution. Au moins deux premiers moments.

— nmerci

Je l'ai Merci! Avez-vous envisagé de simuler et de tracer?

— jlimahaverford

Oui, je veux construire une région de confiance pour les résidus. Par exemple, pour les erreurs gaussiennes, la région est un ellipsoïde.

— nmerci

Les résidus (en fait appelés erreurs) sont supposés être distribués aléatoirement avec une distribution exponentielle double (distribution de Laplace). Si vous ajustez ces points de données x et y, faites-le numériquement. Vous calculez d'abord beta-hat_ML pour ces points dans leur ensemble en utilisant la formule que vous avez publiée ci-dessus. Cela déterminera une ligne à travers les points. Ensuite, soustrayez la valeur y de chaque point de la valeur y de la ligne à cette valeur x. C'est le résidu pour ce point. Les résidus de tous les points peuvent être utilisés pour construire un histogramme qui vous donnera la distribution des résidus.

Il y a un bon article mathématique à ce sujet par Yang (2014) .

--Lee

— Lee G
source

Le lien ne fonctionne pas.

— Michael R. Chernick