Calcul de l'AIC «à la main» dans R

J'ai essayé de calculer l'AIC d'une régression linéaire dans R mais sans utiliser la AICfonction, comme ceci:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

Cependant, AICdonne une valeur différente:

AIC(lm_mtcars)
[1] 190.7999

Quelqu'un pourrait-il me dire ce que je fais mal?

r aic information-theory

— luciano
source

(sans vérifier encore votre réponse): Vous ne faites pas nécessairement quelque chose de mal, car la probabilité n'est en fait définie que jusqu'à une constante multiplicative; deux personnes peuvent calculer la log-vraisemblance et obtenir des nombres différents (mais les différences de log-vraisemblance sont les mêmes).

— Glen_b -Reinstate Monica

La réponse de Hong Oois est liée à cette question, je pense. La formule utilisée par la fonction AICest -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

— COOLSerdash

luciano: Le "+1" dans cette formule à laquelle @COOLSerdash pointe provient du terme du paramètre de variance. Notez également que la fonction logLikindique que pour les lmmodèles, elle inclut «toutes les constantes» ... donc il y en aura log(2*pi)quelque part quelque part

— Glen_b -Reinstate Monica

@Glen_b: Pourquoi dire que la vraisemblance n'est définie que jusqu'à une constante multiplicative? Après tout, lorsque vous comparez des modèles non imbriqués de différentes familles de distribution (par exemple avec AIC ou avec le test de Cox), vous devez vous souvenir de cette constante.

— Scortchi - Réintégrer Monica

@Scortchi la définition n'est pas la mienne! Vous devrez le reprendre avec RAFisher. C'est ainsi depuis le début, je pense (1921). Qu'il est toujours défini de cette façon, au moins dans le cas continu, voir ici , par exemple, à la phrase commençant par «Plus précisément».

— Glen_b -Reinstate Monica

Réponses:

Notez que l'aide sur la fonction logLikdans R indique que pour les lmmodèles, elle inclut «toutes les constantes» ... il y aura donc unlog(2*pi) in quelque part, ainsi qu'un autre terme constant pour l'exposant dans la vraisemblance. De plus, vous ne pouvez pas oublier de compter le fait que est un paramètre. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

mais notez que pour un modèle avec 1 variable indépendante, p = 3 (le coefficient x, la constante et ) $\sigma^2$

Ce qui signifie que c'est ainsi que vous obtenez leur réponse:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

— Glen_b -Reinstate Monica
source

Pourquoi dans votre calcul de

divisez-vous uniquement par

et non par

s^{2}

$s^2$

n

$n$

n - p

$n-p$

— Luke Thorburn du

Voir la définition de l' AIC:

où le vecteur de paramètres,

sont évalués au maximum ( à savoir tous les éléments de

sont MLE); voir par exemple le critère d'information Wikipedia Akaike: Définition . Si vous n'êtes pas en divisant par

il y a dans le calcul de

, vous n'êtes pas le calcul de la MLE de

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$ et donc pas vraiment calcul AIC - effet en vous seriez adaptez deux fois l'effet des paramètres d' ajustement. (Oui, beaucoup de gens le font mal)

— Glen_b -Reinstate Monica

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

AIC $2k -2 \log L$ $L$ $k$ $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ $S_{\mathrm{r}}$ $n$

— Scortchi - Réintégrer Monica
source