Signification de «nombre de paramètres» dans AIC

21

Lors du calcul de l'AIC,

$AIC = 2k - 2 ln L$

k signifie «nombre de paramètres». Mais qu'est-ce qui compte comme paramètre? Ainsi, par exemple dans le modèle

$y = ax + b$

Est-ce que a et b sont toujours comptés comme paramètres? Et si je ne me soucie pas de la valeur de l'interception, puis-je l'ignorer ou est-ce que cela compte toujours?

Et qu'est-ce qui se passerait si

$y = a f(c,x) + b$

où $f$ est fonction de c et x, dois-je maintenant compter 3 paramètres?

aic

— Sideshow Bob
source

9

C'est une bonne question, car il y a une subtilité:

est le nombre de paramètres identifiables à estimer. Par exemple, bien que dans le modèle de régression

cinq paramètres sont écrits, néanmoins

. (Ce modèle est équivalent à

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

avec

et

, qui n'a explicitement besoin que de quatre paramètres.)

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Strictement, vous comptez tous les paramètres identifiables et libres - paramètres moyens, paramètres de forme et d'échelle, peu importe (et cela importe pour AIC

), mais pour AIC, cela n'a aucune importance si vous omettez les paramètres communs aux modèles comparés. Ainsi, par exemple, dans la régression, vous devez compter le paramètre de variance. Par conséquent, d'après mon décompte, tous vos décomptes de paramètres dans votre question sont un court - mais s'il y en a exactement un dans tous les modèles, cela ne fait pas de mal de le laisser tomber pour AIC. R compte explicitement le paramètre de variance lors du calcul de l'AIC dans les modèles de régression.

_{C}

$_C$

— Glen_b -Reinstate Monica

@whuber Pourquoi cet excellent commentaire n'est-il pas affiché comme réponse? :)

— Alexis

Merci @Alexis. J'ai posté cette pensée en tant que commentaire car l'idée est suffisamment couverte dans la réponse de P Schnell: je voulais seulement la souligner un peu plus.

— whuber

17

Comme mugen l'a mentionné, représente le nombre de paramètres estimés . En d'autres termes, c'est le nombre de quantités supplémentaires que vous devez connaître afin de spécifier complètement le modèle. Dans le modèle de régression linéaire simple vous pouvez estimer , ou les deux. Quelles que soient les quantités que vous n'évaluez pas, vous devez les fixer. Il n'y a pas "ignorer" un paramètre dans le sens où vous ne le connaissez pas et ne vous en souciez pas. Le modèle le plus courant qui n'évalue pas à la fois et est le modèle sans interception, où nous fixons $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Cela aura 1 paramètre. Vous pouvez tout aussi facilement fixer

ou

si vous avez des raisons de croire que cela reflète la réalité. (Point précis:

est également un paramètre dans une régression linéaire simple, mais comme il est présent dans chaque modèle, vous pouvez le supprimer sans affecter les comparaisons d'AIC.)

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$

Si votre modèle est le nombre de paramètres dépend de si vous fixez l'une de ces valeurs et de la forme de . Par exemple, si nous voulons estimer et savoir que , alors lorsque nous écrivons le modèle, nous avons avec trois paramètres inconnus. Cependant, si

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

, alors nous avons le modèle

qui n'a vraiment que deux paramètres:

et

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Il est crucial que soit une famille de fonctions indexées par . Si tout ce que vous savez, c'est que est continu et que cela dépend de et , alors vous n'avez pas de chance car il existe d'innombrables fonctions continues. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
source

2

(+1) Il convient peut-être de mentionner que tout au long de "estimation" signifie "estimation par maximum de vraisemblance".

— Scortchi - Réintégrer Monica

Est-ce vraiment important? En fait, mon

est une énorme simulation, impossible à séparer analytiquement et prenant des heures à calculer. Je l'essaie avec environ 20 valeurs différentes de

parce que c'est tout ce dont nous avons le temps, et je m'en tiens à la valeur de

qui donne le meilleur

à la fin de la journée. Donc, pour ainsi dire, j'ai estimé

mieux que je peux, mais pas comme vous le feriez dans une régression. Certes, cela compte toujours comme paramètre pour l'AIC?

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— Sideshow Bob

2

@SideshowBob: Oui - lorsque vous comparez deux modèles, la différence dans les logarithmes maximisés est un estimateur biaisé de la différence dans la perte d'informations attendue de Kullback-Leibler et le terme de pénalité dans AIC corrige approximativement ce biais.

— Scortchi - Réintégrer Monica

1

@SideshowBob: Je dois mentionner qu'il y a des modifications de l'AIC pour les équations d'estimation généralisées et similaires - ils utilisent une quasi-vraisemblance maximisée et un terme de pénalité plutôt plus complexe.

— Scortchi - Réintégrer Monica

4

$\mathit{AIC} = 2k - 2\ln(L)$

(voir ici )

$k$

Je ne me sens pas suffisamment informé pour répondre à votre deuxième question, je vais laisser cela à un autre membre de la communauté.

— Mugen
source

1

λ

$\lambda$

1

Oui certainement.

— PA6OTA

1

Premièrement, pour ceux qui ne connaissent peut-être pas l'AIC: le critère d'information Akaike (AIC) est une mesure simple conçue pour comparer la «qualité» des modèles.

Selon l'AIC, lorsque l'on essaie de choisir entre deux modèles différents s'appliquant aux mêmes variables d'entrée et de réponse , c'est-à-dire des modèles conçus pour résoudre le même problème, le modèle avec l'AIC inférieur est considéré comme "meilleur".

$k$

c $f(c, x)$ $k$

— arielf
source