J'utilise AIC (Akaike's Information Criterion) pour comparer des modèles non linéaires dans R. Est-il valide de comparer les AIC de différents types de modèle? Plus précisément, je compare un modèle ajusté par glm avec un modèle avec un terme à effet aléatoire ajusté par glmer (lme4).
Sinon, existe-t-il un moyen de faire une telle comparaison? Ou l'idée est-elle complètement invalide?
Réponses:
Ça dépend. L'AIC est fonction de la vraisemblance logarithmique. Si les deux types de modèle calculent la probabilité logarithmique de la même manière (c'est-à-dire incluent la même constante), alors oui, vous pouvez, si les modèles sont imbriqués .
Je suis raisonnablement certain de cela glm()et lmer()n'utilise pas de vraisemblances de journal comparables.
La question des modèles imbriqués est également à discuter. Certains disent que l'AIC n'est valable que pour les modèles imbriqués car c'est ainsi que la théorie est présentée / travaillée. D'autres l'utilisent pour toutes sortes de comparaisons.
C'est une grande question qui m'intéresse depuis un moment.
Pour les modèles de la même famille (c'est-à-dire les modèles auto-régressifs d'ordre k ou les polynômes), AIC / BIC a beaucoup de sens. Dans d'autres cas, c'est moins clair. Le calcul de la vraisemblance logarithmique exacte (avec les termes constants) devrait fonctionner, mais il est probablement préférable d'utiliser une comparaison de modèles plus compliquée comme les facteurs de Bayes (http://www.jstor.org/stable/2291091).
Si les modèles ont la même fonction de perte / erreur, une alternative consiste simplement à comparer les log-vraisemblances à validation croisée. C'est généralement ce que j'essaie de faire lorsque je ne suis pas sûr que l'AIC / BIC ait du sens dans une certaine situation.
Notez que dans certains cas, AIC ne peut même pas comparer des modèles du même type, comme les modèles ARIMA avec un ordre de différenciation différent. Citant la prévision: principes et pratique par Rob J Hyndman et George Athanasopoulos:
Il est important de noter que ces critères d'information tendent à ne pas être de bons guides pour sélectionner l'ordre approprié de différenciation ( ) d'un modèle, mais uniquement pour sélectionner les valeurs de et . En effet, la différenciation modifie les données sur lesquelles la probabilité est calculée, ce qui rend les valeurs AIC entre les modèles avec différents ordres de différenciation non comparables. Nous devons donc utiliser une autre approche pour choisir , puis nous pouvons utiliser l'AICc pour sélectionner et .