Comment combiner les prévisions lorsque la variable de réponse dans les modèles de prévision était différente?

introduction

$AIC_j$ $j$ $AIC_j$ $AIC^* = \min_j{AIC_j}$ $RP_j = e^{(AIC^*-AIC_j)/2}$ $j$

w_{j} = \frac{R P_{j}}{\sum_{j} R P_{j}}

$w_j = \frac{RP_j}{\sum_j RP_j}$

Problème

Une difficulté que j'essaie de surmonter est que les modèles sont estimés sur les variables de réponse (endogènes) transformées différemment. Par exemple, certains modèles sont basés sur des taux de croissance annuels, un autre - sur des taux de croissance d'un trimestre à l'autre. Ainsi, les valeurs extraites $AIC_j$ ne sont pas directement comparables.

Solution éprouvée

Étant donné que tout ce qui importe est la différence des $AIC$ on pourrait prendre l' du modèle de base $AIC$ (par exemple, j'ai essayé d'extraire lm(y~-1)le modèle sans aucun paramètre) qui est invariant aux transformations des variables de réponse, puis comparer les différences entre le $j$ ème modèle et le modèle de base $AIC$ . Ici cependant, il semble que le point faible demeure - la différence est affectée par la transformation de la variable de réponse.

Remarques finales

Notez que l'option comme «estimer tous les modèles sur les mêmes variables de réponse» est possible, mais prend beaucoup de temps. Je voudrais rechercher le "remède" rapide avant de prendre la décision douloureuse s'il n'y a pas d'autre moyen de résoudre le problème.

— Dmitrij Celov
source

Je pense qu'une des méthodes les plus fiables pour comparer les modèles est de contre-valider l'erreur hors échantillon (par exemple MAE). Vous devrez non-transformer la variable exogène de chaque modèle pour comparer directement les pommes aux pommes.

— Zach
source

Une autre méthode que j'ai laissée pour une approche encore plus longue est d'utiliser les erreurs jack-knifed pour estimer les poids similaires à Bates et Granger (1969) et les travaux connexes comme les combinaisons Clements et Harvey Forecasts et englobant (2007). Le point faible de l'approche basée sur les erreurs de prévision est qu'elle est en moyenne inférieure aux approches basées sur les informations (modèle). Étant donné que la moyenne bayésienne est délicate, j'ai essayé d'appliquer une méthode plus simple qui pourrait être considérée comme BMA avec des prieurs informatifs.

— Dmitrij Celov

Notez que je ne veux ni comparer ni sélectionner le meilleur modèle, ni rechercher la meilleure méthode de combinaison de prévisions. J'ai simplement des problèmes pour comparer les AIC des modèles basés sur des variables de réponse transformées différemment .

— Dmitrij Celov

@Dmitrij Celov: Alors pourquoi comparez-vous les AIC? Gardez à l'esprit que l'AIC est asymptotiquement équivalent à une validation croisée avec omission, donc je soupçonne que les comparaisons de l'une ou l'autre métrique seraient similaires. stats.stackexchange.com/a/587/2817

— Zach

@DmitrijCelov: "Le point faible de l'approche basée sur les erreurs de prévision est qu'elle est en moyenne inférieure aux approches basées sur l'information (modèle)." Inférieur à quel égard? Avez-vous des citations ou des explications à cela? L'intuition me dit que cette affirmation est fausse, mais l'intuition est souvent fausse ...

— Zach

J'ai probablement fait une conclusion rapide après la remarque dans G.Kapitanious et al document de travail des combinaisons et des prévisions de la Banque de la suite de l' Angleterre des méthodes de prévision statistique où sur p. 23, il est écrit que "... la combinaison des prévisions ne donnera généralement pas la prévision optimale, tandis que la combinaison des informations le fera". L'équivalence asymptotique n'est pas ce que j'aimerais avoir dans de petits échantillons de données macroéconomiques, mais des méthodes simples peuvent surpasser les plus complexes. La validation croisée est simplement la deuxième meilleure solution, les vérins sont produits en une semaine, les AIC en une heure. (Nous pouvons aller discuter)

— Dmitrij Celov