Explication de ce que Nate Silver a dit au sujet du loess

Dans une question que j'ai posée récemment , on m'a dit que c'était un grand "non-non" d'extrapoler avec du lœss. Mais, dans le dernier article de Nate Silver sur FiveThirtyEight.com, il a discuté de l'utilisation du loess pour faire des prédictions électorales.

Il discutait des spécificités des prévisions agressives par rapport aux prévisions conservatrices avec le loess, mais je suis curieux de savoir s'il est possible de faire de futures prédictions avec le loess?

Je suis également intéressé par cette discussion et quelles autres alternatives il y a qui pourraient avoir des avantages similaires à loess.

— a.powell
source

Si votre variable x est le temps, il serait dangereux d'utiliser le loess pour prédire l'avenir (ce qui serait en dehors de la plage des données). Mais cela ne signifie pas que vous ne pouvez pas utiliser le loess pour faire des prédictions de manière plus générale.

— Glen_b -Reinstate Monica

@Glen_b par curiosité, qu'est-ce que je pourrais prédire "plus généralement"?

— a.powell

Imaginez une relation non linéaire entre la proportion de personnes enclines à voter pour le parti A et le taux de chômage (avec d'autres prédicteurs - effets pour les différents États par exemple). Imaginez plus loin que de nouveaux chiffres du chômage viennent d'être disponibles; dans la fourchette des valeurs expérimentées dans l'ensemble de formation, mais pas nécessairement une valeur représentée dans cet ensemble (par exemple, le chômage passé se situe entre 5 et 12% et nous avons maintenant un chiffre de 8,3%, qui devrait être stable). Ensuite, nous pourrions utiliser le loess pour prédire la proportion votant A, sans sortir du taux de chômage de 5 à 12%.

— Glen_b -Reinstate Monica

@Glen_b Merci. C'est une merveilleuse illustration de la façon dont il peut être utilisé pour les prévisions.

— a.powell

Le problème avec le lowess ou le loess est qu'il utilise une interpolation polynomiale. Il est bien connu dans la prévision que les polynômes ont un comportement erratique dans les queues. Lors de l'interpolation, les polynômes du 3ème degré par morceaux fournissent une modélisation excellente et flexible des tendances tout en extrapolant au-delà de la gamme des données observées, ils explosent. Si vous aviez observé des données ultérieures dans la série chronologique, vous auriez certainement dû inclure un autre point d'arrêt dans les splines pour obtenir un bon ajustement.

Les modèles de prévision sont cependant bien explorés ailleurs dans la littérature. Le processus de filtrage comme le filtre de Kalman et le filtre à particules fournissent d'excellentes prévisions. Fondamentalement, un bon modèle de prévision sera basé sur des chaînes de Markov où le temps n'est pas traité comme un paramètre dans le modèle, mais les états du modèle précédents sont utilisés pour informer les prévisions.

— AdamO
source