Lasso-ing l'ordre d'un décalage?

Supposons que j'ai des données longitudinales de la forme (j'ai plusieurs observations, ce n'est que la forme d'une seule). Je suis intéressé par les restrictions sur . Un sans restriction équivaut à prendre avec .$\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$$\Sigma$$\Sigma$

Cela n'est généralement pas fait car cela nécessite d'estimer les paramètres de covariance . Un modèle est "lag- " si nous prenons c'est-à dire que nous utilisons uniquement le précédent termes pour prédire partir de l'historique.$O(J^2)$$k$

Ce que j'aimerais vraiment faire, c'est utiliser une sorte d'idée de rétrécissement pour éliminer certains des , comme le LASSO. Mais la chose est, je voudrais aussi la méthode que j'utilise pour préférer les modèles qui sont lag- pour certains ; J'aimerais pénaliser davantage les décalages d'ordre supérieur que les décalages d'ordre inférieur. Je pense que c'est quelque chose que nous aimerions particulièrement faire étant donné que les prédicteurs sont fortement corrélés.$\phi_{\ell j}$$k$$k$

Un problème supplémentaire est que si (par exemple) est réduit à je voudrais également que soit réduit à , c'est-à-dire que le même décalage est utilisé dans toutes les distributions conditionnelles.$\phi_{35}$$0$$\phi_{36}$$0$

Je pourrais spéculer là-dessus, mais je ne veux pas réinventer la roue. Existe-t-il des techniques LASSO conçues pour résoudre ce type de problème? Suis-je mieux de simplement faire autre chose, comme l'inclusion progressive des ordres de retard? Étant donné que mon espace modèle est petit, je pourrais même utiliser une pénalité sur ce problème, je suppose?$L_0$

Vous pouvez effectuer une validation croisée à plusieurs reprises de k = 0 à quel que soit le maximum et tracer les performances par rapport à k. Étant donné que le modèle est testé sur des données qu'il n'avait pas vues auparavant, il n'y a aucune garantie que les modèles complexes fonctionneront mieux, et en effet, vous devriez voir une dégradation des performances si le modèle devient trop complexe en raison d'un sur-ajustement. Personnellement, je pense que c'est plus sûr et plus facile à justifier que d'avoir un facteur de pénalité arbitraire, mais votre kilométrage peut varier.

Je ne comprends pas non plus vraiment comment Lasso ordonné répond à la question. Cela semble trop restrictif, cela oblige complètement à ordonner les coefficients. Alors que la question d'origine peut se retrouver pour certaines données ayant une solution où ne diminue pas strictement avec l.$\phi_{lj}$

Le LASSO ordonné semble être ce que vous recherchez: il calcule les coefficients de régression régularisés comme dans le LASSO standard, mais soumis à la contrainte supplémentaire que.$\beta_{1...j}$$|\beta_1| \geq |\beta_2|...\geq|\beta_j|$

Cela permet d'atteindre le deuxième objectif de réduction à zéro des coefficients pour les retards d'ordre supérieur, mais est plus restrictif que la seule restriction consistant à préférer un modèle de décalage inférieur. Et comme d'autres le soulignent, il s'agit d'une restriction lourde qui peut être très difficile à justifier.

Après avoir renoncé aux mises en garde, l'article présente les résultats de la méthode sur les données de séries chronologiques réelles et simulées, et détaille les algorithmes pour trouver les coefficients. La conclusion mentionne un package R, mais le document est assez récent et une recherche sur CRAN de "LASSO commandé" est vide, donc je soupçonne que le package est toujours en développement.

L'article propose également une approche généralisée dans laquelle deux paramètres de régularisation «encouragent la quasi-monotonie». (Voir p. 6.) En d'autres termes, il faut pouvoir régler les paramètres pour permettre un ordre détendu. Malheureusement, ni exemples ni comparaisons de la méthode détendue ne sont fournis. Mais, les auteurs écrivent que l'implémentation de ce changement est une simple question de remplacer un algorithme par un autre, donc on espère qu'il fera partie du package R à venir.

La pénalité LASSO imbriquée ( pdf ) pourrait être utilisée mais il n'y a pas de packages R pour cela.

Je sais que vous l'avez écrit comme prémisse, mais je n'utiliserais pas le LASSO commandé sans être absolument sûr que c'est quelque chose qui est nécessaire, car les hypothèses du LASSO commandé ne sont pas directement appropriées pour la prédiction de séries chronologiques. À titre de contre-exemple, considérons le cas où vous avez un délai de, disons, dix pas de temps entre la mesure et la cible. De toute évidence, les contraintes LASSO ordonnées ne peuvent pas gérer de tels effets sans attribuer un non-sens aux neuf premiers paramètres.

$\lambda$$\lambda$$\lambda=0$

$\lambda$