Quelle est la différence entre les cannelures cubiques restreintes et les cannelures pénalisées?

Je lis beaucoup sur l'utilisation des splines dans divers problèmes de régression. Certains livres (par exemple, Hodges Richly Parrameterized Linear Models ) recommandent des splines pénalisées. D'autres (par exemple les stratégies de modélisation de régression Harrell ) optent pour des splines cubiques restreintes.

En quoi sont-ils différents dans la pratique? Souhaitez-vous souvent obtenir des résultats sensiblement différents en utilisant l'un ou l'autre? L'un ou l'autre a-t-il des avantages particuliers?

D'après ma lecture, les deux concepts que vous nous demandez de comparer sont des bêtes très différentes et nécessiteraient une comparaison semblable à celle des pommes et des oranges. Cela rend la plupart de vos questions quelque peu théorique - idéalement (en supposant que l'on puisse écrire une pénalité de ondulation pour la base RCS sous la forme requise), vous utiliseriez un modèle de spline de régression cubique restreinte pénalisée.

Splines cubiques restreintes

Une spline cubique restreinte (ou une spline naturelle) est une base de spline construite à partir de fonctions polynomiales cubiques par morceaux qui se lient en douceur à certains emplacements ou nœuds prédéfinis. Ce qui distingue une spline cubique restreinte d'une spline cubique, c'est que des contraintes supplémentaires sont imposées à la version restreinte de sorte que la spline est linéaire avant le premier noeud et après le dernier noeud. Ceci est fait pour améliorer les performances de la cannelure dans les queues de .$X$

La sélection d'un modèle avec un RCS implique généralement le choix du nombre de nœuds et de leur emplacement, le premier régissant la façon dont la spline résultante est ondulée ou complexe. À moins que d'autres étapes ne soient en place pour régulariser les coefficients estimés lors de l'ajustement du modèle, le nombre de nœuds contrôle directement la complexité des splines.

Cela signifie que l'utilisateur a quelques problèmes à surmonter lors de l'estimation d'un modèle contenant un ou plusieurs termes RCS:

1. Combien de nœuds utiliser ?,
2. Où placer ces nœuds dans la plage de ?,$X$
3. Comment comparer des modèles avec différents nombres de nœuds?

À eux seuls, les termes RCS nécessitent l'intervention de l'utilisateur pour résoudre ces problèmes.

Splines pénalisées

Splines de régression pénalisées (sensu Hodges) sur leur propre problème 3. uniquement, mais elles permettent de contourner le problème 1 .. L'idée ici est que, en plus de l'expansion de la base de , et pour l'instant supposons simplement qu'il s'agit d'une base de spline cubique, vous créez également une matrice de pénalité de ondulation. Wiggliness est mesurée en utilisant certains dérivés de la cannelure estimée, avec le dérivé typique utilisé étant la dérivée seconde, et la pénalité elle-même représente la dérivée seconde au carré intégré dans la gamme de . Cette pénalité peut être écrite sous forme quadratique comme$X$$X$

$$\boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

où est une matrice de pénalités et sont les coefficients du modèle. Ensuite , les valeurs de coefficients sont trouvés pour maximiser la vraisemblance pénalisé ceriterion$\boldsymbol{S}$$\boldsymbol{\beta}$$\mathcal{L}_p$

$$\mathcal{L}_p = \mathcal{L} - \lambda \boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$$

où est la log-vraisemblance du modèle et est le paramètre de lissage, qui contrôle la force de pénalisation de la ondulation de la spline.$\mathcal{L}$$\lambda$

Comme la probabilité logarithmique pénalisée peut être évaluée en termes de coefficients du modèle, l'ajustement de ce modèle devient un problème pour trouver une valeur optimale pour tout en mettant à jour les coefficients pendant la recherche de ce optimal .$\lambda$$\lambda$

$\lambda$ peut être choisi en utilisant la validation croisée, la validation croisée généralisée (GCV) ou les critères de vraisemblance marginale ou de vraisemblance marginale restreinte. Les deux derniers refondent efficacement le modèle spline en un modèle à effets mixtes (les parties parfaitement lisses de la base deviennent des effets fixes et les parties ondulées de la base sont des effets aléatoires, et le paramètre de lissage est inversement lié au terme de variance pour les effets aléatoires ), ce que Hodges envisage dans son livre.

Pourquoi cela résout-il le problème du nombre de nœuds à utiliser? Eh bien, ça ne fait que ça. Cela résout le problème de ne pas nécessiter de nœud à chaque point de données unique (une spline de lissage), mais vous devez toujours choisir le nombre de nœuds ou de fonctions de base à utiliser. Cependant, parce que la pénalité réduit les coefficients, vous pouvez vous en sortir en choisissant une dimension de base aussi grande que vous le pensez nécessaire pour contenir la vraie fonction ou une approximation proche, puis vous laissez la pénalité contrôler la façon dont la spline estimée finit par onduler. est, avec la marge de manœuvre potentielle supplémentaire disponible dans la base étant supprimée ou contrôlée par la pénalité.

Comparaison

Les splines pénalisées (régression) et le RCS sont des concepts très différents. Rien ne vous empêche de créer une base RCS et une pénalité associée sous forme quadratique, puis d'estimer les coefficients de spline en utilisant les idées du modèle de spline de régression pénalisé.

RCS n'est qu'un type de base que vous pouvez utiliser pour créer une base de spline, et les splines de régression pénalisées sont un moyen d'estimer un modèle contenant une ou plusieurs splines avec des pénalités de ondulation associées.

Pouvons-nous éviter les problèmes 1., 2. et 3.?

Oui, dans une certaine mesure, avec une base de spline en plaque mince (TPS). Une base TPS a autant de fonctions de base comme des valeurs de données uniques dans . Ce que Wood (2003) a montré que vous pouvez créer une base de spline de régression de plaque mince (TPRS) utilise une composition à base des fonctions de base du TPS et ne conserve que le premier plus grand mot à dire. Vous devez encore spécifier$X$$k$$k$, le nombre de fonctions de base que vous souhaitez utiliser, mais le choix est généralement basé sur la façon dont vous vous attendez à ce que la fonction ajustée soit et le nombre de coups de calcul que vous êtes prêt à prendre. Il n'est pas non plus nécessaire de spécifier les emplacements des nœuds et la pénalité réduit les coefficients, de sorte que l'on évite le problème de sélection du modèle car vous n'avez qu'un seul modèle pénalisé, pas beaucoup de modèles non pénalisés avec des nombres de nœuds différents.

Cannelures en P

Pour compliquer les choses, il existe un type de base de spline connue sous le nom de P-spline (Eilers & Marx, 1996)), où le souvent interprété comme "pénalisé". Les P-splines sont une base B-spline avec une pénalité de différence appliquée directement aux coefficients du modèle. Dans une utilisation typique, la pénalité P-spline pénalise les différences au carré entre les coefficients du modèle adjacent, ce qui pénalise à son tour la ondulation. Les splines P sont très faciles à configurer et entraînent une matrice de pénalité clairsemée qui les rend très aptes à l'estimation des termes de spline dans les modèles bayésiens basés sur MCMC (Wood, 2017).$P$

Références

Eilers, PHC et BD Marx. 1996. Lissage flexible avec des lignes et des pénalités. Stat. Sci.

Wood, SN 2003. Splines de régression en plaque mince. JR Stat. Soc. Série B Stat. Methodol. 65: 95-114. doi: 10.1111 / 1467-9868.00374

Wood, SN 2017. Modèles d'additifs généralisés: une introduction avec R, deuxième édition, CRC Press.