Splines vs régression du processus gaussien

15

Je sais que la régression de processus gaussienne (GPR) est une alternative à l'utilisation de splines pour ajuster des modèles flexibles non linéaires. Je voudrais savoir dans quelles situations l'une serait plus appropriée que l'autre, notamment dans le cadre de régression bayésienne.

J'ai déjà examiné quels sont les avantages / inconvénients de l'utilisation de splines, de splines lissées et d'émulateurs de processus gaussiens? mais il ne semble rien y avoir sur GPR dans ce post.

— ved
source

Je dirais que GP est une approche plus orientée données pour ajuster une fonction non linéaire. Les splines sont généralement limitées au n-ième polynôme. Les GP peuvent modéliser des fonctions plus complexes que les polynômes (pas sûr à 100% cependant).

— Vladislavs Dovgalecs

15

Je suis d'accord avec la réponse de @j__.

Cependant, je voudrais souligner le fait que les splines ne sont qu'un cas particulier de régression / krigeage du processus gaussien .

Si vous prenez un certain type de noyau en régression gaussienne, vous obtenez exactement le modèle d'ajustement de spline.

Ce fait est prouvé dans cet article par Kimeldorf et Wahba (1970) . Il est plutôt technique, car il utilise le lien entre les noyaux utilisés dans le krigeage et la reproduction des espaces de Hilbert du noyau (RKHS).

— Pop
source

2

Par exemple, dans le cas unidimensionnel, le modèle GP de la célèbre spline de lissage est simplement un bruit blanc gaussien doublement intégré. Craig Ansley et Robert Kohn l'ont utilisé pour concevoir des algorithmes efficaces à la fin des années 80. Je crois que cette équivalence peut être partiellement comprise sans plonger dans les mathématiques profondes de RKHS.

— Yves

Ceci est une très bonne réponse.

— Astrid

6

C'est une question très intéressante: l'équivalent entre processus gaussiens et splines de lissage a été montré à Kimeldorf et Wahba 1970. La généralisation de cette correspondance dans le cas d'une interpolation contrainte a été développée dans Bay et al. 2016.

Bay et al. 2016. Généralisation de la correspondance Kimeldorf-Wahba pour l'interpolation contrainte. Journal électronique des statistiques.

Dans cet article, l'avantage de l'approche bayésienne a été discuté.

— maatouk Hassan
source

2

Je suis d'accord avec le commentaire de @ xeon également GPR met une distribution de probabilité sur un nombre infini de fonctions possibles et la fonction moyenne (qui est comme spline) n'est que l'estimation MAP mais vous avez également une variance à ce sujet. Cela permet de grandes opportunités telles que la conception expérimentale (choisir des données d'entrée qui est au maximum informative). De plus, si vous souhaitez effectuer l'intégration (en quadrature) du modèle, un GP aura un résultat gaussien qui vous permettra de donner confiance à votre résultat. Au moins avec les modèles cannelés standard, cela n'est pas possible.

Dans la pratique, GPR donne un résultat plus informatif (d'après mon expérience) mais les modèles splines semblent être plus rapides dans mon expérience.

— j__
source