Interprétation probabiliste des cannelures de lissage de plaques minces

TLDR: Les splines de régression en plaques minces ont-elles une interprétation probabiliste / bayésienne?

Étant donné les paires entrée-sortie , ; Je veux estimer une fonction comme suit où est une fonction du noyau et est un vecteur caractéristique de taille . Les coefficients et peuvent être trouvés en résolvant où les lignes de sont données par $(x_i,y_i)$ $i=1,...,n$ $f(\cdot)$

f (x) \approx u (x) = ϕ (x_{i})^{T} β + \sum_{i = 1}^{n} α_{i} k (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$

k (\cdot, \cdot)

$k(\cdot,\cdot)$

ϕ (x_{i})

$\phi(x_i)$

m < n

$m<n$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

min_{α \in R^{n}, β \in R^{m}} \frac{1}{n} ‖ Y - Φ β - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

Φ

$\Phi$

ϕ (x_{i})^{T}

$\phi(x_i)^T$ et, avec un certain abus de notation, la

i, j

$i,j$ jième entrée de la matrice du noyau

K

$K$ est

k (x_{i}, x_{j})

$k(x_{i},x_{j})$ . Cela donne

α^{*} = λ^{- 1} (I + λ^{- 1} K)^{- 1} (Y - Φ β^{*})

$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$

β^{*} = {Φ^{T} (I + λ^{- 1} K)^{- 1} Φ}^{- 1} Φ^{T} (I + λ^{- 1} K)^{- 1} Y .

$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$ En supposant que

k (\cdot, \cdot)

$k(\cdot,\cdot)$ est une fonction de noyau définie positive, cette solution peut être considérée comme le meilleur prédicteur linéaire sans biais pour le modèle bayésien suivant:

y | (β, h (\cdot)) \sim N (ϕ (x) β + h (x), σ^{2}),

$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$

h (\cdot) \sim G P (0, τ k (\cdot, \cdot)),

$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$

β \propto 1,

$\begin{equation} \beta\propto1, \end{equation}$ où

σ^{2} / τ = λ

$\sigma^2/\tau=\lambda$ et

G P

$GP$ désigne un processus gaussien. Voir par exemple https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Ma question est la suivante. Supposons que je laisse $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ et $\phi(x)^T=(1,x)$ , c'est-à-dire spline en plaque mince régression. Maintenant, $k(\cdot,\cdot)$ n'est pas une fonction semi-définie positive et l'interprétation ci-dessus ne fonctionne pas. Le modèle ci-dessus et sa solution ont-ils toujours une interprétation probabiliste comme dans le cas où le $k(\cdot,\cdot)$ est semi-défini positif?

— MthQ
source

Vous semblez supposer que le est dans un espace dimensionnel avec ou au moins que l'entier est pair.

x

$x$

d

$d$

d = 2

$d=2$

d

$d$

— Yves

Ok, alors quelles sont les implications?

— MthQ

Ce n'était qu'une remarque secondaire car dans la question, on peut penser que sont des scalaires. Mais dans ce cas, le noyau de Duchon a la forme avec entier, et pour la spline de lissage habituelle. Je pense que l'interprétation probabiliste reste presque inchangée mais le GP n'est pas stationnaire: c'est une fonction aléatoire intrinsèque . Pour la spline de lissage habituelle, cela s'avère être un processus de Wiener intégré.

x_{i}

$x_i$

| x - x^{'} |^{2 m - 1}

$|x - x'|^{2m-1}$

m

$m$

m = 2

$m=2$

— Yves

@Yves qui semble intéressant. Vous voudrez peut-être étendre votre commentaire à une réponse, en expliquant un peu plus ce qu'est une fonction aléatoire intrinsèque et en ajoutant l'exemple classique de la spline de lissage. Si vous vous inquiétez de prouver que le noyau TPS donne lieu à un GP non stationnaire, une simulation pourrait être un compromis utile, surtout si vous ajoutez une estimation non paramétrique de la variance de la distribution prédictive postérieure.

— DeltaIV

@DeltaIV. Je vous remercie. Je vais essayer de le faire, pas encore une tâche facile. Je suis sûr que cela se produit lorsque les fonctions sont des polynômes appropriés liés au noyau, mais cela pourrait ne plus être vrai avec arbitraire comme dans le contexte GP plus classique.

ϕ_{j}

$\phi_j$

ϕ_{j}

$\phi_j$

— Yves

Laissez le modèle de la question s'écrire où est un GP non observé avec index et est un terme de bruit normal avec variance . Le GP est généralement supposé être centré, stationnaire et non déterministe. Notez que le terme peut être considéré comme un GP (déterministe) avec noyau où

\begin{matrix} (1) & Y_{i} = ϕ (x_{i})^{⊤} β + h (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$

h (x)

$h(\mathbf{x})$

x \in R^{d}

$\mathbf{x} \in \mathbb{R}^d$

ε_{i}

$\varepsilon_i$

σ^{2}

$\sigma^2$

ϕ (x)^{⊤} β

$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$

ϕ (x)^{⊤} B ϕ (x)

$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$

B

$\mathbf{B}$ est une matrice de covariance à `` valeur infinie ''. En effet, en prenant avec nous obtenons les équations de krigeage de la question. Ceci est souvent nommé avant diffus pour . Un postérieur approprié pour ne résulte que lorsque la matrice a un rang complet. Ainsi, le modèle écrit ainsi que où est un GP . La même interprétation Bayes peut être utilisée avec des restrictions lorsque n'est plus un GP mais plutôt un

B := ρ I

$\mathbf{B} := \rho \, \mathbf{I}$

ρ \to \infty

$\rho \to \infty$

β

$\boldsymbol{\beta}$

β

$\boldsymbol{\beta}$

Φ

$\boldsymbol{\Phi}$

\begin{matrix} (2) & Y_{i} = ζ (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$

ζ (x)

$\zeta(\mathbf{x})$

ζ (x)

$\zeta(\mathbf{x})$ Fonction aléatoire intrinsèque (IRF). La dérivation peut être trouvée dans le livre de G. Wahba. Des présentations lisibles du concept de l'IRF sont par exemple dans le livre de N. Cressie et l'article de Mardia et al cité ci-dessous. Les IRF sont similaires aux processus intégrés bien connus dans le contexte de temps discret (comme ARIMA): un IRF est transformé en un GP classique par une sorte d'opération de différenciation.

Voici deux exemples d'IRF pour . Considérons tout d'abord un processus de Wiener avec sa condition initiale remplacée par une condition initiale diffuse : est normal avec une variance infinie. Une fois qu'une valeur est connue, l'IRF peut être prédit comme l'est le GP de Wiener. Deuxièmement, considérons un processus de Wiener intégré donné par l'équation où est un processus de Wiener. Pour obtenir un GP, nous avons maintenant besoin de deux paramètres scalaires: deux valeurs et pour $d=1$ $\zeta(x)$ $\zeta(0) = 0$ $\zeta(0)$ $\zeta(x)$

d^{2} ζ (x) / d x^{2} = d W (x) / d x

$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$

W (x)

$W(x)$

ζ (x)

$\zeta(x)$

ζ (x^{'})

$\zeta(x')$

x \neq x^{'}

$x \neq x'$ ou les valeurs et à un certain choisi . On peut considérer que les deux paramètres supplémentaires sont conjointement gaussiens avec une matrice de covariance infinie . Dans les deux exemples, dès qu'un ensemble fini approprié d'observations est disponible, l'IRF est presque géré comme un GP. De plus, nous avons utilisé un opérateur différentiel: et respectivement. L'espace nul est un espace linéaire de fonctions tel que . Il contient la fonction constante

ζ (x)

$\zeta(x)$

d ζ (x) / d x

$\text{d}\zeta(x) / \text{d}x$

x

$x$

2 \times 2

$2 \times 2$

L := d / d x

$L := \text{d}/ \text{d}x$

L := d^{2} / d x^{2}

$L := \text{d}^2/ \text{d}x^2$

F

$\mathcal{F}$

ϕ (x)

$\phi(x)$

L ϕ = 0

$L \phi = 0$

ϕ_{1} (x) = 1

$\phi_1(x)=1$ dans le premier cas et les fonctions et dans le second cas. Notez que dans le premier exemple est GP pour tout fixe dans le premier exemple et de même est un GP dans le second cas.

ϕ_{1} (x) = 1

$\phi_1(x)=1$

ϕ_{2} (x) = x

$\phi_2(x) = x$

ζ (x) - ζ (x + δ)

$\zeta(x) - \zeta(x + \delta)$

δ

$\delta$

ζ (x - δ) - 2 ζ (x) + ζ (x + δ)

$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

Pour une dimension générale , considérons un espace linéaire de fonctions définies sur . Nous appelons un incrément relatif à une collection finie de emplacements et poids réels tels que Considérez comme étant l'espace nul de nos exemples. Pour le premier exemple, nous pouvons prendre par exemple avec et arbitraire et $d$ $\mathcal{F}$ $\mathbb{R}^d$ $\mathcal{F}$ $s$ $\mathbf{x}_i \in \mathbb{R}^d$ $s$ $\nu_i$

\sum_{i = 1}^{s} ν_{i} ϕ (x_{i}) = 0 for all ϕ \in F .

$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$

F

$\mathcal{F}$

s = 2

$s=2$

x_{1}

$x_1$

x_{2}

$x_2$

[1, - 1]

$[1, \, -1]$ . Pour le deuxième exemple, nous pouvons prendre s également espacés et . La définition d'un IRF implique un espace de fonctions et une fonction qui est conditionnellement positive par rapport à , ce qui signifie que est dès que est un incrément écrit . Depuis et

s = 3

$s = 3$

x_{i}

$x_i$

ν = [1, - 2, 1]

$\boldsymbol{\nu} = [1,\,-2,\,1]$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x}, \, \mathbf{x}')$

F

$\mathcal{F}$

\sum_{i = 1}^{s} \sum_{j = 1}^{s} ν_{i} ν_{j} g (x_{i}, x_{j}^{'}) \geq 0

$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$

[ν_{i}, x_{i}]_{i = 1}^{s}

$[\nu_i,\,\mathbf{x}_i]_{i=1}^s$

F

$\mathcal{F}$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x},\,\mathbf{x}')$ on peut faire un noyau de covariance donc un GP comme dans Mardia et al. On peut partir d'un opérateur différentiel linéaire et utiliser l'espace nul comme ; l'IRF aura alors une connexion avec l'équation un bruit gaussien.

L

$L$

F

$\mathcal{F}$

L ζ =

$L \zeta =$

Le calcul de la prédiction de l'IRF est presque le même que dans la question, avec remplacé par , mais avec le formant maintenant une base de . La contrainte supplémentaire doit être ajoutée dans le problème d'optimisation, ce qui permettra à . Nous pouvons toujours ajouter plus de fonctions de base qui ne sont pas dans si nécessaire; cela aura pour effet d'ajouter un GP déterministe, par exemple à l'IRF $k(\mathbf{x},\,\mathbf{x}')$ $g(\mathbf{x},\,\mathbf{x}')$ $\phi_i(\mathbf{x})$ $\mathcal{F}$ $\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$ $\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$ $\mathcal{F}$ $\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$ $\zeta(\mathbf{x})$ dans (2).

La spline en plaque mince dépend d'un entier tel que , l'espace contient des polynômes de faible degré, de dimension dépendant de et . On peut montrer que si est la fonction suivante pour puis définit un wrt conditionnellement positif . La construction concerne un opérateur différentiel $m$ $m> 2d$ $\mathcal{F}$ $p(m)$ $m$ $d$ $E(r)$ $r \geq 0$

E (r) := {\begin{cases} (- 1)^{m + 1 + d / 2} r^{2 m - d} \log r & d even, \\ r^{2 m - d} & d odd, \end{cases}

$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$

g (x, x^{'}) := E (‖ x - x^{'} ‖)

$g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$

F

$\mathcal{F}$

L

$L$ . Il s'avère que pour et la spline en plaque mince n'est rien d'autre que la spline cubique naturelle habituelle, qui se rapporte à l'exemple de Wiener intégré ci-dessus, avec . Donc (2) n'est rien d'autre que le modèle spline de lissage habituel. Lorsque et l'espace nul a la dimension et est généré par les fonctions , et .

d = 1

$d=1$

m = 2

$m=2$

g (x, x^{'}) = | x - x^{'} |^{3}

$g(x,\,x') = |x - x'|^3$

d = 2

$d=2$

m = 2

$m=2$

p (m) = 3

$p(m)=3$

1

$1$

x_{1}

$x_1$

x_{2}

$x_2$

Statistiques de Cressie N pour les données spatiales . Wiley 1993.

Mardia KV, Kent JT, Goodall CR et Little JA. Krigeage et splines avec informations dérivées. Biometrika (1996), 83,1, pp. 207-221.

Modèles de spline Wahba G pour les données d'observation . SIAM 1990.

Wang, Y Lissage des cannelures, méthodes et applications . Chapman et Hall, 2011.

— Yves
source

Merci beaucoup pour l'effort que vous avez fourni. Extrêmement utile. J'ai une autre question. Ainsi, l'ajout de fonctions de base supplémentaires à (en plus des fonctions de base de ) ne change pas l'interprétation de . Ce que j'ai remarqué, cependant, c'est que la solution donnée dans ma question ci-dessus, satisfait toujours , pas seulement si . Comment cela peut-il être interprété?

ϕ (\cdot)

$\boldsymbol{\phi}(\cdot)$

F

$\mathcal{F}$

ζ (\cdot)

$\zeta(\cdot)$

α^{*}

$\alpha^*$

Φ^{⊤} α = 0

$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$

ϕ (\cdot) \in F

$\boldsymbol{\phi}(\cdot)\in \mathcal{F}$

— MthQ

Oui. Dans les deux cas, il y a fonctions de base dans l'approximation de , alors que seules observations sont utilisées. Nous avons donc quelque chose comme une régression déficiente en rang avec les coefficients et . La partie n'étant pas pénalisée, elle a tendance à «absorber» plus de variation de que la partie qui apporte contraintes linéaires. Il est à noter que rien n'interdit l'utilisation de certaines des "kernel shifts" as . Si nous les utilisons tous, alors tous les

n + p

$n+p$

f (x)

$f(x)$

n

$n$

β_{i}

$\beta_i$

α_{j}

$\alpha_j$

β

$\beta$

y

$y$

α

$\alpha$

p

$p$

n

$n$

x \mapsto k (x, x_{i})

$x \mapsto k(x, x_i)$

ϕ_{j} (x)

$\phi_j(x)$

α_{j}^{⋆}

$\alpha_j^\star$ sont nuls, ce qui semble raisonnable.

— Yves