Processus gaussien: propriétés d'approximation de fonction

J'apprends le processus gaussien et n'ai entendu que des morceaux. J'apprécierais vraiment les commentaires et les réponses.

Pour tout ensemble de données, est-il vrai qu'une approximation de la fonction du processus gaussien donnerait une erreur d'ajustement nulle ou négligeable aux points de données? Dans un autre endroit, j'ai également entendu dire que le processus gaussien est particulièrement bon pour les données bruyantes. Cela semble être en conflit avec la faible erreur d'ajustement pour toutes les données observées?

De plus, plus loin des points de données, il semble y avoir plus d'incertitude (covariance plus importante). Si oui, se comporte-t-il comme des modèles locaux (RBF, etc.)?

Enfin, existe-t-il une propriété d'approximation universelle?

gaussian-process

— Oalah
source

Supposons que l'échantillon de données soit . Supposons également que nous ayons une fonction de covariance et une moyenne nulle spécifiée pour un processus gussien. La distribution d'un nouveau point sera gaussienne avec une moyenne $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (X) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$ et la variance

Le vecteur

est un vecteur de covariances, la matrice

V (X) = k (X, X) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

est une matrice de covariances d'échantillon. Dans le cas où nous faisons une prédiction en utilisant la valeur moyenne de la distribution postérieure pour lespropriétés de l'interpolation d'échantillon. Vraiment,

Mais ce n'est pas le cas si nous utilisons la régularisation, c'est-à-dire incorporons le terme de bruit blanc. dans ce cas, la matrice de covariance pour l'échantillon a la forme

, mais pour les covariances avec des valeurs de fonction réelles, nous avons la matrice de covariance

, et la moyenne postérieure est

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ je)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

$\sigma$ $\sigma = 0$ $\sigma$

$k$ $O(n)$ $n$

— Alexey Zaytsev
source