Covariance dans le processus gaussien


8

Je suis un peu confus quant à la formule de calcul de la covariance dans le processus gaussien (l'ajout de variance me confond toujours car il n'est pas toujours explicitement indiqué). L'origine de la confusion est que les formules sont données dans Pattern Recognition et Machine Learning par Bishop et que les processus gaussiens pour Machine Learning par Rasmussen sont différents.

La moyenne de GP est donnée par la relation:

μ=K(X,X)[K(X,X)+σ2I]1y

La variance selon Bishop (page n °: 308) est:

Σ=[K(X,X)+σ2]K(X,X)[K(X,X)+σ2I]1K(X,X)

La variance selon Rasmussen (page n °: 16) est:

Σ=K(X,X)K(X,X)[K(X,X)+σ2I]1K(X,X)

Mon doute est de savoir si la variance est là ou non au premier terme dans RHS pour la matrice de covariance . Ou ai-je gâché des choses?Σ

Faites-moi savoir si j'ai besoin de fournir plus d'informations.

Réponses:


8

Le paramètre de bruit, , est le paramètre de la fonction de vraisemblance aka fonction de bruit.σ2

Celui avec est la variance de (observation). Celui sans est la variance de (variable latente = observation - bruit). Ils sont donc décalés l'un de l'autre par qui est le même pour toutes les valeurs de la variable d'entrée .+σ2yfσ2x

Les formules me semblent bien. Comme vous le voyez, la variance de (l'observation silencieuse) dépend également du paramètre de bruit. Cela a également du sens. Votre estimation du bruit affecterait l'estimation de l'incertitude (c.-à-d. La variance) de la variable latente (sans bruit).y

Pour éviter toute confusion, j'y ferais référence par et .var(y)var(f)

Encore une chose: les deux expressions que vous avez notées sont des scalaires, pas des matrices. La matrice de covariance est not . est la variance et non la covariance car il s'agit d'une seule variable -D ( ou ).ΣKΣΣ1yf

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.