Comment comparez-vous deux processus gaussiens?

La divergence de Kullback-Leibler est une métrique pour comparer deux fonctions de densité de probabilité, mais quelle métrique est utilisée pour comparer deux GP et ? $X$ $Y$

gaussian-process metric

— pushkar
source

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@Zen: Si vous avez le temps, j'aimerais en savoir plus sur cette mesure de distance.

— Neil G

Salut, Neil. Je n'en sais pas grand-chose. Veuillez voir ma réponse ci-dessous.

— Zen

Réponses:

Remarquez que la distribution des processus gaussiens est l'extension du gaussien multivarié pour éventuellement infini . Ainsi, vous pouvez utiliser la divergence KL entre les distributions de probabilité GP en intégrant sur : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Vous pouvez utiliser des méthodes MC pour approximer numériquement cette quantité sur un discrétisé en échantillonnant à plusieurs reprises les processus en fonction de leur distribution GP. Je ne sais pas si la vitesse de convergence est suffisamment bonne ... $\mathcal{X}$

Remarquez que si est fini avec , alors vous revenez à la divergence KL habituelle pour les distributions normales multivariées: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
source

Comment puis-je calculer deux moyennes (mu1 et mu2) que vous avez mentionnées. Ou devrais-je les prendre égaux à zéro comme d'habitude pour le processus gaussien?

— Marat Zakirov

Rappelez-vous que si est un processus gaussien avec une fonction moyenne et une fonction de covariance , alors, pour chaque , le vecteur aléatoire a une distribution normale multivariée avec un vecteur moyen $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ et matrice de covariance , où nous avons utilisé l'abréviation commune $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Chaque réalisation est une fonction réelle dontdomaine est l'ensembleindices . Supposons que . Étant donné deux processus gaussiens et , une distance commune entre deux réalisations $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ et $X(\,\cdot\,,\omega)$ est. Par conséquent, il semble naturel de définir la distance entre les deux processus et comme $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Je ne sais pas s'il existe une expression analytique pour cette distance, mais je pense que vous pouvez calculer une approximation de Monte Carlo comme suit. Fixer une grille fine et tirer des échantillons et partir des vecteurs aléatoires normaux

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

, respectivement, pour

approximatif

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$ par

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
source

Comment échantillonnez-vous à partir de chaque vecteur? Si vous échantillonnez uniquement les moyennes dans chacun des médecins généralistes, vous ne tenez pas compte des écarts. Sinon, vous devrez concevoir une technique d'échantillonnage cohérente.

— pushkar

Ceci est une excellente ressource: gaussianprocess.org/gpml/chapters

— Zen

Vous pouvez également lire toutes les réponses à cette question: stats.stackexchange.com/questions/30652/…

— Zen

Attention, ce n'est pas une distance puisque

. Comme le KL compare deux distributions et non deux réalisations, la distance de Zen entre deux GP doit être définie comme

, et nous avons que

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

pournon dégénéré processus gaussien

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

— Emile

@Emile: comment se fait-il que

utilise la définition

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$

— Zen