Fusion des observations dans le processus gaussien

J'utilise le processus gaussien (GP) pour la régression.

Dans mon problème, il est assez courant que deux ou plusieurs points de données soient proches l'un de l'autre, relativement aux échelles de longueur du problème. De plus, les observations peuvent être extrêmement bruyantes. Pour accélérer les calculs et améliorer la précision des mesures , il semble naturel de fusionner / intégrer des grappes de points proches les uns des autres, tant que je me soucie des prédictions sur une plus grande échelle de longueur.$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

Je me demande quelle est la façon rapide mais semi-raisonnée de faire cela.

Si deux points de données se chevauchaient parfaitement, , et le bruit d'observation (c'est-à-dire la probabilité) est gaussien, peut-être hétéroskédastique mais connu , la façon naturelle de procéder semble les fusionner en un seul point de données avec:$\vec{x}^{(1)} = \vec{x}^{(2)}$

• , pourk=1,2.$\vec{\bar{x}} \equiv \vec{x}^{(k)}$$k=1,2$

• Valeur observée qui est une moyenne des valeurs observées y ( 1 ) , y ( 2 ) pondérées par leur précision relative: ˉ y = σ 2 y ( → x ( 2 )$\bar{y}$$y^{(1)}, y^{(2)}$.$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• Bruit associé à l'observation égal à: .$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

Cependant, comment fusionner deux points proches mais ne se chevauchant pas ?

• Je pense que devrait toujours être une moyenne pondérée des deux positions, encore une fois en utilisant la fiabilité relative. La justification est un argument de centre de masse (c.-à-d., Pensez à une observation très précise comme une pile d'observations moins précises).$\vec{\bar{x}}$

• Pour même formule que ci-dessus.$\bar{y}$

• Pour le bruit associé à l'observation, je me demande si en plus de la formule ci-dessus je dois ajouter un terme de correction au bruit car je déplace le point de données. Essentiellement, j'obtiendrais une augmentation de l'incertitude liée à et ℓ 2 (respectivement, la variance du signal et l'échelle de longueur de la fonction de covariance). Je ne suis pas sûr de la forme de ce terme, mais j'ai quelques idées provisoires sur la façon de le calculer étant donné la fonction de covariance.$\sigma_f^2$$\ell^2$

Avant de continuer, je me demandais s'il y avait déjà quelque chose là-bas; et si cela semble être une façon raisonnable de procéder, ou s'il existe de meilleures méthodes rapides .

La chose la plus proche que j'ai pu trouver dans la littérature est cet article: E. Snelson et Z. Ghahramani, Sparse Gaussian Processes using Pseudo-inputs , NIPS '05; mais leur méthode est (relativement) impliquée, nécessitant une optimisation pour trouver les pseudo-entrées.

Grande question et ce que vous proposez semble raisonnable. Cependant, personnellement, je procéderais différemment pour être efficace. Comme vous l'avez dit, deux points proches fournissent peu d'informations supplémentaires et, par conséquent, les degrés de liberté effectifs du modèle sont inférieurs au nombre de points de données observés. Dans un tel cas, il peut être utile d'utiliser la méthode Nystroms qui est bien décrite en GPML (un chapitre sur les approximations clairsemées peut être consulté http://www.gaussianprocess.org/gpml/ ). La méthode est très facile à mettre en œuvre et s'est récemment révélée très précise par Rudi et al. ( http://arxiv.org/abs/1507.04717 )

J'ai également étudié la fusion des observations lors de la régression du processus gaussien. Dans mon problème, je n'ai qu'une seule covariable.

Je ne suis pas sûr d'être nécessairement d'accord pour dire que l'approximation Nystrom est préférable. En particulier, si une approximation suffisante peut être trouvée sur la base d'un ensemble de données fusionné, les calculs pourraient être plus rapides que lorsque l'on utilise l'approximation Nystrom.

Voici quelques graphiques montrant 1000 points de données et la moyenne GP postérieure, la moyenne GP postérieure avec les enregistrements fusionnés et la moyenne GP postérieure en utilisant l'approximation Nystrom. Les enregistrements ont été regroupés en fonction de tranches de taille égale de la covariable ordonnée. L'ordre d'approximation concerne le nombre de groupes lors de la fusion d'enregistrements et l'ordre de l'approximation Nystrom. L'approche de fusion et l'approximation Nystrom produisent toutes deux des résultats identiques à la régression GP standard lorsque l'ordre d'approximation est égal au nombre de points.

Dans ce cas, lorsque l'ordre d'approximation est 10, l'approche de fusion semble préférable. Lorsque l'ordre est de 20, la moyenne de l'approximation de Nystrom est visuellement indiscernable de la moyenne postérieure exacte du GP, bien que la moyenne basée sur les observations de fusion soit probablement assez bonne. Lorsque l'ordre est de 5, les deux sont assez pauvres.