Comment utiliser correctement le code Matlab GPML pour un problème réel (non démo)?

J'ai téléchargé le code GPML Matlab le plus récent Code GPML Matlab et j'ai lu la documentation et exécuté la démonstration de régression sans aucun problème. Cependant, j'ai du mal à comprendre comment l'appliquer à un problème de régression auquel je suis confronté.

Le problème de régression est défini comme suit:

Soit un vecteur d'entrée et sa cible correspondante. L'ensemble des entrées est organisé en une matrice et leurs cibles correspondantes sont stockées dans une matrice , avec étant la valeur cible moyenne dans .$\mathbf{x}_i \in \mathbb{R}^{20}$$\mathbf{y}_i \in \mathbb{R}^{25}$$M$$\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_M]^\top$$\mathbf{Y} = [\mathbf{y}_1 - \mathbf{\bar{y}}, \dots, \mathbf{y}_M-\mathbf{\bar{y}}]^\top$$\mathbf{\bar{y}}$$\mathbf{Y}$

Je souhaite former un modèle GPR utilisant la fonction exponentielle au carré:$\mathcal{G} = \lbrace \mathbf{X}, \mathbf{Y}, \theta \rbrace$

$k(\mathbf{x}_i, \mathbf{x}_j) = \alpha^2 \text{exp} \left( - \frac{1}{2\beta^2}(\mathbf{x}_i - \mathbf{x}_j)^2\right) + \gamma^2\delta_{ij}$ ,

où est égal à si et sinon. Les hyperparamètres sont avec étant le niveau de bruit supposé dans les données d'entraînement et est l'échelle de longueur.$\delta_{ij}$$1$$i = j$$0$$\theta = (\alpha, \beta, \gamma)$$\gamma$$\beta$

Pour former le modèle, je dois minimiser la probabilité marginale logarithmique négative par rapport aux hyperparamètres:

$-\text{log}\, p(\mathbf{Y} \mid \mathbf{X}, \theta) = \frac{1}{2} \text{tr}(\mathbf{Y}^\top\mathbf{K}^{-1}\mathbf{Y}) + \frac{1}{2}\text{log}\mid\mathbf{K}\mid + \,c,$

où c est une constante et la matrice est une fonction des hyperparamètres (voir équation k (xi, xj) = ...).$\mathbf{K}$

Sur la base de la démo donnée sur le site Web GPML, ma tentative d'implémenter cela en utilisant le code GPML Matlab est ci-dessous.

covfunc = @covSEiso;
likfunc = @likGauss;
sn = 0.1;
hyp.lik = log(sn);
hyp2.cov = [0;0];
hyp2.lik = log(0.1);
hyp2 = minimize(hyp2, @gp, -100, @infExact, [], covfunc, likfunc, X1, Y1(:, n));
exp(hyp2.lik)
nlml2 = gp(hyp2, @infExact, [], covfunc, likfunc, X1, Y1(:, n));
[m s2] = gp(hyp2, @infExact, [], covfunc, likfunc, X1, Y1(:, n), X2);
Y2r(:, n) = m;

X1 contient les entrées de formation

X2 contient les entrées de test

Y1 contient les objectifs d'entraînement

Y2r sont les estimations de l'application du modèle

n est l'indice utilisé pour régresser chaque élément du vecteur de sortie

Étant donné le problème, est-ce la bonne façon de former et d'appliquer le modèle GPR? Sinon, que dois-je changer?

Le GP fait un bon travail pour les données d'entraînement de votre problème. Cependant, ce n'est pas si bon pour les données de test. Vous avez probablement déjà exécuté quelque chose comme le suivant:

load('../XYdata_01_01_ab.mat');

for N = 1 : 25
    % normalize
    m = mean(Y1(N,:));
    s = std(Y1(N,:));
    Y1(N,:) = 1/s * (Y1(N,:) - m);
    Y2(N,:) = 1/s * (Y2(N,:) - m);

    covfunc = @covSEiso;
    ell = 2;
    sf = 1;
    hyp.cov = [ log(ell); log(sf)];

    likfunc = @likGauss;
    sn = 1;
    hyp.lik = log(sn);

    hyp = minimize(hyp, @gp, -100, @infExact, [], covfunc, likfunc, X1', Y1(N,:)');
    [m s2] = gp(hyp, @infExact, [], covfunc, likfunc, X1', Y1(N,:)', X1');    
    figure;    
    subplot(2,1,1); hold on;    
    title(['N = ' num2str(N)]);    
    f = [m+2*sqrt(s2); flipdim(m-2*sqrt(s2),1)];
    x = [1:length(m)];
    fill([x'; flipdim(x',1)], f, [7 7 7]/8);
    plot(Y1(N,:)', 'b');
    plot(m, 'r');
    mse_train = mse(Y1(N,:)' - m);

    [m s2] = gp(hyp, @infExact, [], covfunc, likfunc, X1', Y1(N,:)', X2');
    subplot(2,1,2); hold on;
    f = [m+2*sqrt(s2); flipdim(m-2*sqrt(s2),1)];
    x = [1:length(m)];
    fill([x'; flipdim(x',1)], f, [7 7 7]/8);    
    plot(Y2(N,:)', 'b');
    plot(m, 'r');
    mse_test = mse(Y2(N,:)' - m);

    disp(sprintf('N = %d -- train = %5.2f   test = %5.2f', N, mse_train, mse_test));
end

Ajuster les hyperparamètres manuellement et ne pas utiliser la fonction de minimisation, il est possible d'équilibrer quelque peu le train et l'erreur de test, mais ajuster la méthode en regardant l'erreur de test n'est pas ce que vous êtes censé faire. Je pense que ce qui se passe est trop adapté à vos trois sujets qui ont généré les données de formation. Aucune méthode prête à l'emploi ne fera un bon travail ici, et comment pourrait-elle le faire? Vous fournissez les données d'entraînement, de sorte que la méthode essaie de tirer le meilleur parti possible des données d'entraînement sans surajustement. Et ce fait, il ne s'emballe pas au sens classique. Il ne correspond pas aux données, mais il s'adapte aux trois sujets de formation. Par exemple, une validation croisée avec l'ensemble d'entraînement nous dirait qu'il n'y a pas de sur-ajustement. Pourtant, votre test sera mal expliqué.

Ce que vous pouvez faire, c'est:

1. Obtenez des données de plus de sujets pour la formation. De cette façon, votre quatrième personne sera moins susceptible de ressembler à une "valeur aberrante" comme elle le fait actuellement. De plus, vous n'avez qu'une seule séquence de chaque personne, non? Il serait peut-être utile d'enregistrer la séquence plusieurs fois.

2. Incorporer en quelque sorte des connaissances préalables sur votre tâche qui empêcheraient une méthode de sur-adapter à des sujets spécifiques. Dans un GP qui pourrait être fait via la fonction de covariance, mais ce n'est probablement pas si facile à faire ...

3. Si je ne me trompe pas, les séquences sont en fait des séries chronologiques. Il serait peut-être judicieux d'exploiter les relations temporelles, par exemple en utilisant des réseaux de neurones récurrents.

Il y en a certainement plus, mais ce sont les choses auxquelles je peux penser en ce moment.

Je pense que le problème peut être dû à une mauvaise spécification du modèle. Si vos cibles sont des angles enveloppés à + -180 degrés, alors le "processus de bruit" pour vos données peut être suffisamment non guassien pour que les preuves baysiennes ne soient pas un bon moyen d'optimiser les hyper-paramètres. Par exemple, réfléchissez à ce qui se passe lorsque le «bruit» fait boucler le signal. Dans ce cas, il peut être judicieux d'effectuer une sélection de modèle en minimisant l'erreur de validation croisée (il existe une implémentation du domaine public de la méthode Nelder-Mead simplex icisi vous ne disposez pas de la boîte à outils d'optimisation). L'estimation de la validation croisée des performances n'est pas aussi sensible aux erreurs de spécification du modèle qu'elle est une estimation directe des performances des tests, tandis que la probabilité marginale du modèle est la preuve à l'appui du modèle étant donné que les hypothèses du modèle sont correctes. Voir la discussion commençant à la page 123 du livre de Rasmussen et Williams.

Une autre approche serait de recoder les sorties afin qu'un modèle de bruit gaussien soit plus approprié. Une chose que vous pourriez faire est une certaine forme de réduction de la dimensionnalité non supervisée, car il existe des relations non linéaires entre vos cibles (car il n'y a qu'une manière limitée dans laquelle un corps peut se déplacer), il y aura donc une variété de dimension inférieure que votre les cibles continuent de vivre, et il serait préférable de régresser les coordonnées de cette variété plutôt que les angles eux-mêmes (il peut y avoir aussi moins de cibles de cette façon).

Une analyse de Procrustes pourrait également être une bonne idée pour normaliser les différences entre les sujets avant de former le modèle.

Vous trouverez peut-être certains des travaux effectués par Neil Lawrence sur le rétablissement de la pose humaine. Je me souviens avoir vu une démonstration de cela lors d'une conférence il y a quelques années et j'ai été très impressionné.