Pourquoi la probabilité dans le filtre de Kalman est-elle calculée en utilisant des résultats de filtre au lieu de résultats plus fluides?

11

J'utilise le filtre de Kalman d'une manière très standard. Le système est représenté par l'équation d'état $x_{t+1}=Fx_{t}+v_{t+1}$ et l'équation d'observation $y_{t}=Hx_{t}+Az_{t}+w_{t}$ .

Les manuels scolaires enseignent que , après l' application du filtre de Kalman et d' obtenir les « prévisions d' une étape à venir $\hat{x}_{t|t-1}$ (ou "estimation filtrée"), nous devons les utiliser pour calculer la fonction de vraisemblance:

$f_{y_{t}|\mathcal{I}_{t-1},z_{t}}\left(y_{t}|\mathcal{I}_{t-1},z_{t}\right)=\det\left[2\pi\left(HP_{t|t-1}H^{\prime}+R\right)\right]^{-\frac{1}{2}}\exp\left\{ -\frac{1}{2}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)^{\prime}\left(HP_{t|t-1}H^{\prime}+R\right)^{-1}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)\right\}$

Ma question est la suivante: pourquoi la fonction de vraisemblance est-elle calculée en utilisant l '"estimation filtrée" et non pas l' "estimation lissée" ? n'est-il pas une meilleure estimation du vecteur d'état? $\hat{x}_{t|t-1}$ $\hat{x}_{t|T}$ $\hat{x}_{t|T}$

likelihood kalman-filter

— Gustavo Amarante
source

J'ai édité le titre pour être plus informatif.

— Juho Kokkala

5

Pour répondre à votre question: vous pouvez utiliser la densité de lissage. Mais ce n'est pas obligatoire. La réponse de Jarle Tufto a la décomposition que vous utilisez. Mais il y en a d'autres.

Utilisation des Kalman Recursions

Ici, vous évaluez la probabilité comme

f (y_{1}, \dots, y_{n}) = f (y_{1}) \prod_{i = 2}^{n} f (y_{i} | y_{1}, \dots, y_{i - 1}) .

$f(y_1, \ldots, y_n) = f(y_1)\prod_{i=2}^nf(y_i|y_1, \ldots, y_{i-1}).$

Cependant, les moyennes et les variances ne définissent pas toujours complètement les distributions de probabilité en général. Voici la décomposition que vous utilisez pour passer des distributions de filtrage aux vraisemblances conditionnelles : $f(x_{i-1}|y_1,\ldots,y_{i-1})$ $f(y_i|y_1,\ldots,y_{i-1})$

\begin{matrix} (1) & f (y_{i} | y_{1}, \dots, y_{i - 1}) = \iint f (y_{i} | x_{i}) f (x_{i} | x_{i - 1}) f (x_{i - 1} | y_{1}, \dots, y_{i - 1}) d x_{i} d x_{i - 1} . \end{matrix}

$f(y_i|y_1, \ldots, y_{i-1}) = \iint f(y_i|x_i)f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1})dx_{i} dx_{i-1} \tag{1}.$

Ici est la densité de transition d'état ... partie du modèle, et est la densité d'observation ... partie du modèle à nouveau. Dans votre question, vous les écrivez comme et respectivement. C'est la même chose. $f(x_i|x_{i-1})$ $f(y_i|x_i)$ $x_{t+1}=Fx_{t}+v_{t+1}$ $y_{t}=Hx_{t}+Az_{t}+w_{t}$

Lorsque vous obtenez la distribution de prédiction d'état à un pas en avant, c'est le calcul . Lorsque vous réintégrez, vous obtenez (1) complètement. Vous écrivez cette densité complètement dans votre question, et c'est la même chose. $\int f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1}) dx_{i-1}$

Ici, vous n'utilisez que des décompositions de distributions de probabilité et des hypothèses sur le modèle. Ce calcul de vraisemblance est un calcul exact. Il n'y a rien de discrétionnaire que vous puissiez utiliser pour faire mieux ou pire.

Utilisation de l'algorithme EM

À ma connaissance, il n'y a pas d'autre moyen d'évaluer directement la probabilité dans ce type de modèle d'espace d'état. Cependant, vous pouvez toujours faire une estimation du maximum de probabilité en évaluant une fonction différente: vous pouvez utiliser l'algorithme EM. Dans l'étape Attente (E-Step), vous devez calculer Ici

\int f (x_{1}, \dots, x_{n} | y_{1}, \dots y_{n}) \log f (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n}) d x_{1 : n} = E_{s m o o t h} [\log f (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n})] .

$\int f(x_1, \ldots, x_n|y_1,\ldots y_n) \log f(y_1,\ldots,y_n,x_1, \ldots,x_n) dx_{1:n} = E_{smooth}[\log f(y_1,\ldots,y_n,x_1, \ldots,x_n)].$

f (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n})

$f(y_1,\ldots,y_n,x_1, \ldots,x_n)$ est la probabilité de "données complètes", et vous prenez l'attente du logarithme de cela en ce qui concerne la densité de lissage des joints. Ce qui se produit souvent, c'est que, parce que vous prenez le journal de cette probabilité de données complète, les termes sont divisés en sommes, et en raison de la linéarité de l'opérateur d'attente, vous prenez des attentes en ce qui concerne les distributions de lissage marginal (celles vous mentionnez dans votre question).

Autres choses

J'ai lu par endroits que l'EM est un moyen "plus stable" de maximiser la probabilité, mais je n'ai jamais vraiment vu ce point bien argumenté, ni vu ce mot "stable" défini du tout, mais aussi je n'ai pas 't vraiment examiné cela plus loin. Aucun de ces algorithmes ne contourne l'épreuve des maxima locaux / globaux. Personnellement, j'ai tendance à utiliser le Kalman plus souvent juste par habitude.

Il est vrai que les estimations lissées de l'état ont généralement une variance plus petite que le filtrage, donc je suppose que vous avez raison d'avoir une certaine intuition à ce sujet, mais vous n'utilisez pas vraiment les états. La probabilité que vous essayez de maximiser n'est pas fonction des États.

— Taylor
source

Quelle est la différence entre KF et EM? Ils finissent par faire la même chose de manières vaguement similaires.

— Mitch

1

@Mitch, c'est probablement quelque chose qui mérite plus qu'un commentaire. Cela dépendra de l'optimiseur à usage général que vous utilisez avec le KF et du type d'EM que vous utilisez. Je ne vais pas en être trop sûr sans m'y intéresser.

— Taylor

7

En général, selon la règle du produit, la vraisemblance exacte peut s'écrire De l'hypothèse du modèle d'espace d'état, il s'ensuit que le vecteur d'espérance et la matrice de variance de chaque conditionnel aux observations passées peuvent être exprimés comme et

f (y_{1}, \dots, y_{n}) = f (y_{1}) \prod_{i = 2}^{n} f (y_{i} | y_{1}, \dots, y_{i - 1}) .

$f(y_1,\dots,y_n)=f(y_1)\prod_{i=2}^n f(y_i|y_1,\dots,y_{i-1}).$

y_{i}

$y_i$

\begin{aligned} E (y_{i} | y_{1}, \dots, y_{i - 1}) & = E (H x_{t} + A z_{t} + w_{t} | y_{1}, \dots, y_{i - 1}) \\ = H E (x_{t} | y_{1}, \dots, y_{i - 1}) + A z_{t} + E w_{t} \\ = H {\hat{x}}_{t | t - 1} + A z_{t}, \end{aligned}

$\begin{align} E(y_i|y_1,\dots,y_{i-1}) &= E(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= HE(x_{t}|y_1,\dots,y_{i-1})+Az_{t}+Ew_{t} \\&= H\hat x_{t|t-1}+Az_{t}, \end{align}$

\begin{aligned} V a r (y_{i} | y_{1}, \dots, y_{i - 1}) & = V a r (H x_{t} + A z_{t} + w_{t} | y_{1}, \dots, y_{i - 1}) \\ = H V a r (x_{t} | y_{1}, \dots, y_{i - 1}) H^{'} + V a r w_{t} \\ = H P_{t | t - 1} H^{'} + R . \end{aligned}

$\begin{align} \mathrm{Var}(y_i|y_1,\dots,y_{i-1}) &= \mathrm{Var}(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= H\mathrm{Var}(x_{t}|y_1,\dots,y_{i-1})H'+ \mathrm{Var}w_t \\&= HP_{t|t-1}H'+R. \end{align}$ Cela vous donne donc la probabilité exacte sans calculer aucune estimation lissée.

Bien que vous puissiez bien sûr utiliser les estimations lissées qui sont en effet de meilleures estimations des états inconnus, cela ne vous donnerait pas la fonction de vraisemblance. En effet, vous utiliseriez la valeur observée de pour estimer sa propre valeur attendue, il semble donc probable que cela entraînerait un certain biais dans les estimations résultantes. $y_i$

— Jarle Tufto
source

0

Je pense qu'une meilleure réponse quant au «pourquoi» la distribution de lissage n'est pas utilisée (typiquement) est l'efficacité. Il est en principe simple de calculer la probabilité marginale (de lissage) dans le sens du non-retour comme suit. Supprimez l'observation j, exécutez le lisseur de Kalman sur les données restantes. Évaluez ensuite la probabilité de l'invisible y (j). Répétez cette opération pour tout j. Résumez les log-vraisemblances. Des versions plus rapides de cela fonctionnent avec des blocs (randomisés) d'échantillons retenus (comme CV k-fold). Notez que ce schéma nécessite une implémentation plus générale du filtre / lisseur de Kalman qui peut sauter arbitrairement les mises à jour de mesure si nécessaire. Le passage en arrière / lissage n'accède pas aux mesures (algorithme RTS de toute façon) et reste le même.

Si la série chronologique est "suffisamment longue", il y a probablement peu d'avantages utiles à le faire puisque la probabilité de filtrage "brûle" son transitoire initial. Mais si l'ensemble de données est court, la probabilité de lissage plus coûteuse en vaut la peine. Un lissage à décalage fixe pourrait être une solution intermédiaire.

— trois bois
source