Paramètres vs variables latentes

J'ai déjà posé des questions à ce sujet et j'ai vraiment eu du mal à identifier ce qui fait un paramètre de modèle et ce qui en fait une variable latente. Donc, en regardant divers fils sur ce sujet sur ce site, la principale distinction semble être:

Les variables latentes ne sont pas observées mais ont une distribution de probabilité associée avec elles car ce sont des variables et des paramètres ne sont pas non plus observés et n'ont aucune distribution qui leur est associée, ce que je comprends car ce sont des constantes et ont une valeur fixe mais inconnue que nous essayons de trouver. De plus, nous pouvons placer des valeurs a priori sur les paramètres pour représenter notre incertitude sur ces paramètres même s'il n'y a qu'une seule vraie valeur qui leur est associée ou du moins c'est ce que nous supposons. J'espère avoir raison jusqu'à présent?

Maintenant, j'ai regardé cet exemple de régression linéaire pondérée bayésienne à partir d'un article de journal et j'ai vraiment eu du mal à comprendre ce qu'est un paramètre et ce qui est une variable:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Ici, et sont observés, mais seul est traité comme une variable, c'est-à-dire qu'une distribution lui est associée. $x$ $y$ $y$

Maintenant, les hypothèses de modélisation sont les suivantes:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Ainsi, la variance de est pondérée. $y$

Il existe également une distribution antérieure sur et , qui sont respectivement des distributions normales et gamma. $\beta$ $w$

Ainsi, la probabilité logarithmique complète est donnée par:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Maintenant, si je comprends bien, et sont des paramètres de modèle. Cependant, dans l'article, ils continuent de les désigner comme des variables latentes. Mon raisonnement est et font tous deux partie de la distribution de probabilité pour la variable et ce sont des paramètres de modèle. Cependant, les auteurs les traitent comme des variables aléatoires latentes. Est-ce exact? Si oui, quels seraient les paramètres du modèle? $\beta$ $w$ $\beta$ $w$ $y$

Le document peut être trouvé ici ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

L'article est Détection automatique des valeurs aberrantes: une approche bayésienne par Ting et al.

— Luca
source

Il pourrait être utile d'énumérer une citation de l'article (et peut-être un lien). Une partie du problème réside dans le fait que ce sont exactement des différences b / t selon les perspectives fréquentistes et bayésiennes. Du point de vue bayésien, un paramètre n'ont une distribution - il est non seulement quelque chose à ajouter à représenter l' incertitude.

— gung - Rétablir Monica

Je pensais que ce serait injuste car les gens penseraient que je m'attends à ce qu'ils lisent le document sans expliquer les choses, mais je l'ai dit maintenant.

— Luca

Pourquoi ne pouvez-vous pas mettre un prior sur une variable latente? Je suis un novice bayésien, mais il semble que vous devriez pouvoir le faire.

— robin.datadrivers

w

$w$

β

$\beta$

w

$w$

Merci, @Luca. Ce ne serait pas bien si vous demandiez aux gens de lire le journal, mais l'avoir là pour le contexte est bien. Je pense que vous avez bien fait cela.

— gung - Rétablir Monica

$y$ $\beta$

En revanche, un paramètre est fixe, même si vous ne connaissez pas sa valeur. L'estimation du maximum de vraisemblance, par exemple, vous donne la valeur la plus probable de votre paramètre. Mais cela vous donne un point, pas une distribution complète, car les choses fixes n'ont pas de distributions! (Vous pouvez mettre une distribution sur la façon dont vous êtes sûr de cette valeur, ou dans quelle plage vous pensez que cette valeur est, mais ce n'est pas la même que la distribution de la valeur elle-même, qui n'existe que si la valeur est en fait un hasard variable)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

Dans cette phrase:

Ces équations de mise à jour doivent être exécutées de manière itérative jusqu'à ce que tous les paramètres et la probabilité de journal complète convergent vers des valeurs stables

en théorie, ils parlent des deux paramètres, pas de ceux qui sont des variables aléatoires, car en EM c'est ce que vous faites, en optimisant les paramètres.

— alberto
source

La question portait sur les variables latentes .

— Tim

fixe, j'espère que c'est plus clair maintenant.

— alberto