Constante de normalisation dans le théorème de Bayes

15

$\Pr(\textrm{data})$

Pr (parameters ∣ data) = \frac{Pr (data ∣ parameters) Pr (parameters)}{Pr (data)}

$\Pr(\text{parameters} \mid \text{data}) = \frac{\Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\text{parameters})}{\Pr(\text{data})}$

est appelé une constante de normalisation . C'est quoi exactement? Quel est son objectif? Pourquoi ressemble-t-il à ? Pourquoi cela ne dépend-il pas des paramètres? $\Pr(data)$

probability bayesian

— amateur
source

4

Lorsque vous intégrez

, vous intégrez sur les paramètres et le résultat n'a donc pas de terme dépendant des paramètres, de la même manière que

f (data | params) f (params)

$f(\text{data}|\text{params})f(\text{params})$

ne dépend pas de

.

\int_{x = 0}^{x = 2} x y d x = 2 y

$\int_{x=0}^{x=2}xy\;dx = 2y$

x

$x$

— Henry

16

Le dénominateur est obtenu en intégrant les paramètres de la probabilité de jointure . Il s'agit de la probabilité marginale des données et, bien sûr, elle ne dépend pas des paramètres car ceux-ci ont été intégrés. $\Pr(\textrm{data})$ $\Pr(\textrm{data}, \textrm{parameters})$

Maintenant, depuis:

ne dépend pas des paramètres pour lesquels on veut faire l'inférence; $\Pr(\textrm{data})$
est généralement difficile à calculer sous une forme fermée; $\Pr(\textrm{data})$

on utilise souvent l'adaptation suivante de la formule de Baye:

$\Pr(\textrm{parameters} \mid \textrm{data}) \propto \Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\textrm{parameters})$

Fondamentalement, n'est rien d'autre qu'une "constante de normalisation", c'est-à-dire une constante qui fait que la densité postérieure s'intègre à une . $\Pr(\textrm{data})$

— ocram
source

2

Qu'entendez-vous exactement par «en intégrant les paramètres»? Quelle est la signification précise de «l'intégration» dans ce contexte?

— nbro

2

@nbro: Je veux dire Pr (données) = intégrale sur les paramètres de Pr (données, paramètres)

— ocram

2

$\Pr(\textrm{data})$

— Dur
source