Comparaison de l'estimation du maximum de vraisemblance (MLE) et du théorème de Bayes

12

Dans le théorème bayésien, , et dans le livre que je lis, est appelé le vraisemblance , mais je suppose que c'est juste la probabilité conditionnelle de étant donné , non?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

L' estimation du maximum de vraisemblance tente de maximiser , non? Si oui, je suis très confus, car sont tous les deux des variables aléatoires, non? Pour maximiser suffit de découvrir le ? Encore un problème, si ces 2 variables aléatoires sont indépendantes, alors est juste , non? La maximisation de revient alors à maximiser . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Ou peut-être que est fonction de certains paramètres , c'est-à-dire , et MLE essaie de trouver le qui peut maximiser ? Ou même que est en fait les paramètres du modèle, pas une variable aléatoire, maximiser la probabilité est de trouver le ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

MISE À JOUR

Je suis un novice en apprentissage automatique, et ce problème est une confusion avec ce que j'ai lu dans un didacticiel d'apprentissage automatique. Le voici, étant donné un ensemble de données observé , les valeurs cibles sont , et j'essaie d'ajuster un modèle sur cet ensemble de données , donc je suppose que, étant donné , a une forme de distribution nommée paramétrée par , c'est-à-dire , et je suppose que c'est la probabilité postérieure , non? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Maintenant, pour estimer la valeur de , j'utilise MLE. OK, voici mon problème, je pense que la probabilité est , non? Maximiser la probabilité signifie que je devrais choisir le bon et ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Si ma compréhension de la probabilité est fausse, veuillez me montrer la bonne façon.

bayesian maximum-likelihood

— Avocat
source

Je pense que la confusion est la suivante: le théorème de Bayes n'est que la manipulation des probabilités conditionnelles que vous donnez au début de votre question. L' estimation bayésienne utilise le théorème de Bayes pour effectuer des estimations de paramètres. Ce n'est que dans ce dernier cas que l'estimation du maximum de vraisemblance (MLE) et le paramètre thêta, etc. entrent en jeu.

— Zhubarb du

@Berkan, eh bien j'essaie de comprendre quelle est la probabilité, étant donné .

x, y, θ

$x,y,\theta$

— avocat

1

Je vois, je vous recommanderais de jeter un œil à ce grand ensemble de diapositives de cours d'introduction à l'estimation des paramètres.

— Zhubarb

1

Un autre grand sujet à lire est les estimateurs empiriques de Bayes. Nous venons de découvrir ceux de ma classe :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

Je pense que le principal malentendu découle des questions que vous posez dans la première moitié de votre question. J'approche cette réponse comme contrastant MLE et paradigmes inférentiels bayésiens. Une discussion très accessible du MLE se trouve dans le chapitre 1 de Gary King, Unifying Political Methodology. L'analyse des données bayésiennes de Gelman peut fournir des détails sur le côté bayésien.

Dans le théorème de Bayes, et dans le livre que je lis, est appelé le vraisemblance, mais je suppose que c'est juste la probabilité conditionnelle de
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

$y$ $x$ $p(y)$ $\theta$ $y$ $x$

$x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Je crois que cette expression est ce que vous recherchez dans votre mise à jour.

$p(x,y|\theta)$

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

$x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

$\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax dit de réintégrer Monica
source

1

Merci pour votre réponse, je mets à jour mon message, veuillez voir ma mise à jour.

— avocat

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

+1 C'est toujours une excellente réponse: j'espère que vous le garderez en grande partie intact même si vous le modifiez pour qu'il corresponde aux changements de la question.

— whuber

J'ai mis à jour ma réponse pour refléter votre question mise à jour. J'espère que ces détails vous aideront. Je recommande vraiment de faire référence aux références que je mentionne. Et j'espère que @whuber approuve toujours. ;-)

— Sycorax dit Réintégrer Monica

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

3

$p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Ou encore plus explicitement (en ce qui concerne la notion de vraisemblance):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Pour un exemple concret, considérons le modèle

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
source

y

$y$

x

$x$

Y est généralement un paramètre sur le pdf de X. Dans un cadre fréquentiste, y est normalement une valeur fixe. Dans un cadre bayésien, Y est lui-même une variable aléatoire (comme dans l'exemple que j'ai donné). X | Y peut également être une probabilité conditionnelle dans le sens où vous l'entendez, j'essayais de vous expliquer pourquoi cette quantité est appelée la probabilité.

— David Marx

θ

$\theta$

X

$X$

Ce n'est pas parce qu'une chose est une variable aléatoire qu'elle ne peut pas être un paramètre. Bienvenue dans le monde merveilleux de la probabilité bayésienne :)

— David Marx

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Tapoter
source

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

Du manuel de référence STAN:

Si l'a priori est uniforme, le mode postérieur correspond à l'estimation du maximum de vraisemblance (MLE) des paramètres. Si l'a priori n'est pas uniforme, le mode postérieur est parfois appelé l'estimation maximale a posteriori (MAP).

— Neerav
source