Que signifie «la probabilité n'est définie que jusqu'à une constante multiplicative de proportionnalité» dans la pratique?

Je lis un article où les auteurs mènent d'une discussion sur l'estimation du maximum de vraisemblance au théorème de Bayes, apparemment comme une introduction pour les débutants.

À titre d'exemple de vraisemblance, ils commencent par une distribution binomiale:

$$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$$

puis connectez les deux côtés

$$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$$

avec la justification que:

"Parce que la vraisemblance n'est définie que jusqu'à une constante multiplicative de proportionnalité (ou une constante additive pour la log-vraisemblance), nous pouvons redimensionner ... en supprimant le coefficient binomial et en écrivant la log-vraisemblance à la place de la vraisemblance"

Le calcul est logique, mais je ne comprends pas ce que l'on entend par "la probabilité n'est définie que jusqu'à une constante multiplicative de proportionnalité" et comment cela permet de supprimer le coefficient binomial et de passer de $p(x|n,\theta)$ à $\ell(\theta|x,n)$ .

Une terminologie similaire est apparue dans d'autres questions ( ici et ici ), mais on ne sait toujours pas quelle est, en pratique, la probabilité d'être définie ou de porter l'information à un moyen multiplicatif constant. Est-il possible d'expliquer cela en termes simples?

Le fait est que parfois, des modèles différents (pour les mêmes données) peuvent conduire à des fonctions de vraisemblance qui diffèrent par une constante multiplicative, mais le contenu de l'information doit clairement être le même. Un exemple:

Nous modélisons expériences de Bernoulli indépendantes, conduisant à des données , chacune avec une distribution de Bernoulli avec le paramètre (probabilité) . Cela conduit à la fonction de vraisemblance Ou nous pouvons résumer les données par la variable binomiale distribuée , qui a une distribution binomiale, conduisant à la fonction de vraisemblance qui, en fonction du paramètre inconnu , est proportionnelle à l'ancienne fonction de vraisemblance . Les deux fonctions de vraisemblance contiennent clairement les mêmes informations et devraient conduire aux mêmes inférences!$n$$X_1, \dots, X_n$$p$

$$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$$ $Y=X_1+X_2+\dotsm+X_n$ $$\binom{n}{y} p^y (1-p)^{n-y}$$ $p$

Et en effet, par définition, ils sont considérés comme la même fonction de vraisemblance.

Autre point de vue: observez que lorsque les fonctions de vraisemblance sont utilisées dans le théorème de Bayes, comme cela est nécessaire pour l'analyse bayésienne, de telles constantes multiplicatives s'annulent tout simplement! ils sont donc manifestement sans rapport avec l'inférence bayésienne. De même, il s'annulera lors du calcul des rapports de vraisemblance, tels qu'ils sont utilisés dans les tests d'hypothèse optimaux (lemme de Neyman-Pearson.) Et il n'aura aucune influence sur la valeur des estimateurs du maximum de vraisemblance. Nous pouvons donc voir que dans une grande partie de l'inférence fréquentiste, il ne peut pas jouer un rôle.

Nous pouvons discuter d'un point de vue encore différent. La fonction de probabilité de Bernoulli (ci-après nous utilisons le terme "densité") ci-dessus est vraiment une densité par rapport à la mesure de comptage, c'est-à-dire la mesure sur les entiers non négatifs avec la masse un pour chaque entier non négatif. Mais nous aurions pu définir une densité par rapport à une autre mesure dominante. Dans cet exemple, cela semblera (et est) artificiel, mais dans les grands espaces (espaces fonctionnels), c'est vraiment fondamental! Utilisons à des fins d'illustration la distribution géométrique spécifique, écrite , avec , , et bientôt. Alors la densité de la distribution de Bernoulli par rapport à$\lambda$$\lambda(0)=1/2$$\lambda(1)=1/4$$\lambda(2)=1/8$$\lambda$f λ ( x ) = p x ( 1 - p ) 1 - x ⋅ 2 x + 1 P ( X = x ) = f λ ( x ) ⋅ λest donné par ce qui signifie que Avec cette nouvelle mesure dominante, la fonction de vraisemblance devient (avec la notation ci-dessus) notez le facteur supplémentaire . Ainsi, lors du changement de la mesure dominante utilisée dans la définition de la fonction de vraisemblance, une nouvelle constante multiplicative apparaît, qui ne dépend pas du paramètre inconnu

$$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$$ $$P(X=x)= f_\lambda(x) \cdot \lambda(x)$$ $$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$$ $2^{y+n}$$p$, et est clairement hors de propos. C'est une autre façon de voir comment les constantes multiplicatives doivent être sans importance. Cet argument peut être généralisé en utilisant des dérivés de Radon-Nikodym (comme l'argument ci-dessus en est un exemple.)

Cela signifie essentiellement que seule la valeur relative du PDF est importante. Par exemple, le PDF normal (gaussien) standard est: , votre livre dit qu'ils pourraient utiliser place, car ils ne se soucient pas de l'échelle, c'est-à-dire .g(x)=e-x2/2c=$f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$$g(x)=e^{-x^2/2}$$c=\frac{1}{\sqrt{2\pi}}$

Cela se produit car ils maximisent la fonction de vraisemblance, et et auront le même maximum. Par conséquent, le maximum de sera le même que de . Donc, ils ne se soucient pas de l'échelle.g ( x ) e - x deux / deux f ( x $c\cdot g(x)$$g(x)$$e^{-x^2/2}$$f(x)$

Je ne peux pas expliquer le sens de la citation, mais pour l' estimation du maximum de vraisemblance , peu importe que nous choisissions de trouver le maximum de la fonction de vraisemblance (considérée comme une fonction de θ ou le maximum d' un L ( x ; θ ) où a est une constante. C'est parce que nous ne sommes pas intéressés par la valeur maximale de mais plutôt par la valeur où ce maximum se produit, et à la fois et$L(\mathbf x; \theta)$$\theta$$aL(\mathbf x; \theta)$$a$θ ML L ( x ; θ ) a L ( x ; θ $L(\mathbf x; \theta)$$\theta_{\text{ML}}$$L(\mathbf x; \theta)$$aL(\mathbf x; \theta)$atteindre leur valeur maximale dans le même . Ainsi, les constantes multiplicatives peuvent être ignorées. De même, nous pourrions choisir de considérer toute fonction monotone (comme le logarithme) de la fonction de vraisemblance g ( ⋅ ) L ( x ; θ ) , déterminez le maximum de g ( L ( x ; θ ) ) et en déduisez la valeur de θ ML . Pour le logarithme, la constante multipliative a devient la constante additive ln ( a ) et cela aussi peut être ignoré dans le processus de recherche de l'emplacement du maximum: ln ( a ) + ln ( L ( x ; $\theta_{\text{ML}}$$g(\cdot)$$L(\mathbf x; \theta)$$g(L(\mathbf x;\theta))$$\theta_{\text{ML}}$$a$$\ln(a)$ est maximisée au même point que ln ( L ( x ; θ ) .$\ln(a)+\ln(L(\mathbf x; \theta)$$\ln(L(\mathbf x; \theta)$

En ce qui concerne l' estimation de la probabilité maximale a posteriori (MAP), est considéré comme une réalisation d'une variable aléatoire Θ avec une fonction de densité a priori f Θ ( θ ) , les données x sont considérées comme une réalisation d'une variable aléatoire X , et la probabilité est considérée comme la valeur de la densité conditionnelle f X ∣ Θ ( x ∣ Θ = θ ) de X conditionnée à Θ = $\theta$$\Theta$$f_{\Theta}(\theta)$$\mathbf x$$\mathbf X$$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$\mathbf X$$\Theta = \theta$; ladite fonction de densité conditionnelle étant évaluée à . La densité a posteriori de Θ est f Θ ∣ X ( θ ∣ x ) = f X ∣ Θ ( x ∣ Θ = θ ) f Θ ( θ $\mathbf x$$\Theta$ dans laquelle on reconnaît le numérateur comme ladensité conjointefX,Θ(x,θ)des données et du paramètre à estimer. Le pointθMAPoù fΘ∣X(θ∣x)atteint sa valeur maximale est l'estimation MAP deθ, et, en utilisant les mêmes arguments que dans le paragraphe, nous voyons que nous pouvons ignorer[fX(x)]-1sur le côté droit de

$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$$ $f_{\mathbf X, \Theta}(\mathbf x, \theta)$$\theta_{\text{MAP}}$$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$$\theta$$[f_{\mathbf X}(\mathbf x)]^{-1}$ comme constante multiplicative, tout comme nous pouvons ignorer les constantes multiplicatives à lafoisdans f X ∣ Θ ( x ∣ Θ = θ ) et dans f Θ ( θ ) . De même, lorsque des log-vraisemblances sont utilisées, nous pouvons ignorer les constantes additives.$(1)$ $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$$f_\Theta(\theta)$

$f(x)$$kf(x)$

$\text {argmax}$

Il peut y avoir des circonstances inhabituelles où vous devrez maximiser la probabilité soumise à un plafond - et alors vous devez vous «souvenir» d'inclure toutes les constantes dans le calcul de sa valeur.

En outre, vous pouvez effectuer des tests de sélection de modèle pour les modèles non imbriqués, en utilisant la valeur de la vraisemblance dans le processus - et puisque les modèles ne sont pas imbriqués, les deux probabilités auront des constantes différentes.

En dehors de cela, la phrase

"Parce que la vraisemblance n'est définie que jusqu'à une constante multiplicative de proportionnalité (ou une constante additive pour la log-vraisemblance)"

est faux , parce que la probabilité est d' abord une fonction de densité de probabilité conjointe , et pas seulement "n'importe quelle" fonction objective à maximiser.