Existe-t-il une interprétation bayésienne pour REML?

Une interprétation bayésienne du REML est-elle disponible? À mon intuition, REML a une forte ressemblance avec les procédures d'estimation dites bayésiennes empiriques , et je me demande si une sorte d'équivalence asymptotique (sous une classe appropriée de prieurs, par exemple) a été démontrée. Les Bayes empiriques et REML semblent être des approches d'estimation «compromises» entreprises face aux paramètres de nuisance , par exemple.

Surtout, ce que je recherche par cette question, c'est la perspicacité de haut niveau que ces sortes d'arguments ont tendance à produire. Bien sûr, si un argument de cette nature pour une raison quelconque ne peut être utilement poursuivi pour REML, une explication de la raison pour laquelle il en est ainsi fournirait également un aperçu bienvenu!

bayesian asymptotics reml

— David C. Norris
source

Cet article semble pertinent: Foulley J. (1993). Un argument simple montrant comment dériver le maximum de vraisemblance restreint. J. Dairy Sci. 76, 2320–2324. 10.3168 / jds.S0022-0302 (93) 77569-4 sciencedirect.com/science/article/pii/…

— djw

Les interprétations bayésiennes n'existent que dans le cadre de l'analyse bayésienne, pour les estimateurs qui se rapportent à une distribution postérieure. Par conséquent, la seule façon de donner à l'estimateur REML une interprétation bayésienne (c.-à-d. Une interprétation en tant qu'estimateur prise à partir de la position postérieure) est de prendre la log-vraisemblance restreinte dans l'analyse REML comme étant la valeur log-postérieure d'une valeur correspondante. Analyse bayésienne; dans ce cas, l'estimateur REML serait un estimateur MAP de la théorie bayésienne, avec son interprétation bayésienne correspondante.

Définition de l'estimateur REML comme estimateur MAP: Il est relativement simple de voir comment définir la log-vraisemblance restreinte dans l'analyse REML pour être le log-postérieur dans une analyse Bayes. Pour ce faire, nous exigeons que le log-prior soit le négatif de la partie du log-vraisemblance qui est supprimée par le processus REML. Supposons que nous ayons une vraisemblance où est la log-vraisemblance résiduelle et est le paramètre d'intérêt (avec étant notre paramètre de nuisance). La définition de l'avant sur donne le postérieur correspondant: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Cela nous donne:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Ce résultat nous permet d'interpréter l'estimateur REML comme un estimateur MAP, donc l'interprétation bayésienne correcte de l'estimateur REML est que c'est l'estimateur qui maximise la densité postérieure sous le précédent ci-dessus .

Après avoir illustré la méthode pour donner une interprétation bayésienne à l'estimateur REML, nous notons maintenant qu'il y a de gros problèmes avec cette approche. Un problème est que l'a priori est formé en utilisant la composante log-vraisemblance , qui dépend des données. Par conséquent, le «prior» nécessaire pour obtenir cette interprétation n'est pas un véritable prior, dans le sens d'être une fonction qui peut être formée avant de voir les données. Un autre problème est que l'a priori sera souvent incorrect (c'est-à-dire qu'il ne s'intègre pas à un) et qu'il peut en fait augmenter en poids lorsque les valeurs des paramètres deviennent extrêmes. (Nous en montrerons un exemple ci-dessous.) $\ell_*(\theta, \nu)$

Sur la base de ces problèmes, on pourrait soutenir qu'il n'y a pas d'interprétation bayésienne raisonnable pour l'estimateur REML. Alternativement, on pourrait faire valoir que l'estimateur REML maintient toujours l'interprétation bayésienne ci-dessus, étant un estimateur maximum a posteriori sous un "a priori" qui doit coïncider par coïncidence avec les données observées sous la forme spécifiée, et peut être extrêmement impropre.

Illustration avec des données normales: L'exemple classique d'estimation REML est pour le cas de données normales où vous êtes intéressé par la précision et la moyenne est un paramètre de nuisance. Dans ce cas, vous avez la fonction log-vraisemblance: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

Dans REML, nous divisons cette log-vraisemblance en deux composantes:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Nous obtenons l'estimateur REML pour le paramètre de précision en maximisant la vraisemblance résiduelle, ce qui donne un estimateur sans biais pour la variance:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

Dans ce cas, l'estimateur REML correspondra à un estimateur MAP pour la densité "antérieure":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Comme vous pouvez le voir, cet «avant» dépend en fait des valeurs de données observées, il ne peut donc pas être formé avant de voir les données. De plus, nous pouvons voir que c'est clairement un a priori "incorrect" qui met de plus en plus de poids sur les valeurs extrêmes de et . (En fait, cet a priori est assez fou.) Si par "coïncidence" vous deviez former un a priori qui correspondait à ce résultat, alors l'estimateur REML serait un estimateur MAP sous cet a priori, et aurait donc une interprétation bayésienne comme estimateur qui maximise le postérieur sous cet a priori. $\theta$ $\nu$

— Ben - Réintègre Monica
source

Quelle réponse immensément claire! Je pense que je comprends beaucoup mieux REML, ce qui était dans une large mesure mon objectif principal. Votre approche en ouvrant votre argument semble avoir été essentiellement de faire l'identification, puis de «résoudre» pour le prieur. Ensuite, vous procédez à la démolition de ce prieur, ce qui me semble être une critique (du point de vue bayésien) dirigée contre REML. Magnifiquement fait!

— David C.Norris

Oui, c'est la méthode que j'ai utilisée. Par analogie, nous donnons généralement au MLE une interprétation bayésienne par la même méthode --- c'est-à-dire en déterminant que le MLE est le MAP sous un a priori uniforme. Donc, en général, lorsque nous voulons trouver l'analogue bayésien à un estimateur classique qui est formé par la maximisation d'une fonction, nous mettons simplement cette fonction à la postérieure et ensuite résolvons pour l'a priori. Si cela donne un prior sensible, alors nous avons une bonne interprétation bayésienne; si le prieur est fou (comme avec REML) alors nous avons un bon argument qu'il n'y a pas de bonne interprétation bayésienne.

— Ben - Rétablir Monica le