Qu'est-ce que l'identifiabilité du modèle?

Je sais qu'avec un modèle non identifiable, on peut dire que les données sont générées par de multiples assignations différentes aux paramètres du modèle. Je sais qu'il est parfois possible de contraindre des paramètres afin qu'ils soient tous identifiables, comme dans l'exemple de Cassella & Berger, 2e éd, section 11.2.

Étant donné un modèle particulier, comment puis-je évaluer s'il est identifiable?

Pour l' identifiabilité, nous parlons d'un paramètre$\theta$ (qui pourrait être un vecteur), qui s'étend sur un espace de paramètre $\Theta$ , et d'une famille de distributions (pour simplifier, pensez aux PDF) indexées par $\theta$ que nous écrivons généralement quelque chose comme $\{ f_{\theta}|\, \theta \in \Theta\}$ . Par exemple,$\theta$ pourrait êtreetpourrait être$\theta = \beta$$f$

$$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$$ ce qui voudrait dire que . Pour que le modèle soit identifiable, la transformation qui mappe à doit être un-à-un . Compte tenu d' un modèle sur vos genoux, la façon la plus simple de le vérifier est de commencer par l'équation , (cette égalité doit tenir pour (presque) tous dans le support ) et d'essayer d'utiliser l'algèbre (ou un autre argument) pour montrer que cette équation implique en fait .$\Theta = (0,\infty)$$\theta$$f_{\theta}$$f_{\theta_{1}} = f_{\theta_{2}}$$x$$\theta_{1} = \theta_{2}$

Si vous réussissez avec ce plan, votre modèle est identifiable; continuez avec votre entreprise. Sinon, votre modèle n'est pas identifiable ou vous devez rechercher un autre argument. L'intuition est la même, peu importe: dans un modèle identifiable, il est impossible que deux paramètres distincts (qui pourraient être des vecteurs) produisent la même fonction de vraisemblance.

Cela a du sens, car si, pour des données fixes, deux paramètres uniques donnaient la même probabilité, il serait alors impossible de distinguer les deux paramètres candidats en se basant uniquement sur les données. Il serait impossible d' identifier le vrai paramètre, dans ce cas.

Pour l'exemple ci-dessus, l'équation est pour (presque) tous . Si nous prenons les journaux des deux côtés, nous obtenons pour , ce qui implique la fonction linéaire est (presque) identique à zéro. La seule ligne qui fait une telle chose est celle qui a la pente 0 et l’ordonnée à l'origine zéro. J'espère que vous pourrez voir le reste.$f_{\theta_{1}} = f_{\theta_{2}}$

$$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$$ $x > 0$ $$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$$ $x > 0$ $$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$$

À propos, si vous pouvez dire en regardant votre modèle qu'il n'est pas identifiable (parfois vous le pouvez), il est courant d'introduire des contraintes supplémentaires sur celui-ci pour le rendre identifiable (comme vous l'avez mentionné). Cela revient à reconnaître que la fonction n'est pas un pour un pour dans , mais elle est un pour un si nous limitons à mentir à l'intérieur . Dans des modèles plus complexes, les équations sont plus difficiles, mais l'idée est la même.$f(y) = y^{2}$$y$$[-1,1]$$y$$[0,1]$

Une solution consiste à inspecter la matrice de covariance de vos estimations de paramètres. Si deux estimations de paramètres sont parfaitement (approximativement) corrélées l'une avec l'autre ou si une estimation de paramètre est une combinaison (approximativement) linéaire de plusieurs autres, votre modèle n'est pas identifié; les paramètres qui sont des fonctions des autres ne sont pas nécessaires. Dans chacun de ces cas, Σ sera également (approximativement) singulier. Donc, si Σ est approximativement singulier, cela peut vous donner une raison d'être préoccupé par des problèmes d'identifiabilité. (Bien que je ne pense pas que cela permettrait de détecter des relations non linéaires entre estimations de paramètres qui donneraient lieu à une non-identifiabilité).$\Sigma$$\Sigma$$\Sigma$

Le problème pratique est qu'il est souvent difficile de calculer pour les modèles compliqués , même légèrement.$\Sigma$

Si vous faites un problème de probabilité maximale, alors vous savez que la matrice de covariance asymptotique de vos estimations est égale à l'inverse de l'information de pêcheur évaluée à la MLE. Par conséquent, la vérification de la matrice d'informations sur les pêcheurs pour la singularité (approximative) constitue également un moyen raisonnable d'évaluer l'identifiabilité. Cela fonctionne également lorsque les informations théoriques sur les pêcheurs sont difficiles à calculer car il est souvent possible d'approcher numériquement très précisément un estimateur cohérent de la matrice d'informations sur les pêcheurs, en estimant par exemple le produit externe attendu de la fonction de score par le produit externe moyen observé. .

Si vous ne faites pas de problème de niveau maximal, vous pourrez peut-être maîtriser en simulant les données du modèle, en estimant les paramètres un grand nombre de fois et en calculant un exemple de matrice de covariance.$\Sigma$