Quelles sont quelques applications illustratives de la probabilité empirique?

J'ai entendu parler de la probabilité empirique d'Owen, mais jusqu'à récemment, je n'y ai pas prêté attention avant de l'avoir trouvé dans un document d'intérêt ( Mengersen et al. 2012 ).

Dans mes efforts pour le comprendre, j'ai glané que la probabilité des données observées est représentée comme , où et .

L = \prod_{i} p_{i} = \prod_{i} P (X_{i} = x) = \prod_{i} P (X_{i} \leq x) - P (X_{i} < x)

$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

p_{i} > 0

$p_i > 0$

Cependant, je n'ai pas pu faire le saut mental reliant cette représentation à la façon dont elle peut être utilisée pour faire des inférences sur les observations. Peut-être suis-je trop enraciné dans la pensée d'une vraisemblance par rapport aux paramètres d'un modèle?

Quoi qu'il en soit, j'ai recherché dans Google Scholar des articles utilisant des probabilités empiriques qui m'aideraient à internaliser le concept ... en vain. De toute évidence, il y a le livre d'Art Owen sur la probabilité empirique , mais Google Books laisse de côté tous les bons morceaux et je suis toujours en train d'obtenir un prêt entre bibliothèques.

En attendant, quelqu'un peut-il me montrer des articles et des documents qui illustrent clairement la prémisse de la probabilité empirique et comment elle est utilisée? Une description illustrative de EL elle-même serait également la bienvenue!

— Sameer
source

Les économétriciens, en particulier, sont tombés amoureux d'EL. Si vous cherchez des applications , cette documentation peut être l'un des meilleurs endroits où chercher.

— Cardinal

Réponses:

Je ne vois pas de meilleur endroit que le livre d'Owen pour en savoir plus sur la probabilité empirique.

Une façon pratique de penser à est la probabilité d'une distribution multinomiale sur les points de données observés . La vraisemblance est donc fonction du vecteur de probabilité , l'espace des paramètres est en réalité le simplexe à dimensions des vecteurs de probabilité, et le MLE met le poids sur chacune des observations (en supposant qu'elles sont tous différents). La dimension de l'espace des paramètres augmente avec le nombre d'observations. $L = L(p_1, \ldots, p_n)$ $x_1, \ldots, x_n$ $(p_1, \ldots, p_n)$ $n$ $1/n$

Un point central est que la vraisemblance empirique donne une méthode de calcul des intervalles de confiance par profilage sans spécifier de modèle paramétrique. Si le paramètre d'intérêt est la moyenne, , alors pour tout vecteur de probabilité nous avons que la moyenne est et nous pouvons calculer la vraisemblance du profil comme Ensuite, nous pouvons calculer les intervalles de confiance de la forme avec . Ici est la moyenne empirique et $\mu$ $p = (p_1, \ldots, p_n)$

μ (p) = \sum_{i = 1}^{n} x_{i} p_{i},

$\mu(p) = \sum_{i=1}^n x_i p_i,$

L_{prof} (μ) = max {L (p) ∣ μ (p) = μ} .

$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$

I_{r} = {μ ∣ L_{prof} (μ) \geq r L_{prof} (\bar{x})}

$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$

r \in (0, 1)

$r \in (0,1)$

\bar{x}

$\bar{x}$

L_{prof} (\bar{x}) = n^{- n}

$L_{\text{prof}}(\bar{x}) = n^{-n}$ . Les intervalles devraient peut-être simplement être appelés intervalles de vraisemblance (profil) car aucune déclaration sur la couverture n'est faite à l'avance. En diminuant les intervalles (oui, ce sont des intervalles) forment une famille imbriquée et croissante d'intervalles de confiance. La théorie asymptotique ou le bootstrap peuvent être utilisés pour calibrer pour atteindre une couverture de 95%, par exemple.

I_{r}

$I_r$

r

$r$

I_{r}

$I_r$

r

$r$

Le livre d'Owen couvre cela en détail et fournit des extensions à des problèmes statistiques plus compliqués et à d'autres paramètres d'intérêt.

— NRH
source

(+1) Faute d'avoir accès au livre, on peut toujours commencer par les articles originaux pour obtenir les bases de la théorie. Comme le livre, les articles sont également assez clairement écrits.

— Cardinal

Quelques liens: ( 1 ) A. Owen (1988), Intervalles de confiance du rapport de vraisemblance empirique pour une seule fonction , Biometrika , vol. 75, n ° 2, pp. 237-249, ( 2 ) A. Owen (1990), Régions de confiance du rapport de vraisemblance empirique , Ann. Statist. , vol. 18, non. 1, pp. 90-120 ( libre accès ), et ( 3 ) A. Owen (1991) Probabilité empirique pour les modèles linéaires , Ann. Statist. , vol. 19, non. 4, pp. 1725-1747 ( libre accès ).

— cardinal

@cardinal Fantastic! J'aurais dû y penser moi-même.

— Sameer

@NHS Merci pour votre explication! Juste pour être clair, l' rapport aux ? Pouvez-vous également expliquer pourquoi ? Doit-il s'agir de ?

L_{p r o f} (μ)

$L_{prof}(\mu)$

a r g m a x

$argmax$

p

$p$

L_{p r o f} (\bar{x}) = n^{n}

$L_{prof}(\bar{x})=n^n$

\prod_{i} n^{- 1} = n^{- n}

$\prod_i n^{-1} = n^{-n}$

— Sameer

@Sameer, la faute de frappe est maintenant corrigée. Cependant, ce n'est pas l'argmax. Il s'agit de la vraisemblance de profil obtenue en maximisant la vraisemblance sur tous les vecteurs de paramètres avec une valeur donnée de . Btw avec un accès universitaire approprié J'ai obtenu une version électronique du CRC des chapitres individuels dans le livre d'Owen.

μ

$\mu$

— NRH

En économétrie, de nombreux articles appliqués partent de l'hypothèse que où est un vecteur de données, est un système connu d' équations et est un paramètre inconnu, . La fonction provient d'un modèle économique. Le but est d'estimer .

E [g (X, θ)] = 0

$E[g(X,\theta)] = 0$

X

$X$

g

$g$

q

$q$

θ \in Θ \subseteq R^{p}

$\theta \in \Theta \subseteq \mathbb{R}^p$

q \geq p

$q \geq p$

g

$g$

θ

$\theta$

L'approche traditionnelle, en économétrie, pour l'estimation et l'inférence sur est d'utiliser la méthode généralisée des moments: où est une matrice de pondération définie positive et La vraisemblance empirique fournit un estimateur alternatif au GMM. L'idée est d'appliquer la condition de moment comme contrainte lors de la maximisation de la vraisemblance non paramétrique. Tout d'abord, corrigez un . ensuite sous réserve de $\theta$

{\hat{θ}}_{GMM} = {argmin}_{θ \in Θ} {\bar{g}}_{n} (θ)^{'} W {\bar{g}}_{n} (θ)

$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$

W

$W$

{\bar{g}}_{n} (θ) := \frac{1}{n} \sum_{i = 1}^{n} g (X_{i}, θ) .

$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$

θ

$\theta$

L (θ) = max_{p_{1}, \dots, p_{n}} \prod_{i = 1}^{n} p_{i}

$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$

\sum_{i = 1}^{n} p_{i} = 1, p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} \cdot g (X_{i}, θ) = 0.

$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$ Il s'agit de la boucle interne '. Agrandissez ensuite sur : Cette approche s'est avérée avoir de meilleures propriétés d'ordre supérieur que le GMM (voir Newey et Smith 2004, Econometrica ), ce qui est une des raisons pour lesquelles elle est préférable au GMM. Pour des références supplémentaires, voir les notes et la conférence d'Imbens et Wooldridge ici (conférence 15).

θ

$\theta$

{\hat{θ}}_{EL} = {argmax}_{θ \in Θ} \log L (θ) .

$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$

Il y a bien sûr de nombreuses autres raisons pour lesquelles EL a retenu l'attention en économétrie, mais j'espère que c'est un point de départ utile. Les modèles d'égalité des moments sont très courants en économie empirique.

— Aelmore
source

Merci d'avoir écrit une réponse aussi claire et bien référencée. Bienvenue dans notre communauté!

— whuber

En analyse de survie, la courbe de Kaplan-Meier est l'estimateur non paramétrique le plus célèbre de la fonction de survie , où désigne la variable aléatoire de temps à événement. Fondamentalement, est une généralisation de la fonction de distribution empirique qui permet la censure. Il peut être dérivé heuristiquement, comme indiqué dans la plupart des manuels pratiques. Mais il peut également être formellement dérivé en tant qu'estimateur de vraisemblance maximale (empirique). Voici plus de détails . $S(t) = Pr(T > t)$ $T$ $\hat{S}$

— ocram
source