Famille exponentielle: statistiques suffisantes observées et attendues

Ma question découle de la lecture de la lecture de «L'estimation d'une distribution de Dirichlet» de Minka , qui énonce ce qui suit sans preuve dans le contexte de la dérivation d'un estimateur du maximum de vraisemblance pour une distribution de Dirichlet basée sur des observations de vecteurs aléatoires:

Comme toujours avec la famille exponentielle, lorsque le gradient est nul, les statistiques suffisantes attendues sont égales aux statistiques suffisantes observées.

Je n'ai pas vu d'estimation du maximum de vraisemblance dans la famille exponentielle présentée de cette façon, et je n'ai trouvé aucune explication appropriée dans ma recherche. Quelqu'un peut-il donner un aperçu de la relation entre les statistiques suffisantes observées et attendues et peut-être aider à comprendre l'estimation du maximum de vraisemblance comme minimisant leur différence?

— Ben Bray
source

C'est une affirmation habituelle sur la famille exponentielle, mais à mon avis, la plupart du temps, elle est énoncée d'une manière qui peut dérouter le lecteur moins expérimenté. Parce que, pris à leur valeur nominale, il pourrait être interprété comme disant "si notre variable aléatoire suit une distribution dans la famille exponentielle, alors si nous prenons un échantillon et l'insérons dans la statistique suffisante, nous obtiendrons la vraie valeur attendue de la statistique ". Si seulement il en était ainsi ... De plus, il ne prend pas en compte la taille de l'échantillon, ce qui peut créer encore plus de confusion.

La fonction de densité exponentielle est

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

où est la statistique suffisante. $T(x)$

Puisque c'est une densité, elle doit s'intégrer à l'unité, donc ( est le support de ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Eq. est valable pour tous les afin que nous puissions différencier les deux côtés par rapport à lui: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

En échangeant l'ordre de différenciation et d'intégration, on obtient

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Effectuer la différenciation que nous avons

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

En insérant dans on obtient $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

Maintenant, nous demandons: le côté gauche de est un nombre réel. Ainsi, le côté droit doit également être un nombre réel et non une fonction . Par conséquent, il doit être évalué à un spécifique , et ce devrait être le "vrai" , sinon dans le côté gauche, nous n'aurions pas la vraie valeur attendue de . Pour souligner cela, nous notons la vraie valeur par , et nous réécrivons comme $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

Nous passons maintenant à l' estimation du maximum de vraisemblance . La log-vraisemblance pour un échantillon de taille est $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

En fixant sa dérivée par rapport à égale à nous obtenons le MLE $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

Comparez avec . Les côtés droits ne sont pas égaux, car nous ne pouvons pas affirmer que l'estimateur MLE a atteint la vraie valeur. Il en va de même pour la gauche. Mais rappelez-vous que l'éq. vaut pour tous les et donc pour également. Ainsi, les étapes de l'éq. peut être pris par rapport à et nous pouvons donc écrire eq. pour : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

ce qui, combiné avec , nous conduit à la relation valide $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

c'est ce que dit réellement l'assertion à l'examen: la valeur attendue de la statistique suffisante sous le MLE pour les paramètres inconnus (en d'autres termes, la valeur du premier moment brut de la distribution que nous obtiendrons si nous utilisons à la place de ), est égal (et il n'est pas simplement approximé par) la moyenne de la statistique suffisante calculée à partir de l'échantillon . $\hat \theta(x)$ $\theta$ $\mathbf x$

De plus, seulement si la taille de l'échantillon est alors nous pourrions dire avec précision que "la valeur attendue de la statistique suffisante sous le MLE est égale à la statistique suffisante". $n=1$

— Alecos Papadopoulos
source

Pourriez-vous nous expliquer pourquoi la transition du 6a au 6b est valide, s'il vous plaît?

— Theoden

@Theoden Entre les éq. et J'écris "l'équation est valable pour tous les " - et donc pour également. Donc, toutes les étapes de l'éq. peut être pris par rapport à . J'ai répété cette remarque dans le texte pour plus de clarté.

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

@AlecosPapadopoulos votre preuve ci-dessous semble suggérer que ce que vous dites au début - "si notre variable aléatoire suit une distribution dans la famille exponentielle, alors si nous prenons un échantillon et l'insérons dans la statistique suffisante, nous obtiendrons la vraie valeur attendue de la statistique "est vrai. Je veux dire que je peux toujours le faire pour (2), en le remplaçant par une statistique suffisante observée et obtenir le résultat. Qu'est-ce que j'oublie ici? Je ne comprends pas très bien.

— user10024395

@ user136266 La vraie valeur attendue de la statistique est , et pour être calculée, il faut connaître le paramètre , par conception inconnue . Donc, ce que nous pouvons réellement calculer est qui est la valeur attendue de la statistique sous l'hypothèse que notre estimation ponctuelle a atteint la vraie valeur .

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Alecos Papadopoulos

Pourriez-vous expliquer pourquoi nous pouvons échanger l'ordre de différenciation et d'intégration dans l'eq. (3) s'il vous plaît?

— Markus777