Dérivation de la transformation de normalisation pour les GLM

$\newcommand{\E}{\mathbb{E}}$ Comment est la transformation de normalisation pour la famille exponentielle dérivé? $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$

Plus précisément : j'ai essayé de suivre le croquis d'extension de Taylor à la page 3, diapositive 1 ici, mais j'ai plusieurs questions. Avec d'une famille exponentielle, la transformation et dénotant le cumulant , les diapositives soutiennent que: \ kappa _3 (h (\ bar {X})) \ approx h '(\ mu) ^ 3 \ frac {\ kappa _3 (\ bar {X})} {N ^ 2} + 3h '(\ mu) ^ 2h' '(\ mu) \ frac {\ sigma ^ 4} {N} + O (N ^ {- 3}), et il reste à trouver simplement h (X) tel que ce qui précède est évalué à 0.$X$$h(X)$$\kappa _i$$i^{th}$

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ $h(X)$

1. Ma première question concerne l'arithmétique: mon expansion de Taylor a des coefficients différents, et je ne peux pas justifier qu'ils aient abandonné de nombreux termes.

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   Je peux arriver à quelque chose de similaire en remplaçant les moments centraux par leurs équivalents cumulatifs, mais cela ne correspond toujours pas.

2. Deuxième question: pourquoi l'analyse commence-t-elle par $\bar{X}$ au lieu de $X$ , la quantité dont nous nous soucions réellement?

Les diapositives auxquelles vous liez sont quelque peu déroutantes, omettant des étapes et faisant quelques fautes de frappe, mais elles sont finalement correctes. Cela aidera à répondre à la question 2 d'abord, puis à 1, et enfin à dériver la transformation de symétrisation$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$ .

Question 2. Nous analysons car c'est la moyenne d'un échantillon de taille de iid variables aléatoires . C'est une quantité importante car l'échantillonnage de la même distribution et la prise de la moyenne se produisent tout le temps en science. Nous voulons savoir à quel point est proche de la vraie moyenne . Le théorème de la limite centrale dit qu'il convergera vers comme mais nous aimerions connaître la variance et l'asymétrie de$\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$ .

Question 1. Votre approximation de la série Taylor n'est pas incorrecte, mais nous devons faire attention à garder une trace de vs et des puissances de pour arriver à la même conclusion que les diapositives. Nous allons commencer avec les définitions de et les moments centraux de et dériver la formule pour :$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

Maintenant, les moments centraux de :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

La dernière étape suit puisque , et . Cela n'a peut-être pas été la dérivation la plus simple de , mais c'est le même processus que nous devons faire pour trouver et , où nous décomposons un produit d'une sommation et comptons le nombre de termes avec des puissances de variables différentes. Dans le cas ci-dessus, il y avait termes qui étaient de la forme et termes de la forme .$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

Ensuite, nous développerons$h(\bar{X})$ dans une série Taylor comme vous l'avez:

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

Avec un peu plus d'efforts, vous pouvez prouver que les autres termes sont . Enfin, puisque , (qui n'est pas la même chose que ), nous faisons à nouveau un calcul similaire:$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

Nous ne sommes intéressés que par les termes résultant de l'ordre , et avec un travail supplémentaire, vous pourriez montrer que vous n'avez pas besoin des termes " "ou" "avant de prendre le troisième pouvoir, car ils ne résulteront qu'en termes d'ordre$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$ . Donc, en simplifiant, nous obtenons

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

J'ai laissé des termes qui étaient évidemment dans ce produit. Vous devrez vous convaincre que les termes et sont$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$ également. cependant,

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

Puis distribuer l'espérance sur notre équation pour$\kappa_3(h(\bar{X}))$ , nous avons

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

Ceci conclut la dérivation de . Maintenant, nous dériverons enfin la transformée de symétrisation .$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Pour cette transformation, il est important que soit issu d'une distribution de famille exponentielle, et en particulier d'une famille exponentielle naturelle (ou il a été transformé en cette distribution), de la forme$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

Dans ce cas, les cumulants de la distribution sont donnés par . Donc , et . Nous pouvons écrire le paramètre en fonction de prenant simplement l'inverse de , en écrivant . alors$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

Ensuite, nous pouvons écrire la variance en fonction de , et appeler cette fonction$\mu$$\bar{V}$ :

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

alors

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

Donc, en fonction de ,$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$ .

Maintenant, pour la transformation de symétrisation, nous voulons réduire l'asymétrie de en faisant pour que soit . Ainsi, nous voulons$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

En substituant nos expressions à et tant que fonctions de , nous avons:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

Donc , conduisant à .$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

Une solution à cette équation différentielle est:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

Donc, , pour toute constante, . Cela nous donne la transformation symétrisante , où est la variance comme fonction de la moyenne dans une famille exponentielle naturelle.$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ 1.Pourquoi ne puis-je pas obtenir le même résultat en effectuant une approximation en termes de moments non centraux , puis calculer les moments centraux utilisant les moments non centraux approximatifs?$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

Parce que vous modifiez la dérivation arbitrairement et supprimez le terme résiduel, ce qui est important. Si vous n'êtes pas familier avec la grande notation O et les résultats pertinents, une bonne référence est [Casella & Lehmann].

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

Mais même si vous ne laissez pas tomber le résidu en faisant valoir que vous faites toujours (ce qui n'est pas légal ...), l'étape suivante: dit que$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

si ce n'est toujours pas clair, nous pouvons voir l'algèbre de l'expansion de l'intégrande va comme

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

Soit , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

Votre erreur est d'omettre le résidu avant l'expansion, qui est une erreur "classique" dans la notation Big O et est devenue plus tard une critique de l'utilisation de la notation Big O.

$\blacksquare$ 2.Pourquoi l'analyse commence-t-elle par au lieu de , la quantité qui nous intéresse vraiment?$\bar{X}$$X$

Parce que nous voulons baser notre analyse sur les statistiques suffisantes du modèle exponentiel que nous introduisons. Si vous avez un échantillon de taille 1, il n'y a aucune différence si vous analysez avec OU .$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$

Ceci est une bonne leçon de notation O bien qu'elle ne soit pas pertinente pour GLM ...

Référence [Casella & Lehmann] Lehmann, Erich Leo et George Casella. Théorie de l'estimation ponctuelle. Springer Science & Business Media, 2006.