Existence de la fonction de génération de moment et de la variance

Une distribution à moyenne finie et à variance infinie peut-elle avoir une fonction de génération de moment? Qu'en est-il d'une distribution avec une moyenne finie et une variance finie mais des moments supérieurs infinis?

variance moments mgf

— Mgf
source

Astuce : Si le mgf existe dans un intervalle autour de zéro, disons pour certains , alors considérons l'expansion de Taylor de et la monotonie de l'intégrale pour découvrir la solution. :)

(- t_{0}, t_{0})

$(-t_0,t_0)$

t_{0} > 0

$t_0 > 0$

e^{x}

$e^x$

— cardinal

En ignorant les problèmes de convergence (en pensant au mgf uniquement comme une série de puissances formelle), que pourrait être le mgf si aucun moment n'existait?

— whuber

Cardinal, pouvez-vous nous donner quelques références sur les propositions que vous avez faites?

Cette question offre une belle occasion de recueillir des faits sur les fonctions génératrices de moments ( mgf ).

Dans la réponse ci-dessous, nous procédons comme suit:

Montrez que si le mgf est fini pour au moins une valeur (strictement) positive et une valeur négative, alors tous les moments positifs de sont finis (y compris les moments non intégrés). $X$
Démontrez que la condition dans le premier élément ci-dessus est équivalente à la distribution de ayant des queues exponentiellement bornées . En d'autres termes, les queues de tombent au moins aussi vite que celles d'une variable aléatoire exponentielle (jusqu'à une constante). $X$ $X$ $Z$
Fournir une note rapide sur la caractérisation de la distribution par son mgf à condition qu'elle remplisse la condition du point 1.
Explorez quelques exemples et contre-exemples pour aider notre intuition et, en particulier, pour montrer que nous ne devons pas lire l'importance indue dans le manque de finitude du mgf.

Cette réponse est assez longue et je m'en excuse à l'avance. Si cela serait mieux placé, par exemple en tant que billet de blog ou ailleurs, n'hésitez pas à fournir de tels commentaires dans les commentaires.

Que dit le mgf des moments?

Le mgf d'une variable aléatoire est défini comme . Notez que existe toujours car il est l'intégrale d'une fonction mesurable non négative. Cependant, il peut ne pas être fini . S'il est fini (aux bons endroits), alors pour tout (pas nécessairement un entier), les moments absolus (et donc aussi est fini). C'est le sujet de la proposition suivante. $X \sim F$ $m(t) = \mathbb E e^{tX}$ $m(t)$ $p > 0$ $\mathbb E |X|^p < \infty$ $\mathbb E X^p$

Proposition : S'il existe et tels que et , alors les moments de tous les ordres de existent et sont finis. $\newcommand{\tn}{t_{n}}\newcommand{\tp}{t_{p}}\tn < 0$ $\tp > 0$ $m(\tn) < \infty$ $m(\tp) < \infty$ $X$

Avant de plonger dans une preuve, voici deux lemmes utiles.

Lemme 1 : Supposons que de tels et existent. Alors pour tout , . Preuve . Cela découle de la convexité de et de la monotonie de l'intégrale. Pour un tel , il existe tel que . Mais alors Par conséquent, par monotonie de l'intégrale, . $\tn$ $\tp$ $t_0 \in [\tn,\tp]$ $m(t_0) < \infty$
$e^x$ $t_0$ $\theta \in [0,1]$ $t_0 = \theta \tn + (1-\theta) \tp$

e^{t_{0} X} = e^{θ t_{n} X + (1 - θ) t_{p} X} \leq θ e^{t_{n} X} + (1 - θ) e^{t_{p} X} .

$e^{t_0 X} = e^{\theta \tn X + (1-\theta) \tp X} \leq \theta e^{\tn X} + (1-\theta) e^{\tp X} \>.$

E e^{t_{0} X} \leq θ E e^{t_{n} X} + (1 - θ) E e^{t_{p} X} < \infty

$\mathbb E e^{t_0 X} \leq \theta \mathbb E e^{\tn X} + (1-\theta) \mathbb E e^{\tp X} < \infty$

Donc, si le mgf est fini en deux points distincts, il est fini pour toutes les valeurs de l'intervalle entre ces points.

Lemme 2 ( Nesting de espaces $L_p$ ): Pour , si , alors . Preuve : Deux approches sont données dans cette réponse et les commentaires associés . $0 \leq q \leq p$ $\mathbb E |X|^p < \infty$ $\mathbb E |X|^q < \infty$

Cela nous donne assez pour continuer avec la preuve de la proposition.

Preuve de la proposition . Si et existent comme indiqué dans la proposition, alors en prenant , nous savons par le premier lemme que et . Mais, et le côté droit est composé de termes non négatifs, donc, en particulier, pour tout Maintenant, par hypothèse . La monotonie de l'intégrale donne . Par conséquent, tous $\tn < 0$ $\tp > 0$ $t_0 = \min(-\tn,\tp) > 0$ $m(-t_0) < \infty$ $m(t_0) < \infty$

e^{- t_{0} X} + e^{t_{0} X} = 2 \sum_{n = 0}^{\infty} \frac{t_{0}^{2 n} X^{2 n}}{(2 n)!},

$e^{-t_0 X} + e^{t_0 X} = 2 \sum_{n=0}^\infty \frac{t_0^{2n} X^{2n}}{(2n)!} \>,$

k

$k$

e^{- t_{0} X} + e^{t_{0} X} \geq 2 t_{0}^{2 k} X^{2 k} / (2 k)! .

$e^{-t_0 X} + e^{t_0 X} \geq 2 t_0^{2k} X^{2k}/(2k)! \>.$

E e^{- t_{0} X} + E e^{t_{0} X} < \infty

$\mathbb E e^{-t_0 X} + \mathbb E e^{t_0 X} < \infty$

E X^{2 k} < \infty

$\mathbb E X^{2k} < \infty$ même les moments de sont finis. Le lemme 2 nous permet immédiatement de «combler les lacunes» et de conclure que tous les moments doivent être finis.

X

$X$

Résultat

Le résultat de la question à l'étude est que si l' un des moments de est infini ou n'existe pas, nous pouvons immédiatement conclure que le mgf n'est pas fini dans un intervalle ouvert contenant l'origine. (Ceci est juste l' énoncé contrapositif de la proposition.) $X$

Ainsi, la proposition ci-dessus fournit la "bonne" condition pour dire quelque chose sur les moments de fonction de son mgf. $X$

Queues exponentiellement bornées et mgf

Proposition : Le mgf est fini dans un intervalle ouvert contenant l'origine si et seulement si les queues de sont exponentiellement bornées , c'est-à-dire pour certains et . $m(t)$ $(\tn,\tp)$ $F$ $\mathbb P( |X| > x) \leq C e^{-t_0 x}$ $C > 0$ $t_0 > 0$

Preuve . Nous traiterons la queue droite séparément. La queue gauche est gérée de manière complètement analogue.

$(\Rightarrow)$ Supposons que pour certains . Ensuite, la queue droite de est exponentiellement bornée ; en d'autres termes, il existe et tels que Pour voir cela, notez que pour tout , par l'inégalité de Markov, Prenez et pour compléter cette direction de la preuve. $m(t_0) < \infty$ $t_0 > 0$ $F$ $C > 0$ $b > 0$

P (X > x) \leq C e^{- b x} .

$\mathbb P(X > x) \leq C e^{-b x} \>.$

t > 0

$t > 0$

P (X > x) = P (e^{t X} > e^{t x}) \leq e^{- t x} E e^{t X} = m (t) e^{- t x} .

$\mathbb P(X > x) = \mathbb P(e^{tX} > e^{tx}) \leq e^{-tx} \mathbb E e^{t X} = m(t) e^{-t x} \>.$

C = m (t_{0})

$C = m(t_0)$

b = t_{0}

$b = t_0$

$(\Leftarrow)$ Supposons qu'il existe et tels que . Alors, pour , où la première égalité découle d' un fait standard sur l'attente des variables aléatoires non négatives . Choisissez n'importe quel tel que ; alors l'intégrale du côté droit est finie. $C >0$ $t_0 > 0$ $\mathbb P(X > x) \leq C e^{-t_0 x}$ $t > 0$

E e^{t X} = \int_{0}^{\infty} P (e^{t X} > y) d y \leq 1 + \int_{1}^{\infty} P (e^{t X} > y) d y \leq 1 + \int_{1}^{\infty} C y^{- t_{0} / t} d y,

$\mathbb E e^{t X} = \int_0^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty C y^{-t_0/t} \, \mathrm dy \>,$

t

$t$

0 < t < t_{0}

$0 < t < t_0$

Ceci complète la preuve.

Une note sur l'unicité d'une distribution compte tenu de son mgf

Si le mgf est fini dans un intervalle ouvert contenant zéro, alors la distribution associée est caractérisée par ses moments , c'est-à-dire que c'est la seule distribution avec les moments . Une preuve standard est courte une fois que l'on dispose de faits (relativement simples) sur les fonctions caractéristiques . Les détails peuvent être trouvés dans la plupart des textes de probabilité modernes (par exemple, Billingsley ou Durrett). Quelques questions liées sont discutées dans cette réponse . $\mu_n = \mathbb E X^n$

Exemples et contre-exemples

( A ) distribution log - normale : est lognormale si pour une variable aléatoire normale . Donc avec une probabilité un. Parce que pour tout , cela nous indique immédiatement que pour tout . Donc, le mgf est fini sur la demi-ligne non négative . ( NB Nous avons seulement utilisé la non négativité de pour établir ce fait, donc cela est vrai de toutes les variables aléatoires non négatives.) $X$ $X = e^Y$ $Y$ $X \geq 0$ $e^{-x} \leq 1$ $x \geq 0$ $m(t) = \mathbb E e^{t X} \leq 1$ $t < 0$ $(-\infty,0]$ $X$

Cependant, pour tout . Nous prendrons le lognormal standard comme cas canonique. Si , alors . Par changement de variables, on a Pour et assez grand , nous avons par les bornes données ci-dessus. Mais, pour tout , et donc le mgf est infini pour tout . $m(t) = \infty$ $t > 0$ $x > 0$ $e^{x} \geq 1 + x + \frac{1}{2} x^2 + \frac{1}{6} x^3$

E e^{t X} = (2 π)^{- 1 / 2} \int_{- \infty}^{\infty} e^{t e^{u} - u^{2} / 2} d u .

$\mathbb E e^{t X} = (2\pi)^{-1/2} \int_{-\infty}^\infty e^{t e^u - u^2/2} \,\mathrm d u \>.$

t > 0

$t > 0$

u

$u$

t e^{u} - u^{2} / 2 \geq t + t u

$t e^u - u^2/2 \geq t+tu$

\int_{K}^{\infty} e^{t + t u} d u = \infty

$\int_{K}^\infty e^{t + tu} \,\mathrm du = \infty$

K

$K$

t > 0

$t > 0$

En revanche, tous les moments de la distribution log-normale sont finis. Ainsi, l'existence du mgf dans un intervalle autour de zéro n'est pas nécessaire pour conclure la proposition ci-dessus .

( b ) Lognormal symétrique : nous pouvons obtenir un cas encore plus extrême en "symétrisant" la distribution lognormale. Considérons la densité pour telle que Il n'est pas difficile de voir à la lumière de l'exemple précédent que le mgf n'est fini que pour . Pourtant, les moments pairs sont exactement les mêmes que ceux du lognormal et les moments impairs sont tous nuls! Ainsi, le mgf n'existe nulle part (sauf à l'origine où il existe toujours) et pourtant nous pouvons garantir des moments finis de toutes commandes. $f(x)$ $x \in \mathbb R$

f (x) = \frac{1}{2 \sqrt{2 π} | x |} e^{- \frac{1}{2} (\log | x |)^{2}} .

$f(x) = \frac{1}{2\sqrt{2\pi}|x|} e^{-\frac{1}{2} (\log |x|)^2} \>.$

t = 0

$t = 0$

( c ) Distribution de Cauchy : Cette distribution a aussi un mgf infini pour tout , mais aucun moment absolu n'est fini pour . Le résultat pour le mgf suit pour puisque pour et donc La preuve de est analogue. (Peut-être un peu moins bien connu est que les moments de font exist pour la Cauchy. Voir cette réponse $t \neq 0$ $\mathbb E|X|^p$ $p \geq 1$ $t > 0$ $e^x \geq x^3 / 6$ $x > 0$

E e^{t X} \geq \int_{1}^{\infty} \frac{t^{3} x^{3}}{6 π (1 + x^{2})} d x \geq \frac{t^{3}}{12 π} \int_{1}^{\infty} x d x = \infty .

$\mathbb E e^{tX} \geq \int_1^\infty \frac{t^3 x^3}{6\pi(1+x^2)} \,\mathrm dx \geq \frac{t^3}{12\pi} \int_1^\infty x \,\mathrm dx = \infty \>.$

t < 0

$t < 0$

0 < p < 1

$0 < p < 1$ .)

( d ) Distribution de Half-Cauchy : Si est Cauchy (standard), appelerune variable aléatoire demi-Cauchy. Ensuite, il est facile de voir dans l'exemple précédent que pour tous les ; pourtant, est fini pour . $X$ $Y = |X|$ $\mathbb E Y^p = \infty$ $p \geq 1$ $\mathbb E e^{tY}$ $t \in (-\infty,0]$

— cardinal
source

Merci d'avoir posté ceci - c'est étonnamment facile à comprendre, étant donné à quel point c'est technique - bravo.

— Macro

Connaissez-vous des résultats sur le mgf dans l'espace Hilbert?

— Badatmath