Quels sont exactement les moments? Comment sont-ils dérivés?

19

Nous sommes généralement initiés à la méthode des estimateurs de moments en «assimilant les moments de la population à leur homologue de l'échantillon» jusqu'à ce que nous ayons estimé tous les paramètres de la population; de sorte que, dans le cas d'une distribution normale, nous n'aurions besoin que des premier et deuxième moments car ils décrivent pleinement cette distribution.

$E(X) = \mu \implies \sum_{i=1}^n X_i/n = \bar{X}$

$E(X^2) = \mu^2 + \sigma^2 \implies \sum_{i=1}^n X_i^2/n$

Et nous pourrions théoriquement calculer jusqu'à moments supplémentaires comme: $n$

$E(X^r) \implies \sum_{i=1}^nX_i^r /n$

Comment puis-je construire l'intuition pour quels moments sont vraiment? Je sais qu'ils existent en tant que concept en physique et en mathématiques, mais je ne trouve ni directement applicable, surtout parce que je ne sais pas comment faire l'abstraction du concept de masse à un point de données. Le terme semble être utilisé d'une manière spécifique dans les statistiques, qui diffère de l'utilisation dans d'autres disciplines.

Quelle caractéristique de mes données détermine combien de ( ) moments il y a globalement? $r$

— Constantin
source

7

Le terme signifie la même chose qu'il fait en physique, lorsqu'il est appliqué à la distribution de probabilité. Voir ici , qui a l'équation , " où est la distribution de la densité de charge, de la masse ou de la quantité considérée ". Lorsque la «chose considérée» est la densité de probabilité, vous avez le moment de probabilité correspondant. Ce sont des moments bruts (moments sur l'origine). Par comparaison ... (ctd)

μ_{n} = \int r^{n} ρ (r) d r

$\mu_n=\int r^n\,\rho(r)\,dr$ $\rho$

— Glen_b -Reinstate Monica

2

Les moments sont des caractéristiques paramétrées de la distribution de variables aléatoires, comme les quantiles. Les moments sont paramétrés par les nombres naturels, et caractérisent complètement une distribution (voir fonction de génération de moment ). Cela n'exclut pas que pour certaines distributions, il puisse y avoir une parfaite dépendance fonctionnelle entre les moments, donc tous les moments ne sont pas toujours requis pour caractériser la distribution. (1/2)

— tchakravarty

Les moments dépendent fonctionnellement des deux premiers pour la distribution normale, donc les deux premiers suffisent pour caractériser la distribution, y compris la moyenne et la variance. (2/2)

\geq 3

$\geq 3$

— tchakravarty

5

(ctd) ... les moments en mathématiques sont les mêmes (

), sauf à propos de

plutôt que de 0 (c'est-à-dire juste une forme généralisée de la physique - mais comme ils sont les mêmes avec un simple changement d'origine, un physicien dirait à juste titre "en quoi est-ce différent?"). Ce sont lesmêmesqu'en probabilité, lorsque

est une densité. Pour moi, tous les trois parlent de la même chose quand ils disent des «moments», pas des choses différentes.

μ_{n} = \int_{- \infty}^{\infty} (x - c)^{n} f (x) d x

$\mu_n=\int_{-\infty}^\infty (x - c)^n\,f(x)\,dx$

c

$c$

f

$f$

— Glen_b -Reinstate Monica

3

Je suis sûr que vous pouvez trouver des réponses dans les nombreux fils qui ont été publiés sur les moments et l'intuition . La statistique utilise les moments exactement de la même manière qu'ils sont utilisés en physique et en mathématiques - c'est le même concept avec la même définition dans les trois domaines.

— whuber

17

Cela fait longtemps que je n'ai pas suivi de cours de physique, alors faites-moi savoir si tout cela est incorrect.

Description générale des moments avec des analogues physiques

Prenez une variable aléatoire, . Le ème moment de autour de est: Cela correspond exactement au sens physique d'un moment. Imaginez comme un ensemble de points le long de la ligne réelle avec une densité donnée par le pdf. Placez un point d'appui sous cette ligne en et commencez à calculer les moments par rapport à ce point d'appui, et les calculs correspondront exactement aux moments statistiques. $X$ $n$ $X$ $c$

m_{n} (c) = E [(X - c)^{n}]

$m_n(c)=E[(X-c)^n]$

X

$X$

c

$c$

La plupart du temps, le instant -ième de se réfère à l'instant autour de 0 (moments où le point d' appui est placé à 0): Le -ième central moment de $n$ $X$

m_{n} = E [X^{n}]

$m_n=E[X^n]$

n

$n$

X

$X$

{\hat{m}}_{n} = m_{n} (m_{1}) = E [(X - m_{1})^{n}]

$\hat m_n=m_n(m_1) =E[(X-m_1)^n]$ Cela correspond aux moments où le point d'appui est placé au centre de la masse, de sorte que la distribution est équilibrée. Cela permet d'interpréter plus facilement les moments, comme nous le verrons ci-dessous. Le premier moment central sera toujours nul, car la distribution est équilibrée.

Le -ème normalisé moment de est: $n$ $X$ Encore une fois, cela échelonne les moments par la propagation de la distribution, ce qui permet une interprétation plus facile spécifiquement de Kurtosis. Le premier moment standardisé sera toujours nul, le second sera toujours un. Cela correspond au moment du score standard (score z) d'une variable. Je n'ai pas un excellent analogue physique pour ce concept.

{\tilde{m}}_{n} = \frac{{\hat{m}}_{n}}{{(\sqrt{{\hat{m}}_{2}})}^{n}} = \frac{E [(X - m_{1})^{n}]}{{(\sqrt{E [(X - m_{1})^{2}]})}^{n}}

$\tilde m_n = \dfrac{\hat m_n}{\left(\sqrt{\hat m_2}\right)^n}=\dfrac{E[(X-m_1)^n]} {\left(\sqrt{E[(X-m_1)^2]}\right)^n}$

Moments couramment utilisés

Pour toute distribution, il existe potentiellement un nombre infini de moments. Assez d'instants caractériseront presque toujours entièrement et la distribution (dériver les conditions nécessaires pour que cela soit certain fait partie du problème du moment ). On parle couramment de quatre moments en statistiques:

Moyenne - le 1er moment (centré autour de zéro). C'est le centre de masse de la distribution, ou bien il est proportionnel au moment de couple de la distribution par rapport à un point d'appui à 0.
$X$
Asymétrie - le 3ème moment central (parfois standardisé). Une mesure de l'inclinaison d'une distribution dans une direction ou une autre. Par rapport à une distribution normale (qui n'a pas de biais), la distribution asymétrique positive a une faible probabilité de résultats extrêmement élevés, les distributions biaisées négativement ont une faible probabilité de résultats extrêmement faibles. Les analogues physiques sont difficiles, mais lâchement, ils mesurent l'asymétrie d'une distribution. À titre d'exemple, la figure ci-dessous est tirée de Wikipedia .
$X$

Nous parlons rarement de moments au-delà de Kurtosis, précisément parce qu'il y a très peu d'intuition pour eux. Ceci est similaire aux physiciens s'arrêtant après le deuxième moment.

— jayk
source

6

C'est un peu un vieux fil de discussion, mais je souhaite corriger une anomalie dans le commentaire du Fg Nu qui a écrit "Les moments sont paramétrés par les nombres naturels et caractérisent complètement une distribution".

Les moments ne caractérisent PAS complètement une distribution. Plus précisément, la connaissance de tout nombre infini d'instants, même s'ils existent, ne détermine pas nécessairement de manière unique la distribution.

Selon mon livre de probabilités préféré, Feller "An Introduction to Probability Theory and Its Applications Vol II" (voir ma réponse sur Real-life examples of common distributions ), section VII.3 example on pp. 227-228, le Lognormal n'est pas déterminé par ses moments, ce qui signifie qu'il existe d'autres distributions ayant toutes un nombre infini de moments identiques aux fonctions de distribution lognormales, mais différentes. Comme on le sait, la fonction de génération de moment n'existe pas pour le Lognormal, ni pour ces autres distributions possédant les mêmes moments.

$X$

\sum_{n = 1}^{\infty} (E [X^{2 n}])^{- 1 / (2 n)}

$\sum_{n=1}^{\infty} (\mathbb{E}[X^{2n}])^{-1/(2n)}$

diverge. Notez que ce n'est pas un si et seulement si. Cette condition n'est pas valable pour le Lognormal, et en effet elle n'est pas déterminée par ses moments.

En revanche, les distributions (variables aléatoires) qui partagent tout un nombre infini de moments, ne peuvent différer que de beaucoup, en raison des inégalités qui peuvent être dérivées de leurs moments.

— Mark L. Stone
source

Ceci est considérablement simplifié lorsque la distribution est limitée, auquel cas les moments déterminent toujours la distribution complètement (uniquement).

— Alex R.

@Alex C'est une conséquence immédiate du résultat cité dans Feller.

— whuber

Il n'est pas tout à fait correct de dire que la fonction de génération de moment n'existe pas pour le lognormal. Les théorèmes les plus utiles sur les mgf supposent qu'il existe dans un intervalle ouvert contenant zéro, et au sens strict, il n'existe pas. Mais il existe dans un rayon émanant de zéro !, et cela donne également des informations utiles.

— kjetil b halvorsen

@ kjetil b halvorsen, pouvez-vous décrire (certaines) les informations utiles que vous obtiendriez de l'existence du MGF d'un lognormal sur un rayon émanant de zéro? Quel rayon serait-ce?

— Mark L. Stone

Bosse du commentaire ci-dessus en tant que question à @kjetil b halvorsen ..

— Mark L. Stone

2

Un corollaire aux remarques de Glen_b est que le premier moment, la moyenne, correspond au centre de gravité d'un objet physique, et le second moment autour de la moyenne, la variance, correspond à son moment d'inertie. Après cela, vous êtes seul.

— Mike Anderson
source

3

E [x^{2}] = \int x^{2} f (x) d x

$E[x^2] = \int x^2f(x)dx$

v a r [x] = E [(x - E [x])^{2}] = \int (x - E [x])^{2} f (x) d x

$var[x]=E[(x-E[x])^2] = \int (x-E[x])^2f(x)dx$

0

Un arbre binomial a deux branches chacune avec probablement 0,5. En fait, p = 0,5 et q = 1-0,5 = 0,5. Cela génère une distribution normale avec une masse de probabilité uniformément distribuée.

En fait, nous devons supposer que chaque niveau de l'arborescence est complet. Lorsque nous divisons les données en bacs, nous obtenons un nombre réel de la division, mais nous arrondissons. Eh bien, c'est un niveau incomplet, donc nous ne nous retrouvons pas avec un histogramme proche de la normale.

Modifiez les probabilités de branchement en p = 0,9999 et q = 0,0001 et cela nous donne une normale asymétrique. La masse de probabilité a changé. Cela explique l'asymétrie.

Le fait d'avoir des niveaux ou des bacs incomplets de moins de 2 ^ n génère des arbres binomiaux avec des zones sans masse de probabilité. Cela nous donne du kurtosis.

Réponse au commentaire:

Lorsque je parlais de déterminer le nombre de bacs, arrondissez à l'entier suivant.

Les machines Quincunx lâchent des boules qui finissent par se rapprocher de la distribution normale via le binôme. Une telle machine émet plusieurs hypothèses: 1) le nombre de casiers est fini, 2) l'arbre sous-jacent est binaire et 3) les probabilités sont fixes. La machine Quincunx du Museum of Mathematics de New York permet à l'utilisateur de modifier dynamiquement les probabilités. Les probabilités peuvent changer à tout moment, même avant la fin de la couche actuelle. D'où cette idée que les bacs ne sont pas remplis.

Contrairement à ce que j'ai dit dans ma réponse d'origine lorsque vous avez un vide dans l'arbre, la distribution montre un kurtosis.

Je regarde cela du point de vue des systèmes génératifs. J'utilise un triangle pour résumer les arbres de décision. Lorsqu'une nouvelle décision est prise, plus de bacs sont ajoutés à la base du triangle, et en termes de répartition, dans les queues. La taille des sous-arbres de l'arbre laisserait des vides dans la masse de probabilité de la distribution.

J'ai seulement répondu pour vous donner un sens intuitif. Étiquettes? J'ai utilisé Excel et joué avec les probabilités dans le binôme et généré les asymétries attendues. Je ne l'ai pas fait avec le kurtosis, cela n'aide pas que nous soyons obligés de penser que la masse de probabilité est statique tout en utilisant un langage suggérant le mouvement. Les données ou boules sous-jacentes provoquent le kurtosis. Ensuite, nous l'analysons diversement et l'attribuons à des termes descriptifs tels que centre, épaule et queue. Les seules choses avec lesquelles nous devons travailler sont les poubelles. Les bacs vivent des vies dynamiques même si les données ne le peuvent pas.

— David Locke
source

2

C'est intrigant, mais terriblement sommaire. Quelles sont les étiquettes sur votre arbre binomial, par exemple? Il vaut mieux que ce soit un arbre infini si vous voulez obtenir une distribution normale - mais alors les étiquettes évidentes (en utilisant une marche aléatoire ou en utilisant des représentations binaires de nombres réels) ne conduisent pas du tout à des distributions normales. Sans ces détails, trop est laissé à l'imagination des lecteurs. Pourriez-vous nous en dire plus?

— whuber