Existe-t-il des asymptotiques de troisième ordre?

14

La plupart des résultats asymptotiques en statistiques prouvent que lorsque un estimateur (tel que le MLE) converge vers une distribution normale basée sur une expansion taylorique de second ordre de la fonction de vraisemblance. Je crois qu'il y a un résultat similaire dans la littérature bayésienne, le "théorème de la limite centrale bayésienne", qui montre que le postérieur converge asymptotiquement vers une normale comme $n \rightarrow \infty$ $n \rightarrow \infty$

Ma question est - la distribution converge-t-elle vers quelque chose "avant" qu'elle devienne normale, basée sur le troisième terme de la série Taylor? Ou n'est-ce pas possible de faire en général?

mathematical-statistics asymptotics saddlepoint-approximation

— gabgoh
source

(+1) .. bonne question. Le théorème de la limite centrale bayésienne est appelé approximation de Laplace, c'est-à-dire que le postérieur se comporte "plus ou moins" comme une distribution normale. (officiellement postérieur converge dans la distribution vers une distribution normale)

— suncoolsu

Connexe: stats.stackexchange.com/questions/191492/…

— kjetil b halvorsen

7

Vous recherchez la série Edgeworth, n'est-ce pas?

http://en.wikipedia.org/wiki/Edgeworth_series#Edgeworth_series

(Notez qu'Edgeworth est décédé en 1926, devrait être dans la plupart des statisticiens célèbres?)

— Robin Girard
source

5

Il n'est pas possible pour une séquence de «converger» vers une chose puis vers une autre. Les termes d'ordre supérieur dans une expansion asymptotique iront à zéro. Ce qu'ils vous disent, c'est à quel point ils sont proches de zéro pour une valeur donnée de . $n$

Pour le théorème central limite (à titre d'exemple), l'expansion appropriée est celle du logarithme de la fonction caractéristique: la fonction génératrice de cumul (cgf). La normalisation des distributions fixe les zéros, les premier et deuxième termes du CGG. Les termes restants, dont les coefficients sont les cumulants , dépendent de de manière ordonnée. La normalisation qui se produit dans la CLT (divisant la somme des variables aléatoires par quelque chose proportionnel à --without qui convergence ne se produira pas) provoque la cumulants - qui , après tout dépend moments - à être divisé par $n$ $n$ $n^{1/2}$ $m^\text{th}$ $m^\text{th}$ , mais en même temps parce que nous additionnonstermes, le résultat net est que leterme d'ordre est proportionnel à . Ainsile troisième cumulants de la somme normalisée est proportionnelle à , le quatrième cumulants est proportionnelle à $(n^{1/2})^m = n^{m/2}$ $n$ $m^\text{th}$ $n/n^{m/2} = n^{-(m-2)/2}$ $1/n^{1/2}$ $1/n$ , etc. Ce sont les termes d'ordre supérieur. (Pour plus de détails, consultez cet article de Yuval Filmus par exemple.)

En général, une puissance négative élevée de est beaucoup plus petite qu'une puissance négative faible. On peut toujours en être assuré en prenant une valeur suffisamment grande de . Ainsi, pour vraiment grand, nous pouvons négliger toutes les puissances négatives de : elles convergent vers zéro. Sur le chemin de convergence, les départs à partir de la limite ultime sont mesurées avec une précision croissante par les conditions supplémentaires: le terme est une « correction », initiale ou de départ à partir de la valeur limite; le prochain $n$ $n$ $n$ $n$ $1/n^{1/2}$ $1/n$ terme est une correction plus petite, qui disparaît plus rapidement, et ainsi de suite. En bref, les termes supplémentaires vous donnent une image de la vitesse à laquelle la séquence converge vers sa limite.

$n$ $1/n^{1/2}$

— whuber
source

pour une raison quelconque, je ne trouve pas votre réponse entièrement convaincante. Je suis d'accord que la distribution doit être "étirée" et qu'il n'est pas correct de dire qu'elle converge vers X avant de converger vers une normale. Ce serait une erreur de ma part. Je pense néanmoins qu'il devrait exister un moyen d'échelle de la distribution de telle sorte que seul le quatrième ordre et au-dessus des "moments" se dirigent vers zéro. Je dois réfléchir un peu plus à ce à quoi ressemblerait exactement ce facteur d'échelle, si une telle chose devait exister

— gabgoh

2

@gabgoh Je voudrais en savoir plus sur les aspects de la réponse qui sont faibles. En ce qui concerne la mise à l'échelle, vous êtes coincé: vous avez déjà utilisé cette possibilité pour standardiser les éléments de la séquence. Si (hypothétiquement) une certaine forme de mise à l'échelle empêchait les troisièmes moments d'aller à zéro, alors vous contrediriez le CLT parce que la distribution limite ne serait pas normale. Il y a un problème connexe avec l'asymptotique des estimateurs. Souvent, vous pouvez ajuster un estimateur pour tuer les moments supérieurs de manière asymptotique (par exemple, avec le bootstrap): mais cela ne peut toujours pas être fait en mettant à l'échelle seul.

— whuber

3

Voici une tentative de répondre à votre question perspicace. J'ai vu l'inclusion du 3ème terme de la série Taylor pour augmenter la vitesse de convergence de la série vers la vraie distribution. Cependant, je n'ai pas vu (dans mon expérience limitée) l'utilisation de moments tiers et supérieurs.

Comme l'a souligné John D. Cook dans ses blogs ( ici et ici ), il n'y a pas eu beaucoup de travail dans ce sens, à part le théorème de Berry-Esseen . Je suppose que (d'après l'observation dans le blog de l'erreur d'approximation limitée par $n^{1/2}$ ), la normalité asymptotique de mle étant garantie à un taux de convergence de $n^{1/2}$ ( $n$ étant la taille de l'échantillon), le fait de considérer des moments plus élevés n'améliorera pas le résultat de normalité.

Par conséquent, je suppose que la réponse à votre question devrait être non . La distribution asymptotique converge vers une dist normale (par CLT, dans les conditions de régularité du CLT de Lindberg). Cependant, l'utilisation de termes d'ordre supérieur peut augmenter le taux de convergence vers la distribution asymptotique.

— suncoolsu
source

3

Ce n'est certainement pas mon domaine, mais je suis à peu près sûr qu'il existe des asymptotiques de troisième ordre et d'ordre supérieur. Est-ce une aide?

Robert L. Strawderman. Approximation asymptotique d'ordre supérieur: Laplace, Saddlepoint, and Related Methods Journal de l'American Statistical Association Vol. 95, n ° 452 (déc., 2000), pp. 1358-1364

— un arrêt
source