Faut-il enseigner le kurtosis dans un cours de statistique appliquée? Si c'est le cas, comment?

La tendance centrale, la propagation et l'asymétrie peuvent toutes être définies relativement bien, au moins sur une base intuitive; les mesures mathématiques standard de ces choses correspondent également relativement bien à nos notions intuitives. Mais le kurtosis semble être différent. C'est très déroutant et cela ne correspond pas bien à toute intuition sur la forme distributionnelle.

Une explication typique de kurtosis dans un cadre appliqué serait cet extrait des statistiques appliquées pour les entreprises et la gestion utilisant Microsoft Excel :$^{[1]}$

Le kurtosis fait référence au pic de distribution ou inversement à la platitude. S'il y a plus de valeurs de données dans les queues que ce que vous attendez d'une distribution normale, le kurtosis est positif. Inversement, s'il y a moins de valeurs de données dans les queues que vous ne le pensez dans une distribution normale, le kurtosis est négatif. Excel ne peut pas calculer cette statistique sauf si vous avez au moins quatre valeurs de données.

Mis à part la confusion entre «kurtosis» et «excess kurtosis» (comme dans ce livre, il est courant d'utiliser le premier mot pour désigner ce que d'autres auteurs appellent ce dernier), l'interprétation en termes de «pic» ou de «planéité» est alors embrouillé par le changement d'attention sur le nombre d'éléments de données dans les queues. Il est nécessaire de tenir compte à la fois du "pic" et de la "queue" - Kaplansky$^{[2]}$s'est plaint en 1945 que de nombreux manuels de l'époque déclaraient à tort que le kurtosis était lié à la hauteur du pic de la distribution par rapport à celui d'une distribution normale, sans tenir compte des queues. Mais avoir clairement à considérer la forme à la fois au sommet et dans la queue rend l'intuition plus difficile à saisir, un point que l'extrait cité ci-dessus saute en passant de la pointe à la lourdeur de la queue comme si ces concepts étaient les mêmes.

De plus, cette explication classique de "pic et queue" de kurtosis ne fonctionne bien que pour les distributions symétriques et unimodales (en effet, les exemples illustrés dans ce texte sont tous symétriques). Pourtant, la manière générale "correcte" d'interpréter le kurtosis, que ce soit en termes de "pics", de "queues" ou de "épaules", est contestée depuis des décennies . $^{[2][3][4][5][6]}$

Existe-t-il un moyen intuitif d'enseigner le kurtosis dans un cadre appliqué qui ne heurtera pas les contradictions ou les contre-exemples lorsqu'une approche plus rigoureuse est adoptée? Le kurtosis est-il même un concept utile dans le contexte de ce type de cours d'analyse de données appliquées, par opposition aux cours de statistiques mathématiques? Si le «pic» d'une distribution est un concept intuitivement utile, devrions-nous plutôt l'enseigner au moyen de moments L ?$^{[7]}$

$[1]$ Herkenhoff, L. et Fogli, J. (2013). Statistiques appliquées aux entreprises et à la gestion à l'aide de Microsoft Excel . New York, NY: Springer.

$[2]$ Kaplansky, I. (1945). "Une erreur courante concernant le kurtosis". Journal de l'American Statistical Association , 40 (230): 259.

$[3]$ Darlington, Richard B (1970). "Est-ce que Kurtosis est vraiment un" pic "?". The American Statistician 24 (2): 19-22

$[4]$ Moors, JJA. (1986) "Le sens de kurtosis: Darlington réexaminé". The American Statistician 40 (4): 283–284

$[5]$ Balanda, Kevin P. et MacGillivray, HL (1988). " Kurtosis: A Critical Review". The American Statistician 42 (2): 111-119

$[6]$ DeCarlo, LT (1997). " Sur le sens et l'utilisation du kurtosis ". Méthodes psychologiques , 2 (3), 292. Chicago

$[7]$ Hosking, JRM (1992). "Moments ou moments L? Un exemple comparant deux mesures de forme distributionnelle". The American Statistician 46 (3): 186–189

Kurtosis est vraiment assez simple ... et utile. C'est simplement une mesure des valeurs aberrantes ou des queues. Cela n'a absolument rien à voir avec le pic - cette définition doit être abandonnée.

Voici un ensemble de données:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Notez que «999» est une valeur aberrante.

Voici les valeurs de l'ensemble de données:$z^4$

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Notez que seule la valeur aberrante donne un sensiblement différent de 0.$z^4$

La moyenne de ces valeurs est le kurtosis de la distribution empirique (soustrayez 3 si vous voulez, peu importe le point que je fais): 18.05$z^4$

Il devrait être évident d'après ce calcul que les données proches du «pic» (les données non aberrantes) ne contribuent presque rien à la statistique de kurtosis.

Kurtosis est utile comme mesure des valeurs aberrantes. Les valeurs aberrantes sont importantes pour les élèves du primaire et, par conséquent, le kurtosis devrait être enseigné. Mais le kurtosis n'a pratiquement rien à voir avec le pic, qu'il soit pointu, plat, bimodal ou infini. Vous pouvez avoir tout ce qui précède avec une petite kurtosis et tout ce qui précède avec une grande kurtosis. Il ne faut donc JAMAIS présenter cela comme ayant quelque chose à voir avec le pic, car cela enseignera des informations incorrectes. Cela rend également le matériel déroutant et apparemment moins utile.

Sommaire:

1. kurtosis est utile comme mesure des queues (valeurs aberrantes).
2. kurtosis n'a rien à voir avec le pic.
3. kurtosis est pratiquement utile et devrait être enseigné, mais seulement comme une mesure des valeurs aberrantes. Ne mentionnez pas le pic lorsque vous enseignez le kurtosis.

Cet article explique clairement pourquoi la définition de "Peakedness" est maintenant officiellement morte.

Westfall, PH (2014). " Kurtosis as Peakedness, 1905 - 2014. RIP " The American Statistician , 68 (3), 191–195.

Bien que la question soit quelque peu vague, elle est intéressante. À quels niveaux le kurtosis est-il enseigné? Je me souviens qu'il a été mentionné dans un cours (de niveau master) sur les modèles linéaires (il y a longtemps, basé sur la première édition du livre de Seber). Ce n'était pas un sujet important, mais il entre dans des sujets tels que l'étude du (manque de) robustesse du test du rapport de vraisemblance (test F) d'égalité des variances, où (de mémoire) le niveau correct dépend asymptotiquement de la même kurtosis que le distribution normale, ce qui est trop à supposer! Nous avons vu un document (mais je ne l'ai jamais lu avec des détails) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents par Oja, qui essaie de découvrir ce que l'asymétrie, le kurtosis et de telles mesures réellement.

Pourquoi est-ce que je trouve cela intéressant? Parce que j'ai enseigné en Amérique latine, où il semble que l'asymétrie et le kurtosis soient enseignés par de nombreux sujets importants, et que j'essaie de dire aux étudiants de troisième cycle (beaucoup d'économie) que le kurtosis est une mauvaise mesure de la forme d'une distribution (principalement parce que la variabilité d'échantillonnage des quatrièmes puissances est tout simplement trop grande), était difficile. J'essayais de leur faire utiliser QQplots à la place. Donc, pour certains commentateurs, oui, cela est enseigné à certains endroits, probablement trop!

Au fait, ce n'est pas seulement mon avis. Le billet de blog suivant https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics contient cette citation (attribuée au Dr Wheeler):

En bref, l'asymétrie et le kurtosis sont pratiquement sans valeur. Shewhart a fait cette observation dans son premier livre. Les statistiques d'asymétrie et de kurtosis ne fournissent tout simplement pas d'informations utiles autres que celles déjà fournies par les mesures de localisation et de dispersion.

Nous devrions enseigner de meilleures techniques pour étudier les formes de distributions! comme les QQplots (ou les graphiques de distribution relative). Et, si quelqu'un a encore besoin de mesures numériques, les mesures basées sur les moments L sont meilleures. Je citerai un passage de l'article JR Statist Soc B (1990) 52, No 1, pp 105-124 de JRM Hosking: "L-moments: Analysis and Estimation of Distribution using Linear Combination of Order Statistics", page 109:

$\lambda_1$$\lambda_2$$\mu(F)$$\frac12 \sigma_1(F)$$\tau_3$$\tau_4$

(Pour le moment, je me réfère au document pour les définitions de ces mesures, elles sont toutes basées sur des moments L.) La chose intéressante est que, la mesure traditionnelle de kurtosis, basée sur des quatrièmes moments, n'est pas une mesure de kurtosis dans le sens d'Oja! (Je modifierai les références de cette revendication lorsque je pourrai la trouver).

À mon avis, le coefficient d'asymétrie est utile pour motiver les termes: asymétrique positive et asymétrique négative. Mais c'est là que cela s'arrête, si votre objectif est d'évaluer la normalité. Les mesures classiques d'asymétrie et de kurtosis échouent souvent à saisir divers types d'écart par rapport à la normalité. Je recommande généralement à mes élèves d'utiliser des techniques graphiques pour évaluer qu'il est raisonnable d'évaluer la normalité, comme un tracé qq ou un tracé de probabilité normale. Également avec un échantillon de taille adéquate, un histogramme peut également être utilisé. Les boîtes à moustaches sont également utiles pour identifier les valeurs aberrantes ou même les queues lourdes.

Cela est conforme aux recommandations d'un groupe de travail de 1999 de l'APA:

" Hypothèses. Vous devez vous efforcer de vous assurer que les hypothèses sous-jacentes requises pour l'analyse sont raisonnables compte tenu des données. Examinez attentivement les résidus. N'utilisez pas de tests de distribution et d'indices statistiques de forme (par exemple, asymétrie, kurtosis) comme substitut pour examiner graphiquement vos résidus. L'utilisation d'un test statistique pour diagnostiquer les problèmes d'ajustement de modèle présente plusieurs inconvénients. Premièrement, les tests de signification diagnostique basés sur des statistiques sommaires (tels que les tests d'homogénéité de la variance) sont souvent peu pratiques; nos tests statistiques de modèles sont souvent plus robustes que nos tests statistiques d'hypothèses. Deuxièmement, les statistiques telles que l'asymétrie et le kurtosis ne parviennent souvent pas à détecter des irrégularités de distribution dans les résidus. Troisièmement, les tests statistiques dépendent de la taille de l'échantillon et à mesure que la taille de l'échantillon augmente, les tests rejetteront souvent des hypothèses inoffensives. En général, rien ne remplace l'analyse graphique des hypothèses."

Référence: Wilkinson, L., & Task Force on Statistical Inference. (1999). Méthodes statistiques dans les revues de psychologie: lignes directrices et explications. Psychologue américain, 54, 594-604.

Selon l'application du cours, la question de l'exactitude des estimations pourrait se poser. La précision de l'estimation de la variance dépend fortement de l'aplatissement. La raison pour laquelle cela se produit est qu'avec un kurtosis élevé, la distribution permet des données rares et extrêmes potentiellement observables. Ainsi, le processus de génération de données produira des valeurs très extrêmes dans certains échantillons, et pas des valeurs aussi extrêmes dans d'autres. Dans le premier cas, vous obtenez une très grande estimation de la variance, et dans le second, une petite estimation de la variance.

Si l’interprétation obsolète et incorrecte du «pic» était éliminée et que l’accent était entièrement mis sur les valeurs aberrantes (c.-à-d., Observables rares et extrêmes), il serait plus facile d’enseigner le kurtosis dans les cours d’introduction. Mais les gens se tordent pour essayer de justifier le "pic" parce qu'il est (incorrectement) énoncé de cette façon dans leurs manuels scolaires, et ils manquent les vraies applications du kurtosis. Ces applications concernent principalement les valeurs aberrantes, et bien sûr les valeurs aberrantes sont importantes dans les cours de statistiques appliquées.

$\frac 1 n \sum_{i=1}^n$$\mu,\sigma^2,\mu_4$$\mu$$\sigma^2$$\ne$