Test t robuste pour la moyenne

17

J'essaie de tester la valeur nulle , contre l'alternative locale , pour une variable aléatoire , sujette à un biais léger à moyen et à un kurtosis de la variable aléatoire. À la suite des suggestions de Wilcox dans «Introduction to Robust Estimation and Hypothesis Testing», j'ai examiné des tests basés sur la moyenne ajustée, la médiane, ainsi que l'estimateur M de la localisation (procédure «en une étape» de Wilcox). Ces tests robustes surpassent le test t standard, en termes de puissance, lors d'un test avec une distribution non asymétrique, mais leptokurtotique. $E[X] = 0$ $E[X] > 0$ $X$

Cependant, lors de tests avec une distribution asymétrique, ces tests unilatéraux sont soit beaucoup trop libéraux soit beaucoup trop conservateurs dans l'hypothèse nulle, selon que la distribution est asymétrique à gauche ou à droite, respectivement. Par exemple, avec 1000 observations, le test basé sur la médiane rejettera réellement ~ 40% du temps, au niveau nominal de 5%. La raison en est évidente: pour les distributions asymétriques, la médiane et la moyenne sont assez différentes. Cependant, dans ma demande, j'ai vraiment besoin de tester la moyenne, pas la médiane, pas la moyenne ajustée.

Existe-t-il une version plus robuste du test t qui teste réellement la moyenne, mais est imperméable à l'inclinaison et au kurtosis?

Idéalement, la procédure fonctionnerait bien dans le cas de non-biais et de kurtosis élevé. Le test «en une étape» est presque suffisant, le paramètre «pliage» étant relativement élevé, mais il est moins puissant que les tests de moyenne ajustée lorsqu'il n'y a pas d'asymétrie et a quelques difficultés à maintenir le niveau nominal de rejets sous asymétrie. .

Contexte: la raison pour laquelle je me soucie vraiment de la moyenne, et non de la médiane, est que le test serait utilisé dans une application financière. Par exemple, si vous vouliez tester si un portefeuille avait des rendements logarithmiques attendus positifs, la moyenne est en fait appropriée car si vous investissez dans le portefeuille, vous ressentirez tous les rendements (qui sont la moyenne multipliée par le nombre d'échantillons), au lieu de doublons de la médiane. C'est, je me soucie vraiment de la somme des tire de la RV . $n$ $n$ $X$

— shabbychef
source

Y a-t-il une raison qui interdit l'utilisation du test t de Welch? Jetez un oeil à ma réponse à cette question ( stats.stackexchange.com/questions/305/… ) où je me réfère à un document préconisant l'utilisation de Welch en cas de non-normalité et d'hétéroscédasticité.

— Henrik

1

eh bien, le problème est que je veux un test à 1 échantillon, pas un test à 2 échantillons! Je teste le

nul , et non

. Je vais chercher le Kubinger et. al., papier (Ich kann schlecht Deutsche).

E [X] = μ

$E[X] = \mu$

E [X_{1}] = E [X_{2}]

$E[X_1] = E[X_2]$

— shabbychef

Merci de clarifier. Dans ce cas, le papier Kubinger ne vous sera pas très utile. Je suis désolé.

— Henrik

5

Pourquoi envisagez-vous des tests non paramétriques? Les hypothèses du test t sont-elles violées? À savoir, des données ordinales ou non normales et des écarts inconstants? Bien sûr, si votre échantillon est suffisamment grand, vous pouvez justifier le test t paramétrique avec sa plus grande puissance malgré le manque de normalité dans l'échantillon. De même, si votre préoccupation concerne des variances inégales, il y a des corrections au test paramétrique qui donnent des valeurs de p précises (la correction de Welch).

Sinon, comparer vos résultats au test t n'est pas une bonne façon de procéder, car les résultats du test t sont biaisés lorsque les hypothèses ne sont pas remplies. Le Mann-Whitney U est une alternative non paramétrique appropriée, si c'est ce dont vous avez vraiment besoin. Vous ne perdez de la puissance que si vous utilisez le test non paramétrique alors que vous pouvez à juste titre utiliser le test t (car les hypothèses sont remplies).

Et, juste pour un peu plus de contexte, allez ici ...

http://www.jerrydallal.com/LHSP/STUDENT.HTM

— Brett
source

les données ne sont certainement pas normales. l'excès de kurtosis est de l'ordre de 10-20, le biais est de l'ordre de -0,2 à 0,2. Je fais un test t à 1 échantillon, donc je ne suis pas sûr de vous suivre concernant les "variances inégales", ou le test U.

— shabbychef

J'accepte le conseil «utiliser un test paramétrique». cela ne résout pas exactement ma question, mais ma question était probablement trop ouverte.

— shabbychef

12

Je suis d'accord que si vous voulez réellement tester si les moyennes de groupe sont différentes (par opposition à tester les différences entre les médianes de groupe ou les moyennes ajustées, etc.), alors vous ne voulez pas utiliser un test non paramétrique qui teste une hypothèse différente.

En général, les valeurs de p d'un test t ont tendance à être assez précises étant donné les écarts modérés de l'hypothèse de normalité des résidus. Consultez cette applet pour obtenir une intuition sur cette robustesse: http://onlinestatbook.com/stat_sim/robustness/index.html
Si vous êtes toujours préoccupé par la violation de l'hypothèse de normalité, vous voudrez peut-être démarrer . par exemple, http://biostat.mc.vanderbilt.edu/wiki/pub/Main/JenniferThompson/ms_mtg_18oct07.pdf
Vous pouvez également transformer la variable dépendante asymétrique pour résoudre les problèmes d'écarts par rapport à la normalité.

— Jeromy Anglim
source

2

+1 réponse agréable et claire. Jeromy, puis-je poser une question sur le point 3? Je comprends le raisonnement derrière la transformation des données, mais quelque chose me dérangeait toujours de le faire. Quelle est la validité du rapport des résultats du test t sur les données transformées aux données non transformées (où vous n'êtes pas "autorisé" à faire un test t)? En d'autres termes, si deux groupes sont différents lorsque les données sont, par exemple, transformées en journaux, sur quelles bases pouvez-vous dire que les données brutes sont également différentes? Attention, je ne suis pas statisticien, alors peut-être que je viens de dire quelque chose d'absolument stupide :)

— nico

2

@nico Je ne sais pas comment rapporter ou penser aux résultats, mais si tout ce que vous voulez montrer, c'est que pour certains X et Y, mu_X! = mu_Y, il devrait être vrai que pour tous les X_i <X_j, log ( X_i) <log (X_j) et pour tous X_i> X_j, log (X_i)> log (X_j). C'est pourquoi pour les tests non paramétriques qui fonctionnent avec des rangs, les transformations des données n'affectent pas le résultat. Je pense que d'après cela, vous pouvez supposer que si un test montre que mu_log (X)! = Mu_log (Y), alors mu_X! = Mu_Y.

— JoFrhwld

merci pour la réponse (s). en effet, le test t semble maintenir le taux nominal de type I sous une entrée légèrement asymétrique / kurtotique. cependant, j'espérais quelque chose de plus puissant. re: 2, j'ai implémenté Wilcox ' trimpbet trimcibt, mais ils sont un peu trop lents pour faire mes tests de puissance, du moins à mon goût. re: 3, j'avais pensé à cette méthode, mais je m'intéresse à la moyenne des données non transformées (c'est-à-dire que je ne compare pas 2 RV avec un test t, auquel cas une transformation monotone conviendrait pour une comparaison basée sur le classement, comme l'a noté @JoFrhwld.)

— shabbychef

2

@nico Si la distribution de la population des résidus est la même dans deux groupes, alors j'imagine qu'à chaque fois qu'il y a une différence dans les moyennes de la population brute, il y aurait également des différences dans les moyennes des groupes d'une transformation préservant l'ordre. Cela dit, les valeurs de p et les intervalles de confiance auront tendance à changer légèrement selon que vous utilisez des données brutes ou des données transformées. En général, je préfère utiliser les transformations lorsqu'elles semblent être une métrique significative pour comprendre la variable (par exemple, l'échelle de Richter, les décibels, les journaux de comptes, etc.).

— Jeromy Anglim

3

Johnson (1978) donne une modification pour le $t$ -intervalles statistiques et de confiance qui est un bon point de départ pour mon problème. La correction est basée sur une expansion de Cornish-Fisher et utilise un biais d'échantillon.

Le «dernier et le plus grand» est dû à Ogaswara , avec des références à Hall et à d'autres.

— shabbychef
source

0

Je n'ai pas assez de réputation pour un commentaire, donc comme réponse: Jetez un oeil à ce calcul. Je pense que cela fournit une excellente réponse. En bref:

La performance asymptotique est beaucoup plus sensible aux écarts par rapport à la normalité sous forme d'asymétrie que sous forme de kurtosis ... Ainsi, le test t de Student est sensible à l'asymétrie mais relativement robuste contre les queues lourdes, et il est raisonnable d'utiliser un test pour normalité orientée vers des alternatives asymétriques avant d'appliquer le test t.

— Christoph
source