Test d'hypothèse de distribution - quel est l'intérêt de le faire si vous ne pouvez pas «accepter» votre hypothèse nulle?

Divers tests d'hypothèse, tels que le GOF, Kolmogorov-Smirnov, Anderson-Darling, etc., suivent ce format de base:$\chi^{2}$

$H_0$ : Les données suivent la distribution donnée.

$H_1$ : Les données ne suivent pas la distribution donnée.

Typiquement, on évalue l'affirmation selon laquelle certaines données données suivent une distribution donnée, et si l'on rejette , les données ne correspondent pas bien à la distribution donnée à un certain niveau .$H_0$$\alpha$

Mais que se passe-t-il si nous ne rejetons pas ? On m'a toujours enseigné qu'on ne peut pas "accepter" , donc en gros, nous ne prouvons pas de rejeter . Autrement dit, il n'y a aucune preuve que nous rejetons que les données suivent la distribution donnée.H 0 H $H_0$$H_0$$H_0$

Ainsi, ma question est, quel est l'intérêt d'effectuer de tels tests si nous ne pouvons pas conclure si les données suivent ou non une distribution donnée?

D'une manière générale (pas seulement pour la qualité des tests d'ajustement, mais dans de nombreuses autres situations), vous ne pouvez tout simplement pas conclure que la valeur nulle est vraie, car il existe des alternatives qui ne peuvent pas être distinguées de la valeur nulle à n'importe quelle taille d'échantillon.

Voici deux distributions, une normale standard (ligne continue verte) et une apparence similaire (90% normale normale et 10% bêta standardisée (2,2), marquées d'un trait pointillé rouge):

Le rouge n'est pas normal. Par exemple, , nous avons peu de chances de repérer la différence, nous ne pouvons donc pas affirmer que les données sont tirées d'une distribution normale - et si c'était à partir d'une distribution non normale comme la rouge à la place?$n=100$

De plus petites fractions de bêta normalisées avec des paramètres égaux mais plus grands seraient beaucoup plus difficiles à voir comme différentes d'une normale.

Mais étant donné que les données réelles sont presque jamais d' une certaine distribution simple, si nous avions un oracle parfait (ou efficacement infinies taille des échantillons), nous essentiellement toujours rejeter l'hypothèse que les données étaient d' une certaine forme distributive simple.

Comme l'a dit George Box , " Tous les modèles sont faux, mais certains sont utiles. "

Pensez, par exemple, à tester la normalité. Il se peut que les données proviennent en fait de quelque chose de proche de la normale, mais seront-elles jamais exactement normales? Ils ne le sont probablement jamais.

Au lieu de cela, le mieux que vous puissiez espérer avec cette forme de test est la situation que vous décrivez. (Voir, par exemple, l'article Les tests de normalité sont-ils essentiellement inutiles?, Mais il y a un certain nombre d'autres articles ici qui soulèvent des points connexes)

$F$

Considérez à nouveau l'image ci-dessus. La distribution rouge n'est pas normale, et avec un échantillon vraiment grand, nous pourrions rejeter un test de normalité basé sur un échantillon de celui-ci ... mais à une taille d'échantillon beaucoup plus petite, des régressions et deux échantillons t-tests (et de nombreux autres tests en outre) se comportera si bien qu’il sera inutile de s’inquiéter même un peu de cette non-normalité.

$\mu=\mu_0$

Vous pourriez être en mesure de spécifier certaines formes particulières de déviation et de regarder quelque chose comme le test d'équivalence, mais c'est un peu délicat avec l'ajustement car il y a tellement de façons pour une distribution d'être proche mais différente d'une hypothétique, et différente les formes de différence peuvent avoir des impacts différents sur l'analyse. Si l'alternative est une famille plus large qui inclut le nul comme cas spécial, le test d'équivalence a plus de sens (test exponentiel par rapport au gamma, par exemple) - et en effet, l'approche du "test bilatéral" est appliquée, et cela pourrait être un moyen de formaliser "assez près" (ou ce serait le cas si le modèle gamma était vrai, mais en fait, il serait lui-même pratiquement certain d'être rejeté par un test ordinaire de qualité de l'ajustement,

La qualité des tests d'ajustement (et souvent plus largement, les tests d'hypothèse) ne convient vraiment qu'à un éventail assez limité de situations. La question à laquelle les gens veulent habituellement répondre n'est pas si précise, mais un peu plus vague et plus difficile à répondre - mais comme l'a dit John Tukey, "Il vaut mieux une réponse approximative à la bonne question, qui est souvent vague, qu'une réponse exacte à la mauvaise question, qui peut toujours être précise. "

Des approches raisonnables pour répondre à la question la plus vague peuvent inclure des enquêtes de simulation et de rééchantillonnage pour évaluer la sensibilité de l'analyse souhaitée à l'hypothèse que vous envisagez, par rapport à d'autres situations qui sont également raisonnablement cohérentes avec les données disponibles.

$\varepsilon$

$P$-valeurs moins utiles qu'elles ne le paraissent. L'estimation est souvent une meilleure approche même dans l'évaluation de la qualité de l'ajustement. On peut utiliser la distance Kolmogorov-Smirnov comme mesure. Il est juste difficile de l'utiliser sans marge d'erreur. Une approche prudente prendrait la limite de confiance supérieure de la distance KS pour guider la modélisation. Cela conduirait (correctement) à beaucoup d'incertitude, ce qui pourrait conduire à conclure que le choix d'une méthode robuste est préférable en premier lieu. Dans cet esprit, et pour revenir à l'objectif initial, lorsque l'on compare la distribution empirique à plus de, disons, 2 formes paramétriques possibles, la vraie variance de la distribution ajustée finale n'a pas de meilleure précision que la fonction de distribution cumulative empirique. Donc, s'il n'y a pas de théorie du sujet pour conduire la sélection de la distribution,

Une opinion que je pense partagée par la plupart des gens est que le test d'hypothèse est une adaptation probabiliste du principe de falsification .

Si une hypothèse survit à des tentatives continues et sérieuses de la falsifier, alors elle a «fait ses preuves» et peut être provisoirement acceptée, mais elle ne peut jamais être établie de façon concluante.

$H_0$$H_0$$H_0$

Je pense que c'est un exemple parfait pour illustrer la différence entre le travail académique et la prise de décision pratique. Dans les milieux universitaires (où je suis), vous pouvez argumenter comme vous le souhaitez tant que cela est jugé raisonnable par les autres. Par conséquent, nous nous retrouvons essentiellement avec une barge argy sans fin, parfois circulaire, les uns avec les autres. En ce sens, cela permet aux gens de travailler.

Cependant, si vous êtes effectivement en mesure de prendre des décisions, la réponse est définitivement oui ou non. L'indécision nuira à votre réputation de décideur. Bien sûr, faire un choix implique non seulement des statistiques mais aussi parfois un élément de pari et de saut de foi. En résumé, ce type d'exercice est dans une certaine mesure utile pour la prise de décision. Cependant, le fait de se fier uniquement à ce test d'hypothèse est une tout autre histoire.

Le fait est que d'un point de vue purement statistique, vous ne pouvez pas accepter , mais en pratique vous le faites. Par exemple, si vous estimez le risque d'un portefeuille à l'aide de la valeur à risque ou de mesures similaires, la distribution du rendement du portefeuille est très importante. En effet, le risque est défini par la queue de votre distribution.

Dans les cas de manuels, la distribution normale est souvent utilisée pour des exemples. Cependant, si les rendements de votre portefeuille ont de grosses queues (ce qu'ils font souvent), l'approximation de la distribution normale sous-estimera les risques. Par conséquent, il est important d'examiner les retours et de décider si vous allez utiliser une approximation normale ou non. Remarque, cela ne signifie pas nécessairement l'exécution de tests statistiques, il peut s'agir de parcelles QQ ou d'autres moyens. Cependant, vous devez prendre une décision à un moment donné sur la base de l'analyse des rendements et de vos modèles de rendement, et utiliser normalement ou non.

Par conséquent, à toutes fins pratiques, ne pas rejeter signifie vraiment accepter, mais pas au sens statistique strict. Vous allez accepter la normale et l' utiliser dans vos calculs, qui seront présentés au quotidien la haute direction, à vos régulateurs, auditeurs , etc. Le rejettent pas dans ce cas a des conséquences dans tous les sens, il est aussi ou plus puissant que le résultat statistique stupide.

Aucun accusé devant un tribunal n'est jamais innocent. Ils sont soit coupables (rejeter l'hypothèse nulle d'innocent) soit non coupables (ne pas rejeter la présomption d'innocence).

L'absence de preuves n'est pas une preuve d'absence.

Ainsi, ma question est, quel est l'intérêt d'effectuer de tels tests si nous ne pouvons pas conclure si les données suivent ou non une distribution donnée?

Si vous avez en tête une distribution alternative (ou un ensemble de distributions) à comparer, cela peut être un outil utile.

Je dirais: j'ai sous la main un ensemble d'observations qui, je pense, peuvent être normalement distribuées. (Je pense que oui parce que j'ai vu des observations d'un caractère similaire qui, selon moi, suivaient sensiblement la courbe normale.) Je pense également qu'elles peuvent ne pas suivre la courbe normale mais une courbe régulière non normale. (Je pense que cela peut être dû au fait que j'ai vu des corps de données comme celui-ci qui ne suivent pas la courbe normale mais qui étaient, par exemple, asymétriques, etc.) 3 Je fais ensuite une enquête le long des lignes suivantes: si les observations provenir d'une distribution normale, à quelle fréquence un tel khi carré que j'ai obtenu se produirait-il? La conclusion est: "Assez rarement - seulement deux fois sur cent." Je fais ensuite une enquête, non déclarée et non calculée, mais je crois absolument nécessaire pour l'achèvement d'un argument valable, comme suit: Si la distribution n'est pas normale, cette expérience, jugée par une différence khi carré, se produirait assez fréquemment. (Tout ce que j'ai à faire est d'imaginer que la courbe non normale a le caractère asymétrique observé de la distribution.) Je rejette donc l'hypothèse normale sur le principe que j'accepte celle d'hypothèses considérées alternatives sur lesquelles l'événement vécu serait plus fréquent. Je dis que le rejet de l'hypothèse nulle n'est valable que sur la volonté d'accepter une alternative (cette alternative n'est pas nécessairement définie précisément à tous égards). ). Je rejette donc l'hypothèse normale sur le principe que j'accepte celle d'hypothèses alternatives envisagées sur lesquelles l'événement vécu serait plus fréquent. Je dis que le rejet de l'hypothèse nulle n'est valable que sur la volonté d'accepter une alternative (cette alternative n'est pas nécessairement définie précisément à tous égards). ). Je rejette donc l'hypothèse normale sur le principe que j'accepte celle d'hypothèses alternatives envisagées sur lesquelles l'événement vécu serait plus fréquent. Je dis que le rejet de l'hypothèse nulle n'est valable que sur la volonté d'accepter une alternative (cette alternative n'est pas nécessairement définie précisément à tous égards).

Or, le raisonnement que j'ai décrit, par opposition à ce que j'ai décrit comme le plus habituel, expliquerait pourquoi ma décision diffère de celle de routine dans les troisième et quatrième cas.

En ce qui concerne le troisième cas, après avoir essayé le test du chi carré, je suis parvenu à la conclusion que, dans l'hypothèse d'une absence de différence par rapport à la normalité, une distribution avec un chi carré si grand aurait rarement lieu. Jusqu'à présent, nous sommes exactement dans la même position que nous étions à ce stade dans le deuxième cas. Mais maintenant, laissez-moi examiner la probabilité que cette expérience se produise si l'approvisionnement initial était régulier et non normal. Cette expérience se produirait-elle plus fréquemment? Il n'y a aucune raison de le dire. La distribution est parfaitement symétrique, c'est-à-dire que l'asymétrie est nulle (il y avait exactement 50% des cas de chaque côté de la moyenne), et un examen rapide des différences par rapport aux fréquences attendues dans les différentes classes montre qu'elles ne sont pas systématiques. thématique, c.-à-d. les écarts plus et les écarts moins alternent dans un ordre aléatoire. Une telle distribution n'est pas à prévoir fréquemment à partir d'une courbe non normale plausible. Nous n'avons donc aucune raison de rejeter la courbe normale.

À mon avis, il n'y a jamais de raison valable de rejeter l'hypothèse nulle, sauf sur la volonté d'en adopter une autre.

Quelques difficultés d'interprétation rencontrées dans l'application du test du chi carré. Joseph Berkson. Journal de l'American Statistical Association. Vol. 33, n ° 203 (sept. 1938), pp. 526-536