Donc, cela peut être une question courante, mais je n'ai jamais trouvé de réponse satisfaisante.

Comment déterminez-vous la probabilité que l'hypothèse nulle soit vraie (ou fausse)?

Supposons que vous offriez aux élèves deux versions différentes d'un test et que vous vouliez voir si les versions étaient équivalentes. Vous effectuez un test t et il donne une valeur de p de 0,02. Quelle belle valeur p! Cela doit signifier qu'il est peu probable que les tests soient équivalents, non? Non. Malheureusement, il semble que P (résultats | null) ne vous indique pas P (null | résultats). La chose normale à faire est de rejeter l'hypothèse nulle lorsque nous rencontrons une faible valeur de p, mais comment savons-nous que nous ne rejetons pas une hypothèse nulle qui est très probablement vraie? Pour donner un exemple idiot, je peux concevoir un test pour Ebola avec un taux de faux positifs de 0,02: mettez 50 boules dans un seau et écrivez «Ebola» sur une. Si je teste quelqu'un avec cela et qu'il choisit la balle «ebola», la valeur de p (P (choisir la balle | ils n'ont pas d'ebola)) est 0,02,

Les choses que j'ai considérées jusqu'à présent:

1. En supposant que P (null | résultats) ~ = P (résultats | null) - clairement faux pour certaines applications importantes.
2. Accepter ou rejeter une hypothèse sans connaître P (null | résultats) - Pourquoi les acceptons-nous ou les rejetons-nous alors? N'est-ce pas tout le point que nous rejetons ce que nous pensons être vraisemblablement faux et acceptons ce qui est vraisemblablement vrai?
3. Utilisez le théorème de Bayes - Mais comment obtenez-vous vos prieurs? Ne vous retrouvez-vous pas au même endroit en essayant de les déterminer expérimentalement? Et les choisir a priori semble très arbitraire.
4. J'ai trouvé une question très similaire ici: stats.stackexchange.com/questions/231580/. La seule réponse ici semble dire essentiellement que cela n'a pas de sens de poser des questions sur la probabilité qu'une hypothèse nulle soit vraie car c'est une question bayésienne. Je suis peut-être un bayésien dans l'âme, mais je ne peux pas imaginer ne pas poser cette question. En fait, il semble que l'incompréhension la plus courante des valeurs de p soit qu'elles soient la probabilité d'une vraie hypothèse nulle. Si vous ne pouvez vraiment pas poser cette question en tant que fréquentateur, alors ma principale question est # 3: comment obtenez-vous vos priors sans vous coincer dans une boucle?

Edit: Merci pour toutes les réponses réfléchies. Je veux aborder quelques thèmes communs.

1. Définition de la probabilité: je suis sûr qu'il y a beaucoup de littérature à ce sujet, mais ma conception naïve est quelque chose comme "la croyance qu'un être parfaitement rationnel aurait donné l'information" ou "les cotes de paris qui maximiseraient le profit si la situation a été répété et les inconnues ont pu varier ".
2. Peut-on jamais connaître P (H0 | résultats)? Certes, cela semble être une question difficile. Je crois cependant que chaque probabilité est théoriquement connaissable, car la probabilité est toujours conditionnelle à l'information donnée. Chaque événement se produira ou ne se produira pas, donc la probabilité n'existe pas avec des informations complètes. Elle n'existe que lorsque les informations sont insuffisantes, elle doit donc être connue. Par exemple, si on me dit que quelqu'un a une pièce de monnaie et qu'on me demande la probabilité d'avoir des têtes, je dirais 50%. Il peut arriver que la pièce pèse 70% des têtes, mais je n'ai pas reçu cette information, donc la probabilité était de 50% pour les informations que je possédais, tout comme si elle atterrissait sur la queue, la probabilité était de 70% têtes quand j'ai appris cela. La probabilité étant toujours conditionnée à un ensemble de données (insuffisantes),
   Edit: "Always" peut être un peu trop fort. Il peut y avoir des questions philosophiques pour lesquelles nous ne pouvons pas déterminer la probabilité. Pourtant, dans des situations réelles, alors que nous ne pouvons «presque jamais» avoir une certitude absolue, il devrait «presque toujours» y avoir une meilleure estimation.

Vous avez certainement identifié un problème important et le bayésianisme est une tentative pour le résoudre. Vous pouvez choisir un préalable non informatif si vous le souhaitez. Je laisserai les autres approfondir l'approche de Bayes.

Cependant, dans la grande majorité des cas, vous savezle nul est faux dans la population, vous ne savez tout simplement pas l'ampleur de l'effet. Par exemple, si vous faites une hypothèse totalement ridicule - par exemple que le poids d'une personne est lié à la question de savoir si son SSN est impair ou pair - et que vous parvenez d'une manière ou d'une autre à obtenir des informations précises de l'ensemble de la population, les deux moyens ne seront pas exactement égaux. Ils différeront (probablement) d'un montant insignifiant, mais ils ne correspondront pas exactement. «Si vous suivez cette voie, vous mettrez moins l'accent sur les valeurs de p et les tests de signification et passerez plus de temps à examiner l'estimation de la taille de l'effet et sa précision. Donc, si vous avez un très grand échantillon, vous pourriez constater que les personnes avec un SSN impair pèsent 0,001 livres de plus que les personnes avec même SSN, et que l'erreur standard pour cette estimation est de 0,000001 livres, donc p <0,05 mais personne ne devrait s'en soucier.

Pour répondre à cette question, vous devez définir la probabilité. Cela est dû au fait que l'hypothèse nulle est soit vraie (sauf qu'elle ne l'est presque jamais lorsque l'on considère des hypothèses nulles point), soit fausse. Une définition est que ma probabilité décrit ma croyance personnelle quant à la probabilité que mes données proviennent de cette hypothèse par rapport à la probabilité que mes données proviennent des autres hypothèses que je considère. Si vous partez de ce cadre, votre préalable est simplement votre croyance basée sur toutes vos informations précédentes mais à l'exclusion des données à portée de main.

L'idée clé est que, en gros, vous pouvez montrer empiriquement que quelque chose est faux (juste fournir un contre-exemple), mais vous ne pouvez pas montrer que quelque chose est vraiment vrai (vous devrez tester "tout" pour montrer qu'il n'y a pas de contre-exemples).

La falsifiabilité est la base de la méthode scientifique: vous supposez qu'une théorie est correcte, et vous comparez ses prédictions à ce que vous observez dans le monde réel (par exemple, la théorie gravitationnelle de Netwon était considérée comme "vraie", jusqu'à ce qu'il soit découvert qu'elle ne fonctionne pas trop bien dans des circonstances extrêmes).

C'est aussi ce qui se passe dans le test d'hypothèse: lorsque P (résultats | null) est faible, les données contredisent la théorie (ou vous n'avez pas eu de chance), il est donc logique de rejeter l'hypothèse nulle. En fait, supposons que null est vrai, alors P (null) = P (null | results) = 1, donc la seule façon dont P (results | null) est faible est que P (results) soit faible (malchance).

En revanche, lorsque P (résultats | null) est élevé, qui sait. Peut-être que null est faux, mais P (résultat) est élevé, auquel cas vous ne pouvez vraiment rien faire, en plus de concevoir une meilleure expérience.

Permettez-moi de répéter: vous ne pouvez que montrer que l'hypothèse nulle est (probablement) fausse. Je dirais donc que la réponse est la moitié de votre deuxième point: vous n'avez pas besoin de connaître P (null | results) lorsque P (results | null) est faible afin de rejeter null, mais vous ne pouvez pas dire que null est vrai, il P (résultats | null) est élevé.

C'est aussi pourquoi la reproductibilité est très importante: il serait suspect d'être malchanceux cinq fois sur cinq.

-------------------------------------------------- ---------------------

(modifier: je pense qu'il serait utile de mettre une version de mon commentaire à cette question en haut dans cette réponse, car elle est beaucoup plus courte)

Le calcul non symétrique de p (a | b) se produit lorsqu'il est considéré comme une relation causale, comme p (hypothèse de résultat). Ce calcul ne fonctionne pas dans les deux sens: une hypothèse provoque une distribution des résultats possibles, mais un résultat ne provoque pas une distribution des hypothèses.

P (résultat | hypothèse) est la valeur théorique basée sur l'hypothèse de la relation de causalité -> résultat.

Si p (a | b) exprime une corrélation, ou une fréquence observée (pas nécessairement une relation causale), alors elle devient symétrique. Par exemple, si nous notons le nombre de matchs qu'une équipe sportive gagne / perd et le nombre de matchs qu'une équipe sportive marque moins ou égal à / plus de 2 buts dans un tableau de contingence. Alors P (victoire | score> 2) et P (score> 2 | victoire) sont des objets expérimentaux / observationnels (non théoriques) similaires.

-------------------------------------------------- -------------------

Très simpliste

L'expression P (résultat | hypothèse) semble si simple qu'elle fait penser facilement que l'on peut simplement inverser les termes. Cependant, le «résultat» est une variable stochastique, avec une distribution de probabilité (compte tenu de l'hypothèse). Et «l'hypothèse» n'est pas (typiquement) une variable stochastique. Si nous faisons de «l'hypothèse» une variable stochastique, cela implique une distribution de probabilité de différentes hypothèses possibles, de la même manière que nous avons une distribution de probabilité de résultats différents. (mais les résultats ne nous donnent pas cette distribution de probabilité d'hypothèse, et changent simplement la distribution, au moyen du théorème de Bayes)

Un exemple

Supposons que vous ayez un vase avec des billes rouges / bleues dans un rapport 50/50 à partir duquel vous tirez 10 billes. Ensuite, vous pouvez facilement exprimer quelque chose comme P (résultat | expérience en vase), mais cela n'a pas de sens d'exprimer P (expérience en vase | résultat). Le résultat n'est pas (à lui seul) la distribution de probabilité des différentes expériences possibles en vase.

Si vous avez plusieurs types d'expériences possibles en vase, dans ce cas, il est possible d'utiliser express quelque chose comme P (type d'expérience en vase) et d'utiliser la règle de Bayes pour obtenir un P (type d'expérience en vase | résultat), car maintenant le type de l'expérience en vase est une variable stochastique. (note: plus précisément c'est P (type d'expérience en vase | résultat & distribution du type d'expériences en vase))

Pourtant, ce P (type d'expérience en vase | résultat) nécessite une (méta-) hypothèse sur une distribution initiale P donnée (type d'expérience en vase).

Intuition

peut-être que l'expression ci-dessous aide à comprendre la seule direction

X) Nous pouvons exprimer la probabilité de X étant donné une hypothèse sur X.

Donc

1) Nous pouvons exprimer la probabilité des résultats à partir d'une hypothèse sur les résultats.

et

2) On peut exprimer la probabilité d'une hypothèse à partir d'une (méta) hypothèse sur ces hypothèses.

C'est la règle de Bayes qui nous permet d'exprimer un inverse de (1) mais nous avons besoin de (2) pour cela, l'hypothèse doit être une variable stochastique.

Le rejet comme solution

On ne peut donc pas obtenir une probabilité absolue pour une hypothèse compte tenu des résultats. C'est un fait de la vie, essayer de lutter contre ce fait semble être à l'origine de ne pas trouver de réponse satisfaisante. La solution pour trouver une réponse satisfaisante est: accepter que vous ne pouvez pas obtenir une probabilité (absolue) pour une hypothèse.

Frequentists

De la même manière que de ne pas pouvoir accepter une hypothèse, nous ne devons pas non plus (automatiquement) rejeter l'hypothèse lorsque P (résultat | hypothèse) est proche de zéro. Cela signifie seulement qu'il existe des preuves qui soutiennent le changement de nos croyances et cela dépend aussi de P (résultat) et P (hypothèse) comment nous devons exprimer nos nouvelles croyances.

Lorsque les fréquentistes ont un schéma de rejet, c'est bien. Ce qu'ils expriment n'est pas la question de savoir si une hypothèse est vraie ou fausse, ni la probabilité de tels cas. Ils ne sont pas en mesure de le faire (sans prieurs). Ce qu'ils expriment plutôt, c'est quelque chose au sujet du taux d'échec (confiance) de leur méthode (étant donné que certaines hypothèses sont vraies).

Omniscient

Une façon de sortir de tout cela est d'éliminer le concept de probabilité. Si vous observez la population entière de 100 billes dans le vase, vous pouvez exprimer certaines déclarations sur une hypothèse. Donc, si vous devenez omniscient et que le concept de probabilité n'est pas pertinent, vous pouvez indiquer si une hypothèse est vraie ou non (bien que la probabilité soit également hors de l'équation)