Clarification sur l'interprétation des intervalles de confiance?


47

Ma compréhension actuelle de la notion "intervalle de confiance avec le niveau de confiance 1α " est que, si nous essayions de calculer plusieurs fois cet intervalle (chaque fois avec un nouvel échantillon), il contiendrait le paramètre correct 1α de l'heure.

Bien que je me rende compte que ce n’est pas la même chose que "la probabilité que le vrai paramètre se situe dans cet intervalle", il ya une chose que je veux clarifier.

[Mise à jour majeure]

Avant de calculer un intervalle de confiance de 95%, il existe une probabilité de 95% que l'intervalle calculé couvre le vrai paramètre. Après avoir calculé l'intervalle de confiance et obtenu un intervalle particulier [a,b] , nous ne pouvons plus le dire. Nous ne pouvons même pas avancer une sorte d'argument non fréquentiste selon lequel nous sommes sûrs à 95% que le véritable paramètre réside dans [une,b] ; car si nous le pouvions, cela contredirait des contre-exemples tels que celui-ci: qu'est- ce qu'un intervalle de confiance?

Je ne veux pas en faire un débat sur la philosophie de la probabilité; Au lieu de cela, je cherche une explication mathématique précise du comment et du pourquoi voir l'intervalle particulier [une,b] change (ou ne change pas) la probabilité de 95% que nous avions avant de voir cet intervalle. Si vous affirmez que « après avoir vu l'intervalle, la notion de probabilité n'a plus de sens », alors tout va bien, nous allons travailler dans une interprétation de la probabilité dans laquelle il ne a du sens.

Plus précisément:

Supposons que nous programmions un ordinateur pour calculer un intervalle de confiance de 95%. L'ordinateur effectue des calculs, calcule un intervalle et refuse de me montrer l'intervalle jusqu'à ce que je saisisse un mot de passe. Avant d'avoir saisi le mot de passe et vu l'intervalle (mais une fois que l'ordinateur l'a déjà calculé), quelle est la probabilité que l'intervalle contienne le vrai paramètre? C'est 95%, et cette partie n'est pas à débattre : c'est l'interprétation de la probabilité qui m'intéresse pour cette question particulière (je réalise que d'importants problèmes philosophiques que je supprime sont intentionnels).

Mais dès que je saisis le mot de passe et que l'ordinateur me montre l'intervalle qu'il a calculé, la probabilité (que l'intervalle contienne le paramètre vrai) peut changer. Toute affirmation selon laquelle cette probabilité ne changerait jamais serait en contradiction avec le contre-exemple ci-dessus. Dans ce contre-exemple, la probabilité pourrait passer de 50% à 100%, mais ...

  • Existe-t-il des exemples où la probabilité passe à autre chose que 100% ou 0% (EDIT: et si oui, quels sont-ils)?

  • Existe-t-il des exemples où la probabilité ne change pas après avoir vu l'intervalle particulier [une,b] (c'est-à-dire que la probabilité que le paramètre réel se situe dans [une,b] est toujours de 95%)?

  • Comment (et pourquoi) la probabilité change-t-elle en général après avoir vu l'ordinateur cracher ?[une,b]

[Modifier]

Merci pour toutes les bonnes réponses et discussions utiles!


1
Cela peut fournir quelques points intéressants: en.wikipedia.org/wiki/Credible_interval
nico

Vos suppositions que P (E | C) = 1 et P (E | C ') = 0 sont injustifiées. Pourquoi dites-vous que si l'intervalle actuel ne contient pas la vraie valeur de paramètre, celle-ci est sûrement en dehors de celle-ci?
vitreux

Je ne suis pas sûr de ce que vous entendez par "intervalle réel" ou "dernier". Pouvez-vous clarifier s'il vous plait?
Elliott

@nico Merci pour le lien. Le but de ma question initiale était "Mon argument semble montrer qu'un intervalle de confiance peut être interprété comme un intervalle crédible bayésien, mais ce n'est pas le cas, alors qu'est-ce qui ne va pas dans mon raisonnement". Mais je dois admettre que je ne suis pas satisfait de la notion "la probabilité que l'intervalle contienne le paramètre vrai [inconnu] est 0 ou 1". Pour moi, cela revient à dire "la probabilité que la pièce touche la tête après l'avoir retournée mais avant de l'avoir examinée est de 0 ou 1"; Je ne vois pas pourquoi ce n'est pas 1/2.
Elliott

@ Elliot: le chat de Schrödinger vient à l'esprit :) Je ne suis pas assez expert pour vous donner une explication appropriée, mais j'aimerais beaucoup voir une réponse à cette question. PS: et n'oublions pas que la pièce peut aussi tomber sur le bord!
nico

Réponses:


28

Je pense que le problème fondamental est que les statistiques fréquentistes ne peuvent attribuer une probabilité qu'à quelque chose qui peut avoir une fréquence à long terme. Que la valeur vraie d'un paramètre se situe dans un intervalle particulier ou non, sa fréquence est longue, car nous ne pouvons effectuer l'expérience qu'une seule fois et vous ne pouvez donc pas lui affecter une probabilité fréquentiste. Le problème provient de la définition d'une probabilité. Si vous changez la définition d'une probabilité en bayésienne, le problème disparaît instantanément car vous n'êtes plus lié à une discussion sur les fréquences à long terme.

Voir ma réponse (plutôt bavarde dans les joues) à une question connexe ici :

" Un Frequentist est quelqu'un qui croit que les probabilités représentent des fréquences à long terme avec lesquelles se produisent des événements; s'il le faut, il inventera une population fictive à partir de laquelle votre situation particulière pourrait être considérée comme un échantillon aléatoire afin qu'il puisse parler de manière significative de fréquences à long terme. Si vous lui posez une question sur une situation particulière, il ne donnera pas de réponse directe, mais fera plutôt une déclaration sur cette population (peut-être imaginaire). "

Dans le cas d'un intervalle de confiance, la question que nous aimerions poser normalement (à moins que nous ayons un problème de contrôle de la qualité, par exemple) est "étant donné que cet échantillon de données renvoie le plus petit intervalle contenant la valeur vraie du paramètre avec probabilité X". Cependant, un fréquentiste ne peut pas faire cela car l'expérience n'est effectuée qu'une seule fois et il n'y a donc pas de fréquences de longue durée pouvant être utilisées pour attribuer une probabilité. Au lieu de cela, le fréquentiste doit inventer une population d'expériences (que vous n'avez pas réalisées) à partir desquelles l'expérience que vous avez effectuée peut être considérée comme un échantillon aléatoire. Le fréquentiste vous donne alors une réponse indirecte à propos de cette population fictive d'expériences, plutôt qu'une réponse directe à la question que vous vouliez vraiment poser à propos d'une expérience particulière.

Il s’agit essentiellement d’un problème de langage; la définition fréquentiste du peuplement ne permet tout simplement pas de discuter de la probabilité que la valeur vraie d’un paramètre soit comprise dans un intervalle donné. Cela ne signifie pas que les statistiques fréquentistes sont mauvaises ou inutiles, mais il est important de connaître les limites.

Concernant la mise à jour majeure

Je ne suis pas sûr que nous puissions dire qu '"avant de calculer un intervalle de confiance à 95%, il existe une probabilité de 95% que l'intervalle calculé couvre le vrai paramètre". dans un cadre fréquentiste. Il en découle implicitement que la fréquence à long terme avec laquelle la valeur vraie du paramètre se situe dans les intervalles de confiance construits par une méthode particulière est également la probabilité que la valeur vraie du paramètre se situe dans l'intervalle de confiance de l'échantillon en question des données que nous allons utiliser. Il s’agit d’une inférence parfaitement raisonnable, mais c’est une inférence bayésienne et non fréquentielle, car la probabilité que la vraie valeur du paramètre se situe dans l’intervalle de confiance que nous construisons pour un échantillon particulier de données n’a pas de fréquence de longue durée, car nous n'avons qu'un échantillon de données.

Nous pouvons cependant "avancer une sorte d'argument non fréquentiste selon lequel nous sommes sûrs à 95% que le véritable paramètre réside dans [a, b]", c'est exactement ce qu'est un intervalle crédible bayésien et, pour de nombreux problèmes, l'intervalle crédible bayésien. coïncide exactement avec l’intervalle de confiance fréquentiste.

"Je ne veux pas en faire un débat sur la philosophie de la probabilité", malheureusement, c'est inévitable, la raison pour laquelle vous ne pouvez pas attribuer une probabilité fréquentiste au fait que la valeur réelle de la statistique réside dans l'intervalle de confiance en est une conséquence directe. de la philosophie fréquentiste de la probabilité. Les fréquentistes ne peuvent attribuer des probabilités qu'à des choses pouvant avoir des fréquences à long terme, car c'est ainsi que les fréquentistes définissent la probabilité dans leur philosophie. Cela ne rend pas la philosophie fréquentiste erronée, mais il est important de comprendre les limites imposées par la définition d'une probabilité.

"Avant d'avoir saisi le mot de passe et vu l'intervalle (mais après que l'ordinateur l'ait déjà calculé), quelle est la probabilité que l'intervalle contienne le paramètre true? C'est 95%, et cette partie n'est pas à débattre:" est inexact, ou du moins en faisant une telle déclaration, vous vous êtes écarté du cadre des statistiques fréquentistes et vous avez fait une inférence bayésienne impliquant un degré de vraisemblance dans la vérité d'une déclaration, plutôt qu'une fréquence de longue durée. Cependant, comme je l’ai dit plus tôt, cette inférence est parfaitement raisonnable et naturelle.

Rien n'a changé avant ou après la saisie du mot de passe, car on peut attribuer à un événement niether une probabilité fréquentiste. Les statistiques fréquentistes peuvent être plutôt contre-intuitives, car nous voulons souvent poser des questions sur le degré de plausibilité des déclarations relatives à des événements particuliers, mais cela n’est pas du ressort des statistiques fréquentistes et est à l’origine de la plupart des interprétations erronées de procédures fréquentistes.


2
Oui, c'est bien ce que je veux dire, la deuxième déclaration n'est pas en réalité une déclaration sur cette pièce en particulier. C'est une affirmation sur une population imaginaire de pièces que la plupart des gens interprètent à tort comme une affirmation à propos de notre pièce. Cependant, en faisant ce saut, nous appliquons l'intuition bayésienne sur la probabilité et ignorons ce qu'est un intervalle de confiance. Il n’est pas difficile d’attribuer une probabilité à l’état de la pièce, à condition de s’éloigner de la définition fréquentiste de la probabilité.
Dikran Marsupial

2
Pour clarifier, dire que "imaginez plusieurs exemples distincts du début des temps; vous vous attendriez à ce qu'environ la moitié de ceux-ci produisent des têtes" est un raisonnement fréquentiste parfaitement correct. Cependant, pour passer de là à "donc la probabilité que cette pièce particulière soit également égale à 0,5" n’est pas telle qu’elle est appliquée à quelque chose qui n’a pas une fréquence à long terme car elle ne peut se produire qu’une fois et une fois. Cependant, le raisonnement bayésien est parfaitement logique, car une probabilité bayésienne est une déclaration sur la plausibilité d’une proposition (qui peut être basée sur une fréquence à long terme au sein d’une population).
Dikran Marsupial

1
Sa réponse aux deux questions serait en réalité une déclaration sur la proportion d'une population imaginaire de pièces de monnaie qui feraient tomber des têtes. Mais il est probable que cela ne soit pas explicite, car les gens aiment généralement être utiles (les réponses indirectes ne sont généralement pas aussi utiles), et les statistiques fréquentistes sont plutôt contre-intuitives et le fréquentiste risque de contourner ce point pour éviter confusion. S'il est déterminé à faire une déclaration probabiliste à propos d'un retournement particulier, un bon fréquentiste refusera simplement de répondre - cela ne relève pas des statistiques fréquentistes.
Dikran Marsupial

1
Essentiellement, le fréquentiste ne répondrait pas à votre question, il ferait une déclaration sur une population de lancers de pièces et vous laisserait en déduire que la probabilité d'une tête sur ce retournement était la même que la proportion dans la population implicite . Mais ce serait votre inférence bayésienne, pas la sienne.
Dikran Marsupial

1
@Aaron Bien sûr, vous pourriez dire "la probabilité est soit 0, soit 1" pour beaucoup de choses, mais cette réponse ne nous rapporte absolument rien (par exemple, si nous voulons répondre à une question concrète sur le montant à parier sur un jeu ou si ou non nous devrions lancer une navette spatiale). En outre, les choses qui "pourraient arriver" sont les suivantes: (1) la pièce a atterri têtes et vous l'avez couverte, (2) la pièce a atterri queues et vous l'avez couverte; dans une "population imaginaire" composée de nombreux essais "renversant et couvrant", environ 50% vous font voir la tête.
Elliott

14

Mise à jour majeure, nouvelle réponse majeure. Permettez-moi d’essayer de traiter clairement ce point, car c’est là que réside le problème:

"Si vous affirmez qu'après" avoir vu l'intervalle, la notion de probabilité n'a plus de sens ", alors très bien, travaillons dans une interprétation de la probabilité dans laquelle elle a un sens."

Les règles de probabilité ne changent pas, mais votre modèle pour l'univers le fait. Êtes-vous disposé à quantifier vos croyances antérieures sur un paramètre en utilisant une distribution de probabilité? Est-il raisonnable de mettre à jour cette distribution de probabilité après avoir vu les données? Si vous le pensez, vous pouvez faire des affirmations comme . Ma distribution antérieure peut représenter mon incertitude sur le véritable état de la nature , pas seulement le hasardP(θ[L(X),U(X)]|X=X)comme il est communément admis - c’est-à-dire que si j’assigne une distribution préalable au nombre de boules rouges dans une urne, cela ne veut pas dire que je pense que le nombre de boules rouges est aléatoire. C'est réparé, mais je suis incertain à ce sujet.

Plusieurs personnes, dont celle que j'ai déjà dite, mais si vous n'êtes pas disposé à appeler une variable aléatoire, alors l'instruction P ( θ [ L ( X ) , U ( X ) ] | X = x ) n'a pas de sens. Si je suis fréquentiste, je traite θ comme une quantité fixe ET je ne peux pas lui attribuer une distribution de probabilité. Pourquoi? Parce que c'est fixe, et mon interprétation de la probabilité est en termes de fréquences à long terme. Le nombre de boules rouges dans l'urne ne change jamais. θ est ce que θθP(θ[L(X),U(X)]|X=X)θθθest. Si je tire quelques balles alors j'ai un échantillon aléatoire. Je peux demander ce qui se passerait si je prenais une série d’échantillons aléatoires - c’est-à-dire que je peux parler de car l’intervalle dépend de l’échantillon, qui est (attendez!) au hasard.P(θ[L(X),U(X)])

Mais tu ne veux pas ça. Vous voulez - quelle est la probabilité que cet intervalle que j'ai construit avec mon échantillon observé (et maintenant fixé) contient le paramètre. Cependant, une fois que vous avez conditionné sur X = x alors pour moi, un fréquentiste, il n’ya plus rien d’aléatoire et l’énoncé P ( θ [ L ( X ) , U ( X ) ] |P(θ[L(X),U(X)]|X=x)X=x n'a pas de sens de manière significative.P(θ[L(X),U(X)]|X=x)

La seule façon raisonnée (IMO) de formuler une déclaration sur consiste à quantifier notre incertitude concernant un paramètre avec une distribution de probabilité (antérieure) et à la mettre à jour. distribution avec de nouvelles informations via le théorème de Bayes. Toutes les autres approches que j'ai vues sont une approximation terne de Bayes. Vous ne pouvez certainement pas le faire dans une perspective fréquentiste.P(θ[L(X),U(X)]|X=x)

Cela ne veut pas dire que vous ne pouvez pas évaluer les procédures fréquentistes traditionnelles d'un point de vue bayésien (par exemple, les intervalles de confiance ne sont que des intervalles crédibles sous des a priori uniformes) ou que l'évaluation d'estimateurs bayésiens / d'intervalles crédibles d'un point de vue fréquentiste n'a pas de valeur. (Je pense que ça peut être). Cela ne veut pas dire que les statistiques classiques / fréquentistes sont inutiles, car elles ne le sont pas. C'est ce que c'est, et nous ne devrions pas essayer de le faire plus.

Pensez-vous qu'il soit raisonnable de donner à un paramètre une distribution préalable pour représenter vos croyances à propos de l'univers? Cela ressemble à vos commentaires que vous faites; D'après mon expérience, la plupart des gens seraient d'accord (c'est la petite demi-plaisanterie que j'ai faite dans mon commentaire à la réponse de @G. Jay Kerns). Si tel est le cas, le paradigme bayésien fournit un moyen logique et cohérent de formuler des affirmations sur . L'approche fréquentiste ne fait tout simplement pas.P(θ[L(X),U(X)]|X=x)


1
(+1) très bien fait, encore une fois, et place sur le point mort.

+1 Même commentaire que ci-dessus (voir la réponse de G. Jay Kerns); c'était vraiment utile.
Elliott

Bounty schmounty :) Je suis heureux que vous ayez trouvé cela utile.
JMS

11

OK, maintenant tu parles! J'ai voté pour supprimer ma réponse précédente car cela n'a aucun sens avec cette question mise à jour de façon majeure.

Dans cette nouvelle question mise à jour, avec un ordinateur qui calcule des intervalles de confiance à 95%, selon l'interprétation fréquentiste orthodoxe, voici les réponses à vos questions:

  1. Non.
  2. Non.
  3. Une fois que l'intervalle est observé, il n'est plus aléatoire et ne change pas. (Peut-être que l'intervalle était .) Mais θ ne change pas non plus, et n'a jamais changé. (Peut-être que c'est θ = 7. ) La probabilité passe de 95% à 0% car 95% des intervalles calculés par l'ordinateur couvrent 7, mais 100% des intervalles [ 1 , 3 ] NE couvrent PAS 7.[1,3]θθ=7[1,3]

(D'ailleurs, dans le monde réel, l'expérimentateur ne sait jamais que , ce qui signifie qu'il ne peut jamais savoir si la probabilité réelle [ 1 , 3 ] couvre θ est égal à zéro ou à un. (S) il ne peut dire que ce doit être l'un ou l'autre.) Cela, plus l'expérimentateur peut dire que 95% des intervalles de l'ordinateur couvrent θ , mais nous le savions déjà.θ=7[1,3]θθ

L'esprit de votre question ne cesse de faire allusion à la connaissance de l'observateur et à son lien avec l'emplacement de . (Vraisemblablement) est la raison pour laquelle vous parliez du mot de passe, sur l'ordinateur calculer l'intervalle sans votre voir encore, etc . Je l' ai vu dans vos commentaires aux réponses qu'il ne semble pas satisfaisante / inconvenant d'être obligé de commettre à 0 ou 1, après tout, pourquoi ne pourrions - nous pensons qu'il est de 87%, ou 15 / 16 , ou même 99% ?? ? Mais c’est exactement le pouvoir - et simultanément le talon d’Achille - du cadre fréquentiste: la connaissance / conviction subjective de l’observateur n’est pas pertinente. Tout ce qui compte, c'est une fréquence relative à long terme. Ni plus ni moins.θ15/16

Enfin, si vous modifiez votre interprétation de la probabilité (ce que vous avez décidé de ne pas faire pour cette question), les nouvelles réponses sont les suivantes:

  1. Oui.
  2. Oui.
  3. La probabilité change parce que probabilité = connaissance subjective ou degré de croyance et que la connaissance de l'observateur a changé. Nous représentons la connaissance avec des distributions antérieures / postérieures et, à mesure que de nouvelles informations deviennent disponibles, les premières se transforment en dernières (via la règle de Bayes).

(Mais pour une divulgation complète, la configuration que vous décrivez ne correspond pas très bien à l'interprétation subjective. Par exemple, nous avons généralement un intervalle de confiance crédible de 95% avant même d'allumer l'ordinateur, puis nous le mettons en marche et l'utilisons pour Nous avons un intervalle de confiance postérieur de 95%, ce qui est généralement considérablement plus maigre que le précédent.)


Encore! :) Bien joué.
JMS

3
Je devrais juste souligner que l’interprétation bayésienne de la probabilité n’est pas nécessairement subjective, ce qui n’est donc pas vraiment un point fort de l’approche fréquentiste. Dans le cas de l'approche objective bayésienne du "problème de la probabilité d'atterrissage d'une pièce de monnaie", l'utilisation d'un précédent non informatif n'implique aucune subjectivité. La force réelle de l’approche fréquentiste réside dans des problèmes tels que le contrôle de la qualité, où il est naturel de parler d’essais répétés et de fréquences longues. Cela ne pose de difficultés que lorsque vous posez des questions sur des événements particuliers.
Dikran Marsupial le

@ JMS, merci. @Dikran, il est difficile d'en parler avec 544 caractères dans une petite boîte à l'écran. Brièvement: je conviens avec vous que le mot "bayésien" n'est pas synonyme de "subjectif". Et il ne sert à rien d'essayer de déterminer la véritable force de l'une ou l'autre approche. En bout de ligne: nous pouvons tous nous entendre sur une fréquence relative à long terme, mais le plus souvent, votre postérieur sera différent du mien.

2
@Dikran Marsupial Vous faites valoir un point. J'ajouterais simplement qu'une fois les problèmes de jouets abordés dans la modélisation appliquée réelle, il arrive souvent que la subjectivité vraiment importante intervienne dans la manière dont nous spécifions la probabilité, pas nécessairement les distributions antérieures elles-mêmes (ces observations sont-elles vraiment échangeables? Gaussian? etc). De cette manière, la subjectivité est intégrée dans une grande partie des statistiques basées sur des modèles, bayésiennes et fréquentistes.
JMS

+1 Merci pour la belle réponse. Cela mérite assurément une prime, mais pour éviter d'être politique, je me suis retrouvé majoritaire.
Elliott

6

Je vais ajouter mes deux sous (peut-être en redessinant certaines des réponses précédentes). Pour un fréquentiste, l’intervalle de confiance lui-même est essentiellement une variable aléatoire à deux dimensions: si vous refaitiez l’expérience 1 fois plus d’un test, l’intervalle de confiance que vous estimeriez (par exemple: calculez chaque fois à partir de vos nouvelles données) varierait à chaque fois. . En tant que tel, les deux limites de l'intervalle sont des variables aléatoires.

Un IC à 95% ne signifie donc rien de plus que l’assurance (étant donné que toutes les hypothèses menant à cet IC sont correctes) que cet ensemble de variables aléatoires contiendra la valeur vraie (une expression très fréquentiste) dans 95% des cas.

Vous pouvez facilement calculer l'intervalle de confiance pour la moyenne de 100 tirages à partir d'une distribution normale standard. Ensuite, si vous tirez 10000 fois 100 valeurs de cette distribution normale standard et calculez à chaque fois l’intervalle de confiance de la moyenne, vous verrez en effet que 0 y figure environ 9500 fois.

Le fait que vous ayez créé un intervalle de confiance une seule fois (à partir de vos données réelles) réduit effectivement la probabilité que la valeur vraie se trouve dans cet intervalle à 0 ou 1, mais cela ne modifie pas la probabilité de l'intervalle de confiance. variable aléatoire pour contenir la valeur vraie.

Donc, ligne de fond: la probabilité qu'un intervalle de confiance (en moyenne) à 95% contenant la valeur vraie (95%) ne change pas, pas plus que la probabilité d'un intervalle particulier (IC ou autre) pour contenir la valeur vraie (0 ou 1). La probabilité de l'intervalle que l'ordinateur sait mais que vous ne connaissez pas est en fait 0 ou 1 (parce que c'est un intervalle particulier), mais puisque vous ne le connaissez pas (et, de manière fréquentiste, vous ne pouvez pas recalculer ce même intervalle infiniment de fois à partir des mêmes données), tout ce que vous avez à faire est la probabilité d’un intervalle.


Note latérale amusante: le vérificateur d'orthographe de ce site trouve le mot fréquentiste digne d'un soulignement frisé. Ce site est-il secrètement maîtrisé par les bayésiens? Oh, je suppose que ce n'est pas le cas, car les bayésiens ont leur propre soulignement frisé :-)
Nick Sabbe Le

4

La raison pour laquelle l'intervalle de confiance ne spécifie pas "la probabilité que le paramètre réel se situe dans l'intervalle" est due au fait qu'une fois l'intervalle spécifié, le paramètre est dans celui-ci ou non. Toutefois, pour un intervalle de confiance de 95%, par exemple, vous avez 95% de chances de créer un intervalle de confiance contenant la valeur. C'est un concept assez difficile à saisir, donc je ne l'articule peut-être pas bien. Voir http://frank.itlab.us/datamodel/node39.html pour plus de précisions.


2
Supposons que vous programmiez un ordinateur pour calculer un intervalle de confiance, mais que vous ne regardiez pas la sortie. Avant de voir la sortie, vous savez qu'il y a 95% de chances que l'intervalle contienne le bon paramètre (comme avant, vous avez vu le résultat d'un tirage, il y a 50% de chances de têtes). En quoi le fait de regarder la sortie par la suite modifie-t-il cette probabilité, étant donné que vous ne connaissez pas le bon paramètre en premier lieu (je conviens que regarder le résultat d'un tirage au sort modifie la probabilité d'une tête de 50% à l'une ou l'autre 1 ou 0)?
Elliott

En outre, bien que je convienne qu'il existe une distinction, je me demande ce qui ne va pas dans mon "argument" ci-dessus, montrant qu'il s'agit de la même chose.
Elliott

2
@ Elliott Vos questions semblent être les mêmes que cette analogie: vous lancez une pièce équitable. Ainsi, la probabilité de têtes est de 50%. Maintenant, vous regardez la pièce et ce sont les têtes. En quoi cela change-t-il la probabilité des têtes? La réponse est que ce n'est pas le cas, car la probabilité fait référence à la procédure de retournement des pièces, pas au résultat. Il me semble que le contre-exemple auquel vous faites référence fonctionne de la même manière: la procédure peut avoir 50% de chances de couvrir le paramètre, mais après coup, il a été possible de vérifier que le paramètre est bien couvert. Et alors?
whuber

Je ne parle pas de changer la probabilité qu'une bonne pièce soit une tête; au lieu de cela, je parle de changer la probabilité que cette pièce particulière devienne une tête. Après l'avoir retourné et avant de l'avoir examiné, je dirais que la probabilité en question est de 50%, car environ la moitié de ces cas impliquent une pièce avec tête haute. D'autre part, après l'avoir regardée et avoir vu des têtes, 100% de ces cas impliquent une pièce avec tête haute (les cas avec une queue relevée ont été éliminés lorsque j'ai regardé la pièce et que je n'ai pas vu la tête).
Elliott

Je conviens qu'après coup, il pourrait être possible de vérifier que le paramètre a été couvert. Ma réponse à "et alors?" est "donc mon argument ci-dessus (dans la question initiale) doit être faux, et je me demande ce qui ne va pas avec".
Elliott

4

Je ne pense pas qu'un fréquentiste puisse affirmer qu'il existe une probabilité que la valeur réelle (population) d'une statistique se situe dans l'intervalle de confiance d'un échantillon particulier. C’est le cas ou non, mais il n’ya pas de fréquence à long terme pour un événement particulier, mais uniquement la population d’événements que vous obtiendriez en effectuant de manière répétée une procédure statistique. C’est pourquoi nous devons nous en tenir à des affirmations telles que "95% des intervalles de confiance ainsi construits contiennent la valeur réelle de la statistique", mais pas "il existe une probabilité approximative que la valeur réelle se situe dans l’intervalle de confiance calculé pour ce paramètre particulier. échantillon". Ceci est vrai pour toute valeur de p, ce n'est tout simplement pas possible avec la définition fréquentiste de ce qu'est une probabilité. Un bayésien peut faire une telle déclaration en utilisant un intervalle crédible.


3

La façon dont vous posez le problème est un peu confuse. Prenons cette déclaration: Soit l'événement où le paramètre vrai est compris dans l'intervalle [ a , b ] . Cette déclaration n'a pas de sens d'un point de vue fréquentiste; le paramètre est le paramètre et il ne tombe nulle part, c'est juste. P (E) n'a pas de sens, P (E | C) n'a pas de sens et c'est pourquoi votre exemple s'effondre. Le problème n'est pas conditionné par un ensemble de mesure zéro non plus; le problème est que vous essayez de faire des déclarations de probabilité sur quelque chose qui n'est pas une variable aléatoire.E[a,b]

Un fréquentiste dirait quelque chose comme: Soit l'événement dans lequel l'intervalle ( L ( X ) , U ( X ) ) contient le paramètre vrai. C'est quelque chose qu'un fréquentiste peut assigner à une probabilité.E~(L(X),U(X))

Edit: @G. Jay Kerns rend l'argument meilleur que moi et tape plus vite, alors allez-y probablement :)


Merci, je vois pourquoi un fréquentiste refuse de répondre à la question "quelle est la probabilité que le vrai paramètre tombe dans un intervalle donné" (même si je pense que c'est une chose utile à parler, surtout si on ne connaît pas le vrai paramètre ). Mais pourquoi est-ce que je ne conditionne pas un ensemble nul si je conditionne le cas où mon calcul retourne précisément l'intervalle ? [a,b]
Elliott

2
Un fréquentateur (de principe / pédant) ne refuse pas de répondre, il ne peut pas répondre. Le paramètre n'est pas aléatoire, l'intervalle est. Qu'y a-t-il devant le quand vous conditionnez sur l'observation d'un intervalle particulier? Pour un fréquentiste, une fois que vous avez observé l'échantillon et construit votre intervalle, rien n'est plus aléatoire. |
JMS

Je ne sais pas, le tien est sur place. :-)

2

Dans les statistiques fréquentistes, l'événement est fixe - le paramètre réside dans [ a , b ] ou non. Ainsi, E est indépendant de C et C ' et donc P ( E | C ) = P ( E ) et PE[a,b]ECCP(E|C)=P(E) .P(E|C)=P(E)

(Dans votre argument, vous semblez penser que et PP(E|C)=1 , ce qui est incorrect.)P(E|C)=0


Considérant que j'ai défini C comme étant l'événement que cet intervalle particulier, [a, b], contient le paramètre vrai, je ne suis pas sûr de convenir que E et C / C 'sont indépendants: savoir que C s'est produit garantit que E s'est produit .
Elliott

Mais C est une variable aléatoire! Vous êtes en train de changer les définitions de tous ces événements une fois que tout est déjà arrivé. En d'autres termes, si vous définissez C comme étant cet événement particulier, alors C n'est plus un intervalle de confiance.
raegtin

2
Le problème est que si C est l'événement où l'intervalle contient le paramètre true dans cette exécution du test, sa fréquence d'exécution n'est pas longue (cette exécution particulière ne peut se produire qu'une seule fois) et vous ne pouvez donc pas affecter ce paramètre. une probabilité fréquentiste à elle. C'est pourquoi la définition d'un intervalle de confiance fréquentiste se réfère à une population d'expériences répétées. Vous semblez appliquer le raisonnement bayésien à un contexte fréquentiste et les définitions de probabilité ne correspondent pas.
Dikran Marsupial

Voici une autre façon de voir les choses. Ce que vous semblez faire est le suivant: lancez un calcul pour obtenir un intervalle de confiance [a, b]. Définissez C comme étant l’événement indiquant que cet intervalle de confiance particulier [a, b] contient le paramètre vrai. Définissez également E comme étant l’événement indiquant que cet intervalle particulier [a, b] contient le paramètre vrai. Ainsi, E et C sont le même événement!
Raegtin

C'est ce que vous faites réellement. Il semble que vous pensiez que vous procédez comme suit (ce que vous n'êtes pas): lancez le calcul n ° 1 pour obtenir un intervalle [a, b]. Définissez E comme étant l’événement indiquant que cet intervalle particulier [a, b] contient le paramètre vrai. Ensuite, oubliez le calcul n ° 1 et définissez C comme étant le cas où tout autre intervalle calculé [a ', b'] contient le paramètre vrai. Dans ce cas, E et C sont indépendants.
raegtin

2

Il y a tellement de longues explications ici que je n'ai pas le temps de les lire. Mais je pense que la réponse à la question de base peut être courte et douce. C'est la différence entre une probabilité inconditionnelle sur les données. La probabilité de 1-alpha avant la collecte des données est la probabilité que la procédure bien définie inclue le paramètre. Une fois que vous avez collecté les données et que vous savez que l'intervalle spécifique que vous avez généré, l'intervalle est fixe. Par conséquent, puisque le paramètre est une constante, cette probabilité conditionnelle est égale à 0 ou 1. Toutefois, nous ne connaissons même pas la valeur réelle du paramètre. après avoir collecté les données, nous ne savons pas de quelle valeur il s’agit.

Prolongation de l'article de Michael Chernick, copie du formulaire, commenté:

il existe une exception pathologique à cela qui peut être appelée estimation parfaite. Supposons que nous ayons un processus autorégressif de premier ordre donné par X (n) = pX (n-1) + en. C'est stationnaire, donc nous savons que p n'est pas 1 ou -1 et est <1 en valeur absolue. Maintenant, les en sont indépendants et sont identiques à une distribution mixte, il existe une probabilité positive que q = en

Il existe une exception pathologique à cela qui peut être appelée estimation parfaite. Supposons que nous ayons un processus autorégressif de premier ordre donné par X (n) = pX (n-1) + en. C'est stationnaire, donc nous savons que p n'est pas 1 ou -1 et est <1 en valeur absolue.

Maintenant, les en sont indépendants, de manière identique, avec une distribution mixte, il existe une probabilité positive q que en = 0 et avec une probabilité de 1 à q, sa distribution est absolument continue (disons que la densité est non nulle dans un intervalle limité à 0. Alors collecter les données de la série temporelle séquentiellement et pour chaque paire de valeurs successives, estimer p par X (i) / X (i-1). Maintenant, lorsque ei = 0, le rapport sera égal à p exactement.

Puisque q est supérieur à 0, le rapport répète éventuellement une valeur et cette valeur doit être la valeur exacte du paramètre p, car si ce n'est pas la valeur de ei qui n'est pas 0, elle sera répétée avec une probabilité de 0 et ei / x (i -1) ne se répète pas.

La règle d’arrêt séquentiel consiste donc à échantillonner jusqu’à ce que le rapport se répète exactement, puis à utiliser la valeur répétée comme estimation de p. Puisqu'il s'agit de p, tout intervalle que vous construisez est centré sur cette estimation a la probabilité 1 d'inclure le paramètre vrai. Bien que ce soit un exemple pathologique qui n’est pas pratique, il existe des processus stochastiques stationnaires avec les propriétés nécessaires pour la distribution des erreurs.


2
avez-vous envisagé d'ajouter à votre réponse l'exemple décrit au cours de ces divers commentaires?
Macro

@ Michael, j'appuie le commentaire de Macro. Veuillez noter que les commentaires sont généralement considérés comme un moyen d’interagir avec d’autres utilisateurs (par exemple, lorsqu’ils demandent des clarifications, etc.) et, dans tous les cas, sont parfois considérés comme des « citoyens de troisième classe dans Stack Exchange ». Cependant, après notre dernier échange, je vous laisse décider de la suite à donner à cette série de commentaires. Cette remarque s'applique à une autre série de commentaires trouvés ici .
chl

Je ne mets pas de commentaires dans les réponses, car il semble exister une politique d'abaissement des réponses qui suscite beaucoup de discussions, en particulier lorsque quelqu'un estime que la réponse ne répond pas vraiment à la question. Donc, les réponses doivent donner des réponses et les commentaires vont sous les commentaires. Mes commentaires ont tendance à dépasser la limite du nombre de caractères, alors j'en utilise plusieurs.
Michael Chernick

@MichaelChernick Il n'y a pas de telle politique, j'ai donc incorporé vos commentaires dans l'article.

1
@MichaelChernick, je poste sur ce site assez régulièrement depuis environ un an et je n'ai jamais entendu personne dire que les modérateurs étaient oppressifs ou que les règles du site étaient déroutantes. Les problèmes que vous avez rencontrés concernant vos publications sont des éléments explicitement abordés dans la FAQ.
Macro

1

Deux observations sur les nombreuses questions et réponses qui peuvent encore aider.

Une partie de la confusion provient du fait qu’il a fallu dissimuler certaines notions mathématiques plus profondes de la théorie des probabilités, qui, d’ailleurs, n’étaient sur une base mathématique solide que vers les années 1940. Il entre dans ce qui constitue des espaces d'échantillonnage, des espaces de probabilité, etc.

Tout d’abord, vous avez dit qu’après un tirage, nous savons qu’il existe une probabilité de 0% qu’il n’ait pas de problème si cela arrivait. À ce stade, il n’a pas de sens de parler de probabilité; ce qui est arrivé est arrivé, et nous le savons. La probabilité concerne l'inconnu dans le futur, pas le connu dans le présent.

Considérez ceci comme un corollaire de la notion de probabilité zéro, à ceci près: nous supposons qu'un compte juste a une probabilité de 0,5 pour la tête en l'air et de 0,5 pour la queue en l'air. Cela signifie qu’il a 100% de chances d’arriver en tête ou en queue, puisque ces résultats sont MECE (mutuellement exclusifs et complètement exhaustifs). Cependant, il n'y a aucun changement dans la composition des têtes et des queues : notre notion de «têtes» et de «queues» signifie qu'elles s'excluent mutuellement. Ainsi, cela n'a aucune chance, car il est impossible dans la façon dont nous pensons (ou définissons) de "lancer une pièce de monnaie". Et c'est impossible avant et après le tirage au sort.

Corollaire supplémentaire à cela, tout ce qui n’est pas, par définition, impossible est possible. Dans le monde réel, je déteste quand les avocats demandent: "est-ce qu'il est impossible que vous signiez ce document et que vous l'ayez oublié?" parce que la réponse est toujours "oui" par la nature de la question. Pour répondre à cette question, la réponse est également "oui" à la question "N'est-il pas possible que vous ayez été transporté par dématérialisation sur la planète Remulak 4 et obligé de faire quelque chose qui a ensuite été ramené sans aucun souvenir?". La probabilité peut être très faible, mais ce qui n’est pas impossible est possible. Dans notre concept habituel de probabilité, lorsque nous parlons de lancer une pièce de monnaie, cela peut faire des têtes; il peut arriver queues; et il se peut même qu'il se bloque ou (d'une manière ou d'une autre, comme si nous étions coincés dans un vaisseau spatial alors que nous étions drogués et pris en orbite), flotte pour toujours dans les airs. Mais avant ou après le tirage au sort, queues en même temps: elles sont des résultats mutuellement exclusifs dans l’espace échantillon de l’expérience (recherchez des «espaces échantillons probabilistes» et des «sigma-algèbres»).

Deuxièmement, sur toute cette philosophie Bayesian / Frequentist sur les intervalles de confiance, il est vrai que cela concerne les fréquences si on agit comme un fréquentiste. Ainsi, lorsque nous disons que l'intervalle de confiance pour une moyenne échantillonnée et estimée est de 95%, nous ne disons pas que nous sommes certains à 95% que la «vraie» valeur se situe entre les bornes. Nous disons que, si nous pouvions répéter cette expérience, 95% du temps, nous trouverions que la moyenne se situait effectivement entre les limites. Cependant, lorsque nous le faisons en un seul passage, nous prenons un raccourci mental et disons «nous sommes certains à 95% que nous avons raison».

Enfin, n'oubliez pas quelle est la configuration standard d'un test d'hypothèse basé sur une expérience. Si nous voulons savoir si une hormone de croissance accélère la croissance des plantes, peut-être devrions-nous d'abord déterminer la taille moyenne d'une tomate après six mois de croissance. Ensuite, nous répétons, mais avec l'hormone, et obtenons la taille moyenne. Notre hypothèse nulle est « l'hormone n'a pas fonctionné », et nous testons que . Mais si les plantes testées sont en moyenne plus grandes, avec une confiance de 99%, cela signifie «il y aura toujours des variations aléatoires dues aux plantes et à la précision avec laquelle nous pesons, mais la quantité de hasard qui expliquerait cela se produirait moins d'une temps dans cent. "


1

Le problème peut être caractérisé par une confusion des probabilités antérieure et postérieure ou peut-être par l’insatisfaction de ne pas connaître la distribution conjointe de certaines variables aléatoires.

Conditionnement

n1nXYXYP(X=xY=y)=1/(n(n1))x,yN:={1,,n}xyP(X=x)=1/nP(Y=x)=1/nxN

tP(X=x)=1/nxNxNX=xP(X=x|Y=t)=P(X=xY=t)/P(Y=t)xt1/(n1)x=t0X=xY=tX=xX=xY=tP(X=x)=P(Y=x)=1/nxN

Ne pas conditionner sur des preuves signifie ignorer des preuves. Cependant, nous ne pouvons conditionner que sur ce qui est exprimable dans le modèle probabiliste. Dans notre exemple avec les deux balles de l'urne, nous ne pouvons pas déterminer le temps qu'il fait ou ce que nous ressentons aujourd'hui. Au cas où nous avons des raisons de croire que de telles preuves sont pertinentes pour l'expérience, nous devons d'abord modifier notre modèle afin de nous permettre d'exprimer ces preuves sous forme d'événements formels.

CC=1X<YP(C=1)=1/2tP(C=1|Y=t)=(t1)/(n1)P(C=1|Y=1)=0C=1P(C=1|Y=n)=1C=1P(C=1)=1/2

Intervalle de confiance

X=(X1,,Xn)n(l,u)γXluRnθRP(l(X)θvous(X))γ

C(l,vous)C=1l(X)θvous(X)P(C=1)γ

X=(X1,,Xn)RnXjeXjejeC=1δ: =P(C=1|X=X)01(C=1X=x)((l(x)θu(x))X=x)l(x)θu(x)δ=0l(x)θu(x)X=xδ=1l(x)u(x)xδ{0,1}

P(C=1)γC=1x[l(x),u(x)][l(x),u(x)]θγ, signifierait reconnaître cette preuve et l’ignorer en même temps.

Apprendre plus, en savoir moins

δXYxRP(X=x)P(Y=x)P(X=xY=y)x,yR(X,Y)

Y=7XP(X=x)x(x,7)xRxP(X=x)Y=7Y=77P(X=x)X=xP(X=x|Y=7)=P(X=xY=7)/P(Y=7)

YX


0

Si je dis que la probabilité que les Knicks aient noté entre xbar - 2sd (x) et xbar + 2sd (x) est d’environ 0,95 dans un jeu donné dans le passé, c’est une déclaration raisonnable compte tenu de certaines hypothèses de répartition concernant la distribution des scores de basketball. . Si je recueille des données sur les scores donnés à un échantillon de jeux et que je calcule cet intervalle, la probabilité qu'ils aient marqué dans cet intervalle un jour donné du passé est clairement nulle ou égale à un, et vous pouvez faire une recherche google du résultat du jeu pour le découvrir. La seule notion de maintien d'une probabilité non nulle ou d'une probabilité pour le fréquentiste provient d'un échantillonnage répété, et la réalisation de l'estimation d'intervalle d'un échantillon particulier est le point magique où cela s'est produit ou non, étant donné l'estimation d'intervalle de cet échantillon. . Ce n'est pas le point où vous tapez le mot de passe,

C'est ce que Dikran avance ci-dessus et j'ai voté pour sa réponse. Le point où les échantillons répétés ne sont pas pris en compte est le point du paradigme fréquentiste où la probabilité non discrète devient impossible à obtenir , et non lorsque vous tapez le mot de passe comme dans votre exemple ci-dessus, ou lorsque vous recherchez le résultat dans mon exemple du Knicks jeu, mais le moment où votre nombre d'échantillons = 1.


0

La modélisation

S=(Ω,Σ,P)EΣP(E)ESS

L'étape (1) peut laisser une marge de manœuvre. La pertinence de la modélisation peut parfois être testée en comparant la probabilité de certains événements avec ce à quoi nous nous attendions intuitivement. En particulier, examiner certaines probabilités marginales ou conditionnelles peut aider à se faire une idée de la pertinence de la modélisation.

X1,,Xn~jest(θ)θR

Estimateur d'intervalle de confiance

γLRRnP(L(X)θR(X))γX=(X1,,Xn)L(X)R(X)XRnL(X)θR(X)

Préférences

γ1γ2γ1<γ2une probabilité plus élevée d'être un billet gagnant que le premier quand ils ont été tirés. Une préférence concernant les différentes observations (les deux tickets dans cet exemple) basées sur les propriétés probabilistes des processus aléatoires ayant généré les observations convient. Notez que nous ne disons pas qu’un des billets a une probabilité plus élevée d’être un billet gagnant. Si nous le disons un jour, alors avec "probabilité" dans un sens familier, ce qui pourrait vouloir dire n'importe quoi, il vaut donc mieux l'éviter ici.

0.95

Exemple avec un simple prieur

θP(θ=0)=P(θ=1)=1/2ϑRθ=ϑX1,,XnN(ϑ,1)L,RγϑRP(L(X)ϑR(X)|θ=ϑ)γP(L(X)θR(X))γ

xRn(X1,,Xn)θL(X)R(X)P(L(X)θR(X)|X=X)Fμnμσ=1

P(L(x)θR(x)|X=x)={f0(x)f0(x)+f1(x)if L(x)0R(x)<1f1(x)f0(x)+f1(x)if 0<L(x)1R(x)1if L(x)0 and 1R(x)0else
γθ être contenu dans la sortie de la CIE a un sens, c’est-à-dire, si L(X)θR(X) est un événement dans notre modèle probabiliste, sa probabilité en général n'est pas γ, mais peut être quelque chose de complètement différent.

En fait, une fois que nous avons convenu d’un préalable (comme la simple distribution discrète de θ ici) et nous avons une observation X, il peut être plus informatif de conditionner Xque de regarder la sortie d'un CIE. Justement, pour{μ0,μ1}={0,1} on a:

P(θ=μ0|X=X)=Fμ0(X)Fμ0(X)+Fμ1(X)

0

Si nous pouvions dire "la probabilité que le vrai paramètre se situe dans cet intervalle de confiance", nous ne tiendrions pas compte de la taille de l'échantillon. Quelle que soit la taille de l’échantillon, tant que la moyenne est la même, l’intervalle de confiance est également large. Mais lorsque nous disons "si je répète cela 100 fois, je m'attendrais à ce que dans 95% des cas, le véritable paramètre se situe dans l'intervalle", nous tenons compte de la taille de la taille de l'échantillon et de la fiabilité de notre estimation. . Plus la taille de l'échantillon est grande, moins l'estimation moyenne aura de variance. Cela ne varie donc pas beaucoup, et lorsque nous répétons la procédure 100 fois, nous n’avons pas besoin d’un grand intervalle pour nous assurer que dans 95% des cas, le paramètre vrai est dans l’intervalle.


Gardez à l'esprit que l'intervalle de confiance est un concept fréquentiste.
Michael Chernick
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.