Le résultat d'un examen est-il un binôme?

31

Voici une simple question de statistiques qui m'a été posée. Je ne suis pas vraiment sûr de le comprendre.

X = le nombre de points acquis dans un examen (choix multiple et une bonne réponse est un point). Le binôme X est-il distribué?

La réponse du professeur a été:

Oui, car il n'y a que des bonnes ou des mauvaises réponses.

Ma réponse:

Non, car chaque question a une "probabilité de réussite" différente p. Comme je l'ai compris, une distribution binomiale n'est qu'une série d'expériences de Bernoulli, qui ont chacune un résultat simple (succès ou échec) avec une probabilité de réussite donnée p (et toutes sont "identiques" en ce qui concerne p). Par exemple, en retournant une pièce (juste) 100 fois, cela fait 100 expériences de Bernoulli et toutes ont p = 0,5. Mais ici, les questions ont différents types de p non?

self-study binomial

— Paul
source

14

+1 Plus précisément: à moins qu'il ne s'agisse d'un examen étrange, les réponses aux questions seront fortement corrélées. Si

est le score total pour un individu, cela exclura une distribution binomiale. Serait-il possible que la question fonctionne sous l'hypothèse d'une "hypothèse nulle" dans laquelle tous les candidats devineraient indépendamment et de façon aléatoire toutes les réponses?

X

$X$

— whuber

2

Comme c'est paradoxal, j'aurais au moins fait pression pour obtenir un crédit partiel à ce sujet, mais la "réponse" semble refléter une réticence à l'attribuer :) (je pense que vous êtes ici).

— AdamO

1

Oui, merci: D, je pense que c'est plus une distribution binomiale de Poisson (si quelque chose)

— Paul

2

@Zahava Voir stats.stackexchange.com/search?q=poisson+binomial .

— whuber

2

Je suis d'accord avec tout le monde que la question était mauvaise, mais il y a un problème de cadrage ici. S'il s'agit d'un cours élémentaire et qu'il s'agit d'un format à réponse courte (afin que vous ayez une chance d'expliquer votre raisonnement), je dirais que la meilleure réponse est probablement "oui (en supposant l'indépendance et la même difficulté pour chaque question)"; cela signifierait au professeur que (1) vous comprenez les limites de la question et (2) vous n'essayez pas d'être un intelligent.

— Ben Bolker

25

$X_{ni}$

Pr {X_{n i} = 1} = \frac{e^{β_{n} - δ_{i}}}{1 + e^{β_{n} - δ_{i}}}

$\Pr \{X_{ni}=1\} =\frac{e^{{\beta_n} - {\delta_i}}}{1 + e^{{\beta_n} - {\delta_i}}}$

où peut être considéré comme la capacité des -ièmes personnes et comme la difficulté des questions. Ainsi, le modèle vous permet de saisir le fait que différentes personnes varient en capacités et les questions varient en difficulté, et c'est le plus simple des modèles IRT. $\beta_n$ $n$ $\delta_i$ $i$

La réponse de vos professeurs suppose que toutes les questions ont la même probabilité de «succès» et sont indépendantes, car le binôme est une distribution d'une somme de iid essais de Bernoulli. Il ignore les deux types de dépendances décrits ci-dessus. $n$

Comme remarqué dans les commentaires, si vous avez regardé la distribution des réponses d'une personne particulière (donc vous n'avez pas à vous soucier de la variabilité entre les personnes), ou les réponses de différentes personnes sur le même élément (donc il n'y a pas entre- variabilité des items), alors la distribution serait binomiale de Poisson, c'est-à-dire la distribution de la somme de essais de Bernoulli non iid. La distribution pourrait être approximée avec binôme ou Poisson, mais c'est tout. Sinon, vous faites l'hypothèse iid. $n$

Même dans l'hypothèse "nulle" de la devinette, cela suppose qu'il n'y a pas de modèle de devinette, donc les gens ne diffèrent pas dans leur façon de deviner et les articles ne diffèrent pas dans la façon dont ils sont devinés - donc la devinette est purement aléatoire.

— Tim
source

Ça a du sens! Bien que je suppose que vous pourriez calculer la probabilité de réussite d'une question, mais la «capacité des personnes» semble difficile :) Une autre idée que j'ai eue est de modéliser cela comme une somme de distributions de Bernulli? Par exemple, disons qu'il y a 2 questions, donc 2 probabilités de succès p1 et p2. Analogiquement deux variables de comptage X1 et X2 (donc 2 expériences bernulli). Ensuite, par exemple, la probabilité d'obtenir un score total de 1 est P (X1 = 1) * P (X2 = 0) + P (X1 = 0) * P (X2 = 1) = p1 (1-p2) + (p1 -1) p2. Cela vous semble-t-il raisonnable?

— Paul

2

@Paul somme de deux Bernoulli avec des p différents est Poisson-binomial

— Tim

4

L'hypothèse "nulle" est fondamentalement une chose sphérique-vache, vous pouvez toujours chicaner sur la façon exacte dont la vache est sphérique.

— Hong Ooi

5

La réponse à ce problème dépend du cadrage de la question et du moment où les informations sont obtenues. Dans l'ensemble, j'ai tendance à être d'accord avec le professeur, mais je pense que l'explication de sa réponse est médiocre et la question du professeur devrait inclure plus d'informations dès le départ.

Si vous considérez un nombre infini de questions d'examen potentielles et que vous en tirez une au hasard pour la question 1, en tirez une au hasard pour la question 2, etc.

Chaque question a deux résultats (bons ou mauvais)
Il y a un nombre fixe d'essais (questions)
Chaque essai peut être considéré comme indépendant (pour la deuxième question, votre probabilité de bien faire les choses est la même que pour la première question) $p$

Dans ce cadre, les hypothèses d'une expérience binomiale sont remplies.

Hélas, les problèmes statistiques mal proposés sont très courants dans la pratique, pas seulement aux examens. Je n'hésiterais pas à défendre votre justification auprès de votre professeur.

— Underminer
source

Jea je suppose que c'est vrai aussi. La question est simplement "mauvaise", car vous pourriez discuter dans les deux sens, car si peu d'informations sont fournies. Mais j'étais simplement très mécontent de la réponse donnée par mon professeur.

— Paul

4

@Paul, il est en fait assez difficile d'écrire de bonnes questions statistiques. Je sais que je l'ai déjoué à plusieurs reprises.

— gung - Rétablir Monica

1

If you consider an infinite number of potential exam questions, and you draw one at random for question 1, draw one at random for question 2, etc.

- Je pense que vous devriez rendre explicite l'hypothèse selon laquelle les questions d'examen sont tirées indépendamment du groupe de questions potentielles. Il serait plus réaliste de les corréler: si la question 1 est facile, il est probable que l'on vous donne un examen facile et que la question 2 sera facile.

— Adrian

0

S'il y a n questions, et je peux répondre correctement à n'importe quelle question avec la probabilité p, et qu'il y a suffisamment de temps pour tenter de répondre à toutes les questions, et j'ai fait 100 de ces tests, alors mes scores seraient normalement distribués avec une moyenne de np.

Mais ce n'est pas moi qui répète le test 100 fois, c'est 100 candidats différents qui font un test, chacun avec sa propre probabilité p. La distribution de ces p sera le facteur primordial. Vous pourriez avoir un test où p = 0,9 si vous avez bien étudié le sujet, p = 0,1 si vous ne l'avez pas fait, avec très peu de personnes entre 0,1 et 0,9. La distribution des points aura des maxima très forts à 0,1 n et 0,9 n et sera loin de la distribution normale.

D'un autre côté, il y a des tests où tout le monde peut répondre à n'importe quelle question, mais prend différentes quantités de temps, donc certains répondront à toutes les n questions, et d'autres répondront moins parce qu'ils manquent de temps. Si nous pouvons supposer que la vitesse des candidats est distribuée normalement, alors les points seront proches de la distribution normale.

Mais de nombreux tests contiendront des questions très difficiles et des questions très faciles, intentionnellement afin que nous puissions faire la distinction entre les meilleurs candidats (qui répondront à toutes les questions jusqu'à un certain degré de difficulté) et les pires candidats (qui ne pourront répondre que très questions simples). Cela modifierait assez fortement la distribution des points.

— gnasher729
source

2

La distribution normale que vous décrivez ici est une approximation normale du binôme. De toute évidence, la somme des zéros et des uns ne serait pas continue et se situerait entre et

- \infty

$-\infty$

\infty

$\infty$

— Tim

2

@Tim Malgré le recours inutile à des distributions normales et le mystère de faire 100 tests, cette réponse a le mérite d'essayer de démontrer comment un cas particulier peut conduire à une distribution évidemment non binomiale. En tant que tel, il pourrait être une contribution précieuse aux réponses si ces problèmes techniques étaient résolus.

— whuber

0

Par définition, une distribution binomiale est un ensemble de essais de Bernoulli indépendants et identiques . Dans le cas d'un examen à choix multiple, chacune des questions serait l'un des essais de Bernoulli. $n$ $n$

Le problème se pose ici parce que nous ne pouvons raisonnablement supposer que les questions: $n$

Sont distribués de manière identique . Comme vous l'avez dit, la probabilité qu'un élève connaisse la réponse à la question sera certainement pas la même que la probabilité qu'il connaisse la réponse à la question , et ainsi de suite. $1$ $2$
Sont indépendants . De nombreux examens posent des questions qui s'appuient sur les réponses aux questions précédentes. Qui peut dire avec certitude que cela ne se produira pas à l'examen dans cette question? Il existe d'autres facteurs qui pourraient rendre les réponses aux questions d'examen non indépendantes les unes des autres, mais je pense que celui-ci est le plus intuitivement évident.

J'ai vu des questions dans les classes de statistiques qui modélisent les questions d'examen sous forme de binômes, mais elles sont formulées de la manière suivante:

Quelle distribution de probabilité modéliserait le nombre de questions auxquelles on a répondu correctement dans un examen à choix multiple où chaque question a quatre choix, et l'élève qui passe l'examen devine chaque réponse au hasard?

Dans ce scénario, bien sûr, il serait représenté comme une distribution binomiale avec . $p= \frac{1}{4}$

— jjw
source

Cela n'a rien à voir avec vos faits, mais la logique est incorrecte: il ne suffit pas de démontrer que certaines hypothèses peuvent ne pas tenir, car (logiquement) la distribution pourrait toujours être binomiale dans tous les cas. Vous devez également démontrer que ces hypothèses peuvent échouer de manière à ce que la distribution des scores ne soit définitivement pas binomiale.

— whuber