détection du plagiat sur test à choix multiples

Supposons qu'un surveillant soupçonne un élève de copier les réponses sur le papier d'un autre élève lors d'un examen à choix multiples. Elle vérifie plus tard leurs réponses et trouve des similitudes, mais d'un autre côté, il y a forcément des similitudes étant donné la nature de l'examen. Comment doit-elle procéder pour déterminer si ses soupçons sont fondés?

En d'autres termes, elle devra sûrement comparer les examens à ceux des autres étudiants (qui, supposons-le, ne trichaient pas). Mais si la taille des classes est très grande, est-il raisonnable de prendre un échantillonnage aléatoire pour comparaison? Combien en prendrait-elle alors? S'il y avait beaucoup de questions à l'examen, serait-il également raisonnable de prendre un échantillon des questions pour comparaison? Cela fait-il une différence significative si chaque question avait 2 réponses possibles (vrai / faux) ou, disons, 4?

Je n'ai pas de chiffres précis parce que je me demande comment cela fonctionnerait en général. J'ai une formation en mathématiques mais peu de formation en statistique. Comment décririez-vous cette analyse en termes statistiques?

Je vous remercie.

correlation terminology

— Théophile
source

J'ai le sentiment que vous devez faire l'hypothèse ici que ni le tricheur ni le triché n'ont obtenu une majorité de réponses correctes. Par exemple, si les deux ont obtenu des réponses correctes tout autour, vous ne pouvez rien prouver. Mais disons que les deux ont obtenu les mêmes mauvaises réponses tout autour, il y a probablement une très forte probabilité de tricherie. Je pense que vous devrez vous concentrer sur les réponses erronées pour faire cette mesure.

— Spacey

Je pense que vous voudrez peut-être être sélectif et choisir les questions les plus susceptibles d'être copiées. Ce sont probablement ceux qui semblent être les plus difficiles. Mais il y a aussi la possibilité que la personne qui triche choisit simplement des questions qui couvraient des sujets qu'elle n'a pas étudiés et qui seraient difficiles à discerner. Mais avoir les mêmes réponses à des questions faciles ne vous dirait vraiment rien, car les deux parties connaîtraient la bonne réponse.

— Michael R. Chernick

Sans surprise, beaucoup de gens ont étudié la détection de la triche dans le passé, y compris Steven Levitt, auteur de Freakonomics. Si vous voulez savoir si quelqu'un a triché à partir des seules réponses, ne faites pas de tests à choix multiples et surveillez les examens vous-même. Vous pourriez être en mesure de rejeter l'hypothèse selon laquelle le travail des étudiants n'était pas lié, mais vous aurez du mal à prouver qu'ils n'ont pas simplement étudié ensemble. Avez-vous un plan de salle et avez-vous vérifié les pièces d'identité des élèves, qu'ils étaient assis conformément au plan de salle? Pouvez-vous retester les étudiants?

— Douglas Zare

L'échantillonnage des questions semble être une idée terrible car vous pouvez facilement analyser toutes les questions, et vous manquerez de bons indicateurs de copie tels qu'une chaîne de réponses qui sont compensées par 1 de la bonne réponse. Par exemple, les bonnes réponses sont 30) A 31) B 32) C 33) D 34) E et un élève a 30) A 31) B 32) C 33) D 34) B et un autre a 30) B 31) C 32) D 33) B. Si ces réponses sont des réponses incorrectes très impopulaires, elles correspondent au modèle que le deuxième élève copiait le premier et ont fait une erreur d'omission. Il est difficile, bien que possible, d'expliquer ces réponses sans les copier.

— Douglas Zare

Avec le logiciel actuel, il est relativement facile et efficace de créer un ensemble d'examens avec les mêmes questions, mais l'ordre des questions et l'ordre des réponses sont permutés. En général, vous n'avez besoin que de 4 versions au maximum.

— R. Schumacher

Voici un tableau étonnamment vaste des index de copie des réponses, avec peu de discussion sur leurs mérites: http://www.bjournal.co.uk/paper/BJASS_01_01_06.pdf .

Il existe un domaine de la psychologie (éducative) appelé théorie de la réponse aux items (IRT) qui fournit le contexte statistique pour des questions comme celles-ci. Si vous êtes un Américain et avez passé un SAT, ACT ou GRE, vous avez traité un test développé en pensant à l'IRT. Le postulat de base de l'IRT est que chaque étudiant est caractérisé par sa capacité ; chaque question est caractérisée par sa difficulté ; et la probabilité de répondre correctement à une question est où est le cdf de la normale standard, et $i$ $a_i$ $b_j$

π (a_{i}, b_{j}; c) = P r o b [student i answers question j correctly] = Φ (c (a_{i} - b_{j}))

$\pi(a_i,b_j;c) = {\rm Prob}[\mbox{student $i$ answers question $j$ correctly}] = \Phi( c(a_i-b_j) )$

Φ (z)

$\Phi(z)$

c

$c$ est un paramètre de sensibilité / discrimination supplémentaire (parfois, il est rendu spécifique à la question, , s'il y a suffisamment d'informations, c'est-à-dire suffisamment de candidats pour identifier les différences). Une hypothèse cachée ici, étant donné la capacité des élèves , les réponses aux différentes questions sont indépendantes. Cette hypothèse est violée si vous avez une batterie de questions sur le même paragraphe de texte, mais abstenons-en une minute.

c_{j}

$c_j$

i

$i$

Pour les questions "Oui / Non", cela peut être la fin de l'histoire. Pour plus de deux catégories de questions, nous pouvons faire l'hypothèse supplémentaire que tous les mauvais choix sont également probables; pour une question avec choix, la probabilité de chaque mauvais choix est . $j$ $k_j$ $\pi'(a_i,b_j;c) = [1-\pi(a_i,b_j;c)]/(k_j-1)$

Pour les étudiants de capacités $a_i$ et $a_k$ , la probabilité qu'ils correspondent à leurs réponses pour une question avec difficulté $b_j$ est

ψ (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c) + (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c) + (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$ Si vous le souhaitez, vous pouvez diviser cela en probabilité de correspondance sur la bonne réponse,

ψ_{c} (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c)

$\psi_c(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c)$ , et la probabilité d'appariement sur une réponse incorrecte,

ψ_{i} (a_{i}, a_{k}; b_{j}, c) = (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi_i(a_i,a_k;b_j,c) = (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$ , bien que tirée du cadre conceptuel de l'IRT, cette distinction n'est guère matérielle.

Maintenant, vous pouvez calculer la probabilité d'appariement, mais elle sera probablement minuscule combinatoire. Une meilleure mesure peut être le rapport des informations dans le modèle de réponses par paire,

I (i, k) = \sum_{j} 1 {{match}_{j}} \ln ψ (a_{i}, a_{k}; b_{j}, c) + 1 {{non-match}_{j}} \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$I(i,k) = \sum_j 1\{ \mbox{match}_j \} \ln \psi(a_i,a_k;b_j,c) + 1\{ \mbox{non-match}_j \} \ln [1- \psi(a_i,a_k;b_j,c) ]$ et le relier à l'entropie

E (i, k) = E [I (i, k)] = \sum_{j} ψ (a_{i}, a_{k}; b_{j}, c) \ln ψ (a_{i}, a_{k}; b_{j}, c) + (1 - ψ (a_{i}, a_{k}; b_{j}, c)) \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$E(i,k) = {\rm E}[ I(i,k) ] = \sum_j \psi(a_i,a_k;b_j,c) \ln \psi(a_i,a_k;b_j,c) + (1- \psi(a_i,a_k;b_j,c) ) \ln [1- \psi(a_i,a_k;b_j,c) ]$ Vous pouvez le faire pour toutes les paires d'élèves, les tracer ou les classer et rechercher les plus grands rapports d'informations sur l'entropie.

Les paramètres du test $\{c,b_j, j=1, 2, \ldots\}$ et les capacités des élèves $\{a_i\}$ ne tombera pas du ciel bleu, mais ils sont facilement estimables dans les logiciels modernes tels que R avec lme4ou des packages similaires:

    irt <- glmer( answer ~ 1 + (1|student) + (1|question), family = binomial)

ou quelque chose de très proche de cela.

— StasK
source