Comment représenter graphiquement les résultats de l'ordre de classement subjectif?

17

Je cherche un moyen de visualiser les classements subjectifs, séparés de mes tests non paramétriques.

J'ai demandé à 12 participants de classer 8 éléments différents en fonction de différents critères subjectifs (classements séparés pour chacun). Pour tout ensemble individuel de classements, je cherche un bon moyen de visualiser les tendances de haut niveau des classements.

J'ai essayé des graphiques à barres et radar sur les classements moyens, et j'ai vu une autre personne utiliser un nuage de points / ballon sur le nombre de réponses par classement, mais je ne sais pas trop ce qui donne le meilleur aperçu. Soit je peux utiliser les 8 classements moyens, soit les 8 décomptes de chaque classement par article.

Éditer:

Par exemple: chaque colonne est un élément, chaque ligne est le classement d'une personne pour chacun des huit éléments. Pas un accord particulièrement fort dans cet exemple, mais en général aimerait comprendre la meilleure façon de transmettre les tendances générales.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

— Jesse
source

Il pourrait être utile de répertorier certaines de vos données. De plus, quel logiciel utiliserez-vous probablement?

— gung - Rétablir Monica

J'ai ajouté un exemple de matrice et je vais probablement tracer dans Excel.

— Jesse

Essayez-vous d'afficher les classements des articles ou l'accord inter-évaluateurs (ou les deux)?

— whuber

1

Je posais des questions spécifiques sur les classements des articles, mais s'il existe un bon moyen de montrer un accord entre les évaluateurs autre que quelque chose que le K de Kendall, tant mieux.

— Jesse

Vous pouvez tracer le CDF empirique de chaque colonne. Cela ressemblerait à quelque chose (un désordre entier de) courbes ROC. Je ne sais pas ce qui sortirait si vous faisiez cela, cependant.

— shabbychef

8

J'ai fait quelque chose de similaire pour visualiser des classements similaires. La méthode que j'ai utilisée m'a donné un aperçu rapide de la relation entre les classements, rien de plus. Ma solution a utilisé des graphiques sparkline Excel 2010 pour créer une vue en petits multiples du classement (cela peut être fait dans d'autres versions d'Excel, mais cela demande un peu plus de travail). En outre, j'utilise généralement la fonctionnalité de tableau d'Excel pour accélérer les choses.

Transposez votre matrice afin que les lignes contiennent toutes les valeurs par élément évalué.
Si le rang 1 est le meilleur, inversez vos rangs pour que 1 = 8,2 = 7 ... cela vous aide simplement à mieux visualiser les colonnes du graphique (plutôt que l'espace vide).
Additionnez les résultats des évaluateurs de chaque question. Triez ensuite par ce total. Cela placera l'élément avec les meilleurs scores globaux en premier et les pires scores globaux en dernier. Ce classement vous aidera à classer visuellement les graphiques lorsque le modèle global peut ne pas être évident (comme c'était le cas dans vos données d'échantillon.
Insérez Sparklines en utilisant vos données de classement (sans la colonne des totaux) à côté de votre tableau de données. Visuellement, plus il y a de barres / plus elles sont grandes, meilleur est le classement général.

Il n'y a rien de particulièrement analytique dans cette approche, mais c'est un moyen assez rapide de visualiser les données.

Classements subjectifs

Remarque: si vous ne disposez pas d'Excel 2010, vous pouvez créer des graphiques à colonnes dépouillés et de taille de cellule pour chaque ligne qui se ressemblent. Ou, vous pouvez utiliser un module complémentaire tiers pour les créer.

EDIT: Tableau et graphique utilisant la suggestion de Gung pour une mesure moyenne. Comme indiqué, puisque l'échelle est similaire, elle a été ajoutée au graphique comme point de comparaison supplémentaire (j'ai utilisé le gris pour aider à la différencier des graphiques de données brutes).

entrez la description de l'image ici

— dav
source

3

+1, c'est une solution simple et très agréable à cette situation. Une petite suggestion que je ferais serait d'utiliser des moyennes plutôt que des sommes à l'étape # 3. Cela ne changera vraiment rien, mais remet le total dans l'échelle d'origine, ce qui peut faciliter l'interprétation de la valeur.

— gung - Rétablir Monica

@gung, merci pour les commentaires. Je pense que l'utilisation des moyennes fonctionne vraiment bien (comme ci-dessus). Je n'ai jamais aimé utiliser les totaux, mais je n'avais pas trop réfléchi à une bonne alternative.

— dav

2

Je le ferais sous la forme d'un graphique de bosses. Il semble assez encombré, donc je travaillerais avec les couleurs pour essayer de résoudre ce problème.

Les sparklines suggérées par @dav ne permettent pas vraiment une comparaison entre les produits.

— Jon Peltier
source

Je pense que ce graphique serait excellent si les tailles de points étaient mises à l'échelle dans l'ordre inverse de 8 (le plus petit) à 1 (le plus grand). Je pense que les tendances pourraient ressortir davantage de cette façon.

— Brandon Bertelsen

1

Les tracés de points peuvent être très utiles pour ce type d'analyse.

C'est ce que j'ai trouvé avec vos données. Vous pouvez également ajouter des lignes de connexion.

C'est ce que j'ai trouvé avec vos données. Vous pouvez également ajouter des lignes

Je penserais également à ajouter une série plus importante pour montrer la moyenne de chaque option.

Quelques liens:

http://peltiertech.com/Excel/Charts/DotPlot.html

http://peltiertech.com/WordPress/charting-survey-results/

— guitarthrower
source

1

Je sais que cette question a sept ans et que l'affiche est AWOL, mais j'apprécie une question qui comprend des données ...

Il semble que les tendances de notation des produits soient le problème plutôt que les tendances des évaluateurs individuels. Dans ce cas, vous pouvez avoir une idée des tendances de haut niveau en traçant les moyennes et l'intervalle de confiance pour chaque produit.

Au moins, nous pouvons voir que C et D semblent pires que les autres (en supposant que 8 est le pire classement). Peut-être que A, B et C sont plus en désaccord que les autres.

Si les évaluateurs individuels sont importants pour la transmission, vous pouvez utiliser des marques et des couleurs différentes pour les points de chaque évaluateur.

— xan
source