Comment commander ou classer un ensemble d'experts?

J'ai une base de données contenant un grand nombre d'experts dans un domaine. Pour chacun de ces experts, j'ai une variété d'attributs / points de données comme:

nombre d'années d'expérience.
licences
nombre d'avis
contenu textuel de ces avis
Les 5 étoiles sur chacun de ces avis, pour un certain nombre de facteurs comme la vitesse, la qualité, etc.
prix, assosciations, conférences etc.

Je veux attribuer une note à ces experts sur 10 en fonction de leur importance. Certains points de données pourraient manquer pour certains experts. Maintenant, ma question est de savoir comment puis-je trouver un tel algorithme? Quelqu'un peut-il m'indiquer une littérature pertinente?

Je suis également préoccupé par le fait que, comme pour toutes les notes / avis, les chiffres pourraient se rapprocher de certaines valeurs. Par exemple, la plupart d'entre eux pourraient finir par obtenir un 8 ou un 5. Existe-t-il un moyen de mettre en évidence de petites différences en une plus grande différence de score pour seulement certains des attributs.

Quelques autres discussions que je pensais pourraient être pertinentes:

rating valuation

— Sidmitra
source

Cela ne peut être fait que si vous arrivez à un critère objectif; probablement la plupart des évaluations possibles peuvent être construites avec une combinaison de vos paramètres.

Réponses:

Les gens ont inventé de nombreux systèmes pour évaluer les choses (comme les experts) sur plusieurs critères: visitez la page Wikipedia sur l' analyse de décision multicritères pour une liste. Cependant, il n'est pas bien représenté là-bas, l'une des méthodes les plus défendables: la théorie de l'évaluation multi-attributs. Cela comprend un ensemble de méthodes pour évaluer les compromis entre des ensembles de critères afin de (a) déterminer un moyen approprié de ré-exprimer les valeurs des variables individuelles et (b) pondérer les valeurs ré-exprimées pour obtenir un score pour le classement . Les principes sont simples et défendables, les mathématiques sont irréprochables, et la théorie n'a rien d'extraordinaire. Plus de gens devraient connaître et pratiquer ces méthodes plutôt que d'inventer des systèmes de notation arbitraires.

— whuber
source

Connaissez-vous le package R pour cela?

— user333

@user Non, et je doute qu'il y en ait un. Soit dit en passant, il n'y a pas de solution logicielle magique: presque tout le travail implique de réfléchir aux problèmes et d'explorer des compromis spécifiques de manière contrôlée.

— whuber

En fin de compte, cela peut ne pas être uniquement un exercice statistique. PCA est une méthode quantitative très puissante qui vous permettra de générer un score ou des pondérations sur ses premiers composants principaux que vous pouvez utiliser pour le classement. Cependant, il est très difficile d'expliquer quels sont les principaux composants. Ce sont des constructions quantitatives. Ce ne sont pas des dialectes. Ainsi, expliquer ce qu'ils signifient vraiment n'est parfois pas possible. Cela est particulièrement vrai si vous avez un public qui n'est pas quantitatif. Ils n'auront aucune idée de quoi vous parlez. Et, considérera votre PCA comme une boîte noire cryptique.

Au lieu de cela, je voudrais simplement aligner toutes les variables pertinentes et utiliser un système de pondération basé sur ce que l'on pense que la pondération devrait être.

Je pense que si vous développez cela pour des étrangers, des clients, des utilisateurs, ce serait formidable si vous pouviez intégrer la flexibilité de décider de la pondération aux utilisateurs.
Certains utilisateurs peuvent apprécier des années d'expérience bien plus que la certification et les versets. Si vous pouvez leur laisser cette décision. De cette façon, votre algorithme n'est pas une boîte noire qu'ils ne comprennent pas et avec laquelle ils ne sont pas à l'aise. Vous le gardez totalement transparent et dépend d'eux en fonction de leur propre évaluation relative de ce qui compte.

— Sympa
source

@Gaetan Eh bien, pour PCA, vous devez trouver un codage numérique approprié pour des variables telles que "contenu textuel" ...

— chl

Ce n'est pas la question que je soulève. PCA peut gérer des variables factices comme vous le suggérez. PCA est incroyablement puissant et flexible de cette façon. Mais, c'est l'interprétation des principaux composants qui devient vraiment difficile. Disons que le premier élément principal commence comme ceci: 0,02 ans d'expérience - 0,4 contenu textuel des critiques + 0,01 associations ... Peut-être pouvez-vous l'expliquer. Une performance d'expert est proportionnelle à des années d'expérience, mais inversement proportionnelle au contenu textuel des critiques? Cela semble absurde. Mais, PCA génère souvent des résultats contre-intuitifs.

— Sympa

@Gaetan Pourtant, je réitère mon opinion que le problème réside dans la façon dont vous choisissez de représenter vos variables (ou comment vous trouvez une métrique utile). Je suis d'accord avec vous sur la difficulté d'interpréter une combinaison linéaire de variables lorsqu'il s'agit de mesures non continues ou d'un mélange de types de données. C'est pourquoi j'ai suggéré dans un autre commentaire de rechercher des méthodes factorielles alternatives. Quoi qu'il en soit, l'élaboration de règles de notation basées sur les préférences des utilisateurs ou un examen par des experts (comme cela se fait dans l'évaluation clinique) nécessite également une sorte de validation statistique (au moins pour garantir la fiabilité des scores).

— chl

@Gaetan, Oui, certains de vos commentaires ont beaucoup de sens, et vous avez raison de dire que ce n'est pas simplement un exercice statistique mais implique des éléments plus subjectifs. La raison en est que l'intention d'un point de vue utilisateur / client peut différer. En supposant qu'il recherche un expert, j'ajoute simplement des filtres pour lui permettre de sélectionner des experts> X nombre d'années d'expérience, etc. Mais disons qu'il est limité à 2 experts et veut une comparaison indépendante. Je cherche donc simplement une méthode générique pour comparer deux experts.

— Sidmitra

+1 pour signaler qu'il ne s'agit pas d'un exercice statistique. Au mieux, l'ACP peut décrire les relations au sein d'un ensemble de données particulier et, en théorie, simplifier les données en identifiant les quasi-colinéarités. On ne voit pas comment cela peut nous informer sur la façon de classer les experts.

— whuber

Pensez-vous que vous pourriez quantifier tous ces attributs?

Si oui, je suggère d'effectuer une analyse en composantes principales. Dans le cas général où toutes les corrélations sont positives (et si elles ne le sont pas, vous pouvez facilement y arriver en utilisant une certaine transformation), le premier composant principal peut être considéré comme une mesure de l'importance totale de l'expert, car c'est une pondération moyenne de tous les attributs (et les poids seraient les contributions correspondantes des variables - Dans cette perspective, la méthode elle-même révélera l'importance de chaque attribut). Le score que chaque expert obtient dans le premier composant principal est ce dont vous avez besoin pour les classer.

— George Dontas
source

Cela a l'air bien, mais ne choisira-t-il pas simplement les attributs à variance la plus élevée et les plus grands groupes de corrélations croisées?

Alternativement, on peut effectuer une analyse de correspondance multiple ou une analyse factorielle multiple pour des données mixtes (si le recodage numérique n'est pas réaliste pour certaines variables), et le reste de votre idée (calculer les scores des facteurs et regarder les charges variables sur la 1ère dimension) s'applique ainsi que.

— chl

Il me semble que la première composante ne fera que signaler une forte orientation commune entre les experts. Comment pourrait-il nous dire qui est le meilleur et qui est le pire, cependant? Cela nécessite des informations supplémentaires concernant les relations entre ces variables et la qualité d'être un "bon" ou "mauvais" expert. Si nous pensons que toutes les variables sont associées de façon monotone à la bonté ou à la méchanceté, alors peut-être que l'ACP peut nous aider à explorer la frontière des experts extrêmes (ou peut-être tout simplement éloignés!). Attention cependant - même l'hypothèse de monotonie est suspecte.

— whuber

@whuber je vois le point, merci. Peut-être pourriez-vous ajouter ceci dans votre propre réponse (ce qui est très bien accueilli)?

— chl