Existe-t-il un système de notation standard pour les publications de revues scientifiques?


9

J'ai entendu dire que certaines revues sont mieux notées que d'autres. Est-ce vrai? Et si oui, quels sont les critères pour juger de la valeur d'une revue évaluée par des pairs par rapport à une autre? Comment connaître sa note? Ma publication aura-t-elle moins de "valeur" si elle est acceptée dans une revue moins réputée que, disons, la SIAM Review?


1
Cette question peut être considérée comme hors sujet, subjective ou trop large. Mais je pense qu'il vaut la peine d'en discuter ici et j'écrirai une réponse.
David Ketcheson

@DavidKetcheson: C'était aussi mon sentiment.
Geoff Oxberry

Réponses:


5

Quels facteurs déterminent où je publierai un article?

  • Les gens que je veux lire ce document le verront-ils? Si je fais le suivi du travail d'un autre groupe (peut-être pour montrer un point de vue différent, parfois pour montrer des améliorations algorithmiques ou pour résoudre des problèmes avec un article précédent), je voudrai soumettre l'article au même journal, même s'il y a un problème de facteur d'impact.

En tant que jeune scientifique en informatique encore dans la phase de développement de carrière de ma carrière, je dirais qu'il y a un aspect supplémentaire, et peut-être même plus critique, à cette question. . . .

  • Les personnes susceptibles d'être en mesure de m'évaluer verront-elles ce document?J'ai souvent parlé avec des pairs dans le domaine des sciences informatiques de la nécessité d'avoir un «terrain de jeu»: la science informatique est un domaine hautement interdisciplinaire. Malheureusement, nous ne pouvons pas vraiment être considérés comme des informaticiens quand vient le temps d'être considéré pour un poste permanent. En l'absence de travail dans un département de sciences informatiques, nous devrons postuler pour un poste dans un département existant, ce qui signifie généralement que nos «pairs» seront d'autres ingénieurs, scientifiques et mathématiciens - dont beaucoup n'ont pas vraiment une solide formation en science informatique. Cela signifie que même si vous voulez aller dans le sens de la fertilisation croisée, vous devez toujours concentrer certaines de vos publications dans les revues incontournables de votre discipline. C'est un défi auquel beaucoup de nos pairs n'auront pas nécessairement à faire face, et c'est une complication supplémentaire dans nos vies. Mais c'est quelque chose dont nous devons être conscients avant de commencer à travailler!

  • Combien de compétition ai-je en ce moment? Plus un champ est encombré, plus il est important d'obtenir les résultats tôt. Bien qu'il soit bon d'essayer d'aller à la nature ou aux sciences avec tous les articles de votre groupe (en supposant que vous n'êtes pas en mathématiques pures ou quelque chose de similaire), être le premier à sortir dans un domaine "brûlant" importe beaucoup plus que la publication dans le "meilleur" journal d'un domaine.

  • Quelle est l'importance de ce document? Un article qui représente un corpus de travaux qui fournit beaucoup de nouvelles données, mais pas vraiment en termes de connaissances révolutionnaires, ne mérite probablement pas d'aller dans une revue de haut niveau. Il vaut probablement mieux chercher un journal de bonne réputation. Cependant, si vous avez vraiment trouvé quelque chose de grand, tirez haut, tant que vous ne vous inquiétez pas du resserrement du temps qui affecte les grands journaux. (Il peut prendre plus de temps, par exemple, pour publier dans Physical Review Letters que dans l'une des autres séries de Physical Review , qui sont de quantité comparable.)

Une fois tous ces éléments pris en compte, je commencerai à m'inquiéter de problèmes tels que le facteur d'impact , mais uniquement en tant que mesure de contrôle de la qualité. Des différences de 10 à 20% sont essentiellement dénuées de sens, mais un 1.0 contre un 2.0, ou un 2.0 contre un 3.0, représente un niveau mesurable de différence entre les revues.


8

Dans un monde idéal, vous ne considéreriez qu'une seule chose lorsque vous choisissez où soumettre un manuscrit:

quel lectorat de la revue comprend le plus large public qui serait intéressé par ce travail?

En pratique, vous tenez également compte d'autres facteurs, peut-être le plus

Dans quelle mesure la publication dans ce journal contribuera-t-elle à ma carrière?

Quiconque comprend bien votre travail le jugera par sa signification réelle , mais ceux qui sont trop éloignés peuvent utiliser la qualité de la revue comme indicateur indirect de la qualité de votre article.

Comment la qualité du journal est-elle déterminée? Les professionnels expérimentés ont leurs propres opinions basées sur les expériences avec chaque journal et les articles qu'ils lisent. Dans certains domaines, comme les mathématiques, cette opinion d'expert ne peut être synthétisée qu'en parlant à de nombreux experts. Dans d'autres domaines, comme l'informatique, cela a été explicitement codifié dans un système de classement à plusieurs niveaux .

La métrique la plus largement disponible pour la qualité des revues est le soi-disant facteur d'impact . Le danger d'avoir une seule métrique largement utilisée pour quoi que ce soit est qu'elle peut être manipulée ou mal appliquée , ou peut tout simplement ne pas être utile pour certaines des choses auxquelles elle est appliquée. Par exemple, comme il ne mesure que les citations sur deux ans, cela n'a pas beaucoup de sens pour les articles de mathématiques, qui obtiennent généralement la plupart de leurs citations après deux ans - souvent beaucoup plus tard. Il semble également être faiblement corrélé avec l'opinion d'experts. Il existe des alternatives, par exemple Eigenfactor . Et de nombreuses personnes proposent désormais l'utilisation de mesures du Web social pour classer les revues .

Je n'utilise pas le facteur d'impact ou d'autres mesures de ce type dans mes propres décisions, car je pense que mon expérience directe me donne une mesure plus précise de la signification d'une revue. Un exercice intéressant consiste à parcourir votre bibliothèque personnelle de références (par exemple, dans un fichier bibtex) et à voir le nombre d'articles qu'elle contient dans différentes revues. Cela vous donnera probablement la meilleure indication de l'endroit où vous devez publier.

Soit dit en passant, il est proposé de créer un classement des revues spécialisées en mathématiques; voir ce rapport et ce blog officiel de l'IMU .

Vous devez également savoir qu'il y a récemment eu une explosion de nouvelles revues de mauvaise qualité basées sur un modèle auteur-payeur. Leurs éditeurs spamment fréquemment de grandes communautés de scientifiques (dont souvent de nombreux non qualifiés) dans le but d'obtenir des noms raisonnablement respectables sur leur comité de rédaction et de solliciter des articles. Autant que je sache, ce sont des vanités à but lucratif .


Comment distinguez-vous ces éditeurs de «vanity press» des éditeurs de qualité évalués par des pairs?
Paul

1
@Paul bonne question; c'est généralement assez évident. Les signes sont qu'ils spamment beaucoup de gens, recrutent des rédacteurs non qualifiés et exigent que vous payiez pour publier. Ils ont également généralement des messages et des sites Web mal écrits (en termes de choses de base comme la grammaire et l'orthographe).
David Ketcheson

Pour déterminer l'étendue de l'audience, vous souhaiterez peut-être déterminer si la revue est en accès libre et si la revue a des politiques d'archivage des données et du code. La recherche a montré 1 2 [3] (Rendre les données disponibles au maximum.) Que les revues en libre accès bénéficient d'un lectorat plus large et d'un impact plus important. Alternativement, si vous ne souhaitez pas publier de données et de code, les revues avec des mandats d'archivage peuvent être un mauvais choix.
cboettig

1
Je suis d'accord avec les commentaires de @ DavidKetcheson, mais j'en ajouterai quelques-uns. Après avoir siégé au comité des subventions à la découverte en mathématiques du CRSNG, il y a de nombreux pièges à utiliser les facteurs d'impact des revues pour évaluer la qualité des articles individuels. Même les meilleures revues contiennent des articles de grande qualité et les résultats médiocres (ou erronés) passent même par le meilleur des processus d'examen par les pairs. Cela dit, je trouverais toujours utile la liste proposée par l'IMU / ICIAM ou l'AustMS (mentionnée par @Dirk).
John Stockie

@cboettig En mathématiques, je soupçonne que le lectorat réel peut être corrélé négativement avec le libre accès, en raison du déluge malheureux des éditeurs de «libre accès» de mauvaise qualité. Bien sûr, l'arXiv s'adresse à un public très large! C'est mon "éditeur" en accès libre préféré.
David Ketcheson

5

Cela dépend vraiment de votre confiance dans les notes des revues. La mesure la plus populaire que je connaisse est le facteur d'impact. Cet article Wikipédia décrit le facteur d'impact, comment il est calculé et comment il est susceptible d'être manipulé, ainsi que d'autres mesures de notation des revues. La chose la plus importante à noter est que les facteurs d'impact pour les revues dans différents domaines ne sont pas nécessairement comparables, même si le système de notation des facteurs d'impact essaie de réduire la «qualité» de chaque revue sur une seule métrique. (Pour une discussion intéressante sur les raisons pour lesquelles une telle idée peut conduire à des résultats trompeurs ou facilement manipulables, voir l'essai de Malcolm Gladwell au New Yorker, The Order of Things , qui traite des classements des collèges et des classements de voitures.)

Le facteur d'impact est le nombre moyen de citations reçues par article publié dans cette revue au cours des deux années précédentes, de sorte que le critère pour juger de la valeur d'une revue évaluée par les pairs par rapport à une autre est le nombre de fois où ses articles récents sont cités en moyenne, par base de l'article. Cette métrique signifie que les revues comme Science et Nature sont bien classées, comme on pourrait s'y attendre, mais cela signifie également que International Journal of Nonlinear Sciences and Simulation (3.100) obtient un classement supérieur à SIAM Journal of Scientific Computing (3.016), même si le ce dernier journal est beaucoup plus reconnaissable.

Quant à votre publication ayant moins de "valeur", cela dépend de la personne. Mes collègues plus expérimentés m'ont dit que le fait d'avoir des articles dans des revues plus prestigieuses est utile pour des choses comme la permanence et les décisions d'embauche; n'ayant pas d'expérience de telles questions de première main, je m'en remets aux commentaires de personnes qui ont plus d'expérience dans ce genre de situations. Cela dépend de la communauté de personnes que vous essayez d'atteindre ou d'impressionner. Si vous publiez quelque chose dans une revue de mathématiques, ne vous attendez pas à ce que des personnes extérieures aux mathématiques le lisent nécessairement. (Le même conseil s'applique à d'autres sujets.) En outre, vous pouvez décider de publier dans une revue moins prestigieuse parce que vous souhaitez obtenir un résultat rapidement plutôt que d'attendre longtemps qu'il soit examiné par une revue plus prestigieuse. JE' On m'a dit que les revues du SIAM peuvent prendre un an ou plus pour réviser un article et le publier, ce qui est étayé par la recherche de l'intervalle entre la date de soumission et la date de publication sur l'article. La soumission à un journal particulier dépend également des objectifs et de la portée, de la politique (qui fait partie du comité de rédaction, qui est susceptible de réviser votre article), de la communauté à laquelle vous souhaitez vous adresser (en quelque sorte avec les conseils sur le sujet ci-dessus) ). Je consulte toujours d'autres personnes sur ces questions. à quelle communauté vous souhaitez vous adresser (en quelque sorte avec les conseils sur le sujet ci-dessus). Je consulte toujours d'autres personnes sur ces questions. à quelle communauté vous souhaitez vous adresser (en quelque sorte avec les conseils sur le sujet ci-dessus). Je consulte toujours d'autres personnes sur ces questions.

Quand je regarde des articles, le «prestige» d'une revue, pour moi, est vraiment mon sentiment interne qui reflète les opinions appréciées d'autres personnes que je connais en science (mes conseillers, collègues, etc.). Je suis plus enclin à faire confiance à un article dans une revue qui est plus prestigieux parce que je pense qu'il est plus susceptible d'être fiable, mais il y a certainement de mauvais articles dans des revues prestigieuses, donc le prestige n'est pas un remplacement pour faire votre propre diligence raisonnable. Par exemple, il y a des fautes de frappe assez sérieuses dans un article de journal par ailleurs bon que j'ai cité de SIAM Review .

Quoi qu'il en soit, c'est mon opinion décousue, et en tant que doctorat (presque) fraîchement édité, je suis sûr que d'autres ayant plus d'expérience auront beaucoup plus de perspective et de perspicacité à ajouter.


Bon résumé. Les temps d'attente dépendent autant du sujet que du «prestige». Les articles lourds en mathématiques prennent beaucoup plus de temps pour être examinés qu'un article orienté logiciel, par exemple, du moins d'après mon expérience. Merci pour le lien New Yorker. C'est une bonne lecture.
Faheem Mitha

3

La notation est nécessairement une activité subjective. Si vous vous souciez de la façon dont les autres évalueront votre article, vous devez déterminer quels sont leurs critères. En règle générale, moins ils ont de compétences dans votre domaine de travail, plus ils s'appuieront sur la notation de la revue plutôt que sur la notation de votre travail, et plus ils s'appuieront sur la bibliométrie (facteurs d'impact, facteurs h, ...) plutôt qu'une expérience personnelle.


3

Il s'agit d'une conversation que vous devriez avoir avec les personnes au-dessus de vous qui vont vous évaluer. Si vous êtes un étudiant au doctorat, vous devriez parler à votre conseiller et à d'autres professeurs de la façon dont leur département et d'autres départements d'autres institutions évaluent le travail des professeurs menant à la permanence lorsqu'ils prennent leurs décisions de permanence. Si vous êtes actuellement professeur titulaire, vous devriez déjà avoir eu cette conversation avec votre directeur de département et d'autres membres du conseil budgétaire du département ou d'organes similaires sur la façon dont ils évaluent le travail des candidats à la permanence. Si vous n'êtes pas professeur d'une certaine façon, ou si vous êtes un universitaire dans un lieu sans permanence, vous devriez poser les mêmes questions à votre superviseur au sujet de la promotion et de la rétention dans votre établissement.

D'après mon expérience, la plupart des chercheurs ne lisent pas ou n'essaient pas de suivre les publications dans des revues pertinentes à leur domaine directement à leur sortie. Peu de gens ont des abonnements personnels à l'IJNMF, par exemple, et lisent chaque numéro du numéro de couverture en couverture. Il y a tout simplement trop de lieux à suivre. Le plus souvent, je trouve que les gens recherchent un travail connexe, utilisent des alertes par e-mail ou Google pour rechercher des articles connexes et suivent directement le travail de leurs collègues et concurrents. Donc, l'important n'est pas d'essayer de voir votre travail via des revues, mais de publier dans le meilleur endroit possible tel que déterminé par ceux qui jugeront votre carrière.

La façon de voir votre travail est de le commercialiser de manière agressive par le biais de conférences, de séminaires, de logiciels gratuits, de votre site Web, etc. à travers d'autres sites, et vous leur donnez des prépublications et des liens vers où ils sont publiés dans les revues, alors cela augmentera votre nombre de citations, ce qui est important pour ceux au-dessus de vous.


Pour ma part, je lis les tables des matières du journal. J'utilise un agrégateur de flux RSS et il ne faut que quelques minutes par semaine pour suivre une dizaine de revues. De cette façon, je reçois généralement les articles bien avant leur date de publication. Vous pouvez voir ceux que j'ai lus ici: scienceinthesands.blogspot.com/2011/10/…
David Ketcheson

J'ai pensé qu'il y avait des gens qui suivaient plus que moi. Je suis principalement hors de la scène de l'édition académique (pas sur cette piste). Il est certainement plus facile de suivre maintenant que lorsque tout n'était que du papier. Par curiosité, combien d'articles de cette collection finissez-vous par lire en un mois?
Bill Barth

Probablement seulement 1-2 dans n'importe quelle profondeur. Mais je tire beaucoup de valeur de la connaissance du travail en lisant certains résumés. Je vais probablement lire sur l'ordre de 25 résumés en un mois. Les autres sont jetés après avoir numérisé le titre.
David Ketcheson

2

Ma réponse courte est: malheureusement, il y en a (presque).

Il y a la notation par l'Aust MS pour les revues mathématiques et je pense qu'il y a aussi d'autres notes. Cependant, à mon avis, cela n'est pas utile. Je cite mon propre blog: "Mon opinion est que la notation est possible mais à la fois inutile et dangereuse. C'est possible, car vous pouvez demander à des mathématiciens expérimentés et vous obtiendrez une réponse fiable. Cela ne sert à rien, car vous savez soit quels journaux sont bon ou vous pouvez demander à un collègue (ce qui est essentiellement la même raison que le précédent). Il est dangereux, car il offre la possibilité de prendre des décisions sur la durée du mandat ou des subventions sur ces chiffres et déplace l'attention de ce que vous publiez vers vous publier."


Malheureusement, vous ne devez pas vous inquiéter à la fois ce que et où publier, au moins si vous êtes au stade de votre carrière où vous êtes préoccupé par avoir besoin de trouver un autre emploi.
aeismail

Eh bien, l'accent devrait être mis sur ce qui est dans le document. Quoi qu'il en soit: si vous êtes très bon, peu importe où vous publiez. Au moins, la communauté mathématique est assez résistante contre des mesures telles que le facteur d'impact et s'appuie sur les avis d'experts (c.-à-d. Arbitres et lettres de recommandation).
Dirk

Si vous êtes dans un domaine comme les mathématiques, ce n'est pas vraiment un problème. Cependant, nous ne savons pas précisément dans quel domaine se situe l'OP, et il y a donc de très bonnes chances qu'il soit évalué par des scientifiques non informaticiens. Ensuite, toute la question de la connaissance par rapport aux impressions revient au premier plan.
aeismail

Je suppose qu'il y a autant de personnes des deux côtés de la question (que ce soit important d'un point de vue pragmatique) ... Dans certaines institutions, cela importe où, dans d'autres, cela importe QUOI.
Paul

1

Il existe certains systèmes de classement des citations, dont on pourrait dire qu'ils sont des mesures décentes du prestige - les articles importants sont cités de plus en plus - le plus commun d'entre eux est le «facteur d'impact». Mais ils ont tous leurs propres problèmes - ils ne sont pas constants par champ, ils sont susceptibles d'être manipulés par des chercheurs intelligents, etc. D'autres qui sont légèrement meilleurs sont l'indice h et l'indice g, mais ... meh.

En général, j'ai trouvé qu'il y a une "sensation" sur le terrain pour ce qui est bon et ce qui ne l'est pas - et plus important encore, ce qui est approprié et ce qui n'est pas pour votre papier. Par exemple, j'ai un article qui a réussi à entrer dans un très bon journal, mais c'est tout à fait inapproprié, donc il languit un peu.

Vos évaluateurs ou collègues seraient probablement les meilleures sources à qui parler. L'expérience est souvent le meilleur juge de ce qui compte comme «bon» pour un article particulier qui se prêterait bien à un journal particulier. Les classements généraux dans les domaines (biologie, médecine, etc.), ou pire encore, les classements à l'échelle de l'université peuvent ne pas être utiles.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.