Comment arbitrer un papier?

Mis à jour ci-dessous

Nous connaissons tous l'importance cruciale de l'examen par les pairs. C’est la principale forme de contrôle de la qualité et de retour d’information sur la recherche. Cependant, pour un chercheur débutant (comme moi), cela peut parfois être un système / processus déroutant.

En conséquence, plusieurs traités sur le processus d'arbitrage scientifique donnent des indications. Deux exemples (très différents) issus de l'informatique - cet article de Parberry de 1994 et un plus récent de Cormode - offrent de bons conseils (bien que ce dernier puisse être un peu malicieux).

Ici, je voudrais solliciter des conseils plus généraux des membres les plus expérimentés de cette communauté sur le processus d’examen, en tenant particulièrement compte des particularités de l’informatique théorique.

1. Quels sont les principaux critères pour déterminer l’importance des résultats d’un article? Comment puis-je juger si un article doit être accepté dans la conférence / le journal? Est-il important de vérifier l'exactitude?
2. Quels sont les principaux éléments d’un rapport d’arbitre et quelles sont les parties les plus importantes? Est-il toujours nécessaire de faire une recommandation de (non) acceptation? Que contient le rapport et que va-t-il uniquement à l'éditeur?
3. Comment l'évaluation des conférences diffère-t-elle de celle des revues? En quoi les rapports de conférence diffèrent-ils de ceux des journaux? (Comment puis-je évaluer ma "confiance" dans ma recommandation?) La version du journal devrait-elle être très différente de celle du document de la conférence?
4. Et si je ne comprends pas le papier? ...la preuve? (Est-ce ma faute ou la leur?)
5. Qu'en est-il des erreurs typographiques / grammaticales? Et s'il y en a beaucoup?
6. Combien de temps dois-je consacrer à un rapport?
7. Combien de rapports par an dois-je rédiger? Quand est-il acceptable de refuser une demande d'arbitrage?

Bien sûr, toutes les autres questions et réponses pertinentes sur ce sujet sont encouragées, puisqu'il s'agit de CW.

Cette question est inspirée par (volé) un poste similaire chez MathOverflow .

Mise à jour du 15/02/2011:

Je suis toujours très intéressé à obtenir plus d'informations sur cette question, notamment en ce qui concerne l'examen des documents de la conférence et la composition du comité de programme. (Ces deux rôles sont des bêtes différentes, et les deux ne ressemblent pas du tout à l'arbitre d'un article de journal, OMI.) responsabilité que chaque chercheur en informatique théorique doit assumer à terme.

• Temps. Combien de temps devrais-je passer en tant que membre de comité ou critique de conférence? Compte tenu de la probabilité que je puisse en avoir dix, voire beaucoup plus, en quelques semaines, comment éviter de manquer de temps? Quelles sont les choses les plus importantes à passer du temps?

• Confiance. Que faire si le papier est trop éloigné de mon domaine de compétence? Quels facteurs doivent être pris en compte dans la nomination / demander à quelqu'un d'autre d'examiner une soumission? S'il n'est pas trop éloigné de mon domaine de compétence et que je décide de l'examiner, quand est-il permis d'attribuer une cote de confiance de 1?

• Critères. Il existe des différences critiques entre les journaux et les conférences. Certains articles très importants ne sont pas publiés dans des revues. Certains documents très importants ne figuraient pas auparavant dans les conférences. Quelles sont les différences les plus importantes entre les critères d’évaluation des papiers dans ces environnements?

• Recommandations. De manière inhérente, moins de recommandations peuvent être proposées aux auteurs d'un document de conférence, principalement en raison de contraintes d'espace et de temps. En outre, il n'y a généralement qu'un seul cycle de révision. Une autre considération est que mon rapport devient public à l'ensemble du comité fort. Quelle est la portée des suggestions / directives que je peux offrir?

Comme auparavant, si vous pensez que j'ai oublié de poser des questions particulières, faites-le moi savoir ou modifiez-le directement. C'est CW, après tout.

Ces nouvelles idées sont en partie motivées par la lecture d'un article mentionné par Suresh sur son blog .

1. À votre connaissance, le document apporte-t-il une contribution significative, bien présentée et correcte à l’état de la technique? Si le document ne répond à aucun des trois critères, il est juste de le rejeter pour cette seule raison, indépendamment des deux autres.

2. Voici ce que je pense qu'un rapport devrait contenir. Tout devrait être visible pour l'auteur, sauf éventuellement pour de graves accusations de mauvaise conduite.

   une. Un résumé rapide du document, destiné à aider l'éditeur à juger de la qualité des résultats et à convaincre l'auteur et l'éditeur que vous avez effectivement lu et compris le document. Placez le résultat dans son contexte plus large. Inclure un historique des versions antérieures, même si les auteurs l'incluent dans la soumission. Soyez respectueux, mais brutalement honnête.

   b. Une discussion sur les forces et les faiblesses de l'article, en termes de correction, nouveauté, clarté, importance, généralité, impact potentiel, élégance, profondeur technique, robustesse, etc. Si vous suspectez un comportement contraire à l'éthique (plagiat, soumission parallèle, données préparées) , décrivez vos soupçons. Soyez respectueux, mais brutalement honnête.

   c. Une recommandation au rédacteur en chef pour des actions futures - accepter, accepter avec une révision mineure, demander un deuxième tour de relecture ou rejeter d'emblée. N'oubliez pas que vous faites une recommandation et non une décision. si vous ne pouvez pas vous décider, dites-le simplement. Soyez respectueux, mais brutalement honnête.

   ré. Retour plus détaillé à l'auteur - justification plus détaillée de votre recommandation, demandes de clarification dans la version finale, références manquantes, erreurs dans les preuves, simplifications, généralisations, fautes de frappe, etc. Soyez respectueux, mais brutalement honnête.

3. Les rapports de conférence devraient être plus courts. les comités de programme ont des centaines de documents à examiner en même temps. La question de savoir s'il doit y avoir une différence entre les articles de conférence et ceux de journaux dépend de la revue (et indirectement, de la communauté). La plupart des revues d'informatique théoriques n'insistent pas sur une différence significative; il est assez courant que les versions de conférence et de journal d'un document théorique soient essentiellement identiques. En cas de doute, demandez à l'éditeur!

4. Si vous ne comprenez toujours pas le document après avoir fait un effort de bonne foi, c'est la faute de l'auteur, ou peut-être celle du rédacteur en chef, mais certainement pas la vôtre. La principale responsabilité de l'auteur consiste à communiquer efficacement le résultat de son travail à son public. Un bon éditeur vous enverra un article à l'arbitre uniquement s'il pense que vous êtes un bon représentant du public visé. Mais vous devez faire un effort de bonne foi. ne vous attendez pas à tout comprendre immédiatement (rien?) dès votre première lecture.

5. S'il y a beaucoup d'erreurs, ne lisez même pas le journal; Il suffit de recommander le rejet au motif que le document n’est pas rédigé de manière professionnelle. Sinon, si vous voulez vraiment être minutieux, incluez une liste représentative des fautes de grammaire, d'orthographe et de ponctuation, mais ne vous assommez pas à la recherche du dernier bogue. Soyez respectueux, mais brutalement honnête.

6. Attendez-vous à consacrer environ une heure par page, principalement à l'internalisation des résultats et des techniques du document. Soyez agréablement surpris quand cela ne prend pas si longtemps. (Si cela prend beaucoup moins de temps que cela, soit le papier est extrêmement élégant et bien écrit, vous connaissez très bien la région, soit le papier est techniquement superficiel. Ne confondez pas ces trois possibilités.)

7. Vous devriez rédiger au moins autant de rapports d’arbitres que d’autres personnes écrivent pour vous. Si cela prend plus de temps que d'écrire vos propres papiers, vous ne passez pas assez de temps sur vos propres papiers.

Cela dépend beaucoup de la conférence / du journal, car chaque communauté a développé son propre style, donc savoir ce qu'on attend de la conférence / du journal aidera certainement un peu.

1. Quels sont les principaux critères pour déterminer l’importance des résultats d’un article? Comment puis-je juger si un article doit être accepté dans la conférence / le journal? Est-il important de vérifier l'exactitude?

Critères: nouveauté / originalité, impact escompté, exactitude / validité, extensibilité (quelle partie du problème est étudiée? + Théorèmes? + Mise en œuvre? + Résultats expérimentaux?), Qualité de la présentation. Les critères d'acceptation des journaux sont beaucoup plus élevés que pour les conférences. Pour une conférence, vous attribuez une note basée sur les critères précédents. Vérifier l'exactitude autant que possible est très important, en particulier pour les articles de revues.

2. Quels sont les principaux éléments d’un rapport d’arbitre et quelles sont les parties les plus importantes? Est-il toujours nécessaire de faire une recommandation de (non) acceptation? Que contient le rapport et que va-t-il uniquement à l'éditeur?

Le rapport des arbitres contient au moins 4 éléments principaux: Un résumé du document et de ses contributions; des points en faveur de l'acceptation du papier; points contre le papier; les principaux commentaires, y compris les points à traiter; commentaires mineurs (fautes de frappe, etc.). Vous devez toujours donner une indication de l'acceptation ou du rejet ou du degré de révision requis. Les commentaires adressés au rédacteur pourraient inclure: une brève évaluation peut-être brutale du document; toute déclaration de doute; des détails sur le plagiat possible ou la soumission parallèle du document; ...

3. Comment l'évaluation des conférences diffère-t-elle de celles des revues? En quoi les rapports de conférence diffèrent-ils de ceux des journaux? (Comment puis-je évaluer ma "confiance" dans ma recommandation?) La version du journal devrait-elle être très différente de celle du document de la conférence?

Les revues de presse ont tendance à être plus complètes et peuvent inclure beaucoup de choses que les auteurs peuvent faire pour amener leur article dans un état acceptable, tel que "mettre en œuvre et évaluer ces idées". Votre confiance devrait être basée sur votre confiance. Généralement, cela vient avec l'expérience, alors commencez par être conservateur. Si cela ne relève pas de votre domaine, même si vous comprenez bien le document, être conservateur est également une bonne idée - il est difficile d'évaluer l'originalité d'un document en dehors de votre domaine. Certaines revues indiquent que les soumissions de revues doivent contenir une quantité substantielle de nouveaux documents par rapport à la version de la conférence. 30% est un chiffre que j'ai entendu.

4. Que faire si je ne comprends pas le papier? ...la preuve? (Est-ce ma faute ou la leur?)

Cela peut varier. Parfois ce sera votre faute, parfois ce sera la leur. Utilisez votre jugement. Peut-être demander à un collègue de jeter un coup d'œil au journal. Si vous ne pouvez absolument pas le comprendre et que ce n’est pas dû à une mauvaise mise en forme, contactez peut-être le président du PC et expliquez-le. Dans tous les cas, cela devrait se refléter dans votre score de confiance. Si vous ne parvenez pas à comprendre le document en raison d'une écriture ou d'un langage médiocre ou parce qu'il a été soumis prématurément, vous devez le noter dans votre rapport.

5. Qu'en est-il des erreurs typographiques / grammaticales? Et s'il y en a beaucoup?

Quand j'étais plus jeune, je rapportais chaque faute de frappe et d'erreur grammaticale. Maintenant, je n'ai tout simplement pas le temps. Il est toujours utile d'en signaler quelques-uns: choisissez les plus graves. Recommandez également que le document soit corrigé (par un locuteur natif). Pour les articles de journaux, soyez plus approfondi. S'il y a trop d'erreurs, cela n'aurait pas dû être soumis à un journal, seul motif de rejet (IMHO).

6. Combien de temps devrais-je consacrer à un rapport?

Un jour maximum pour un document de conférence, y compris le temps de lecture. Pour les journaux, en particulier les plus longs, la lecture attentive peut prendre une semaine entière.

7. Combien de rapports par an dois-je rédiger? Quand est-il acceptable de refuser une demande d'arbitrage?

Le montant prévu peut varier entre 5 et 30. En tant que chercheur débutant, vous en recevrez quelques-uns pour la pratique. Au fur et à mesure que vous avancez dans les notes, vous passerez de nouvelles critiques en devenant membre des PJ. Alors que vous avancez encore plus loin, vous aurez une armée de doctorants à faire votre revue pour vous. Plus de 30 par an est assez onéreux.

Comme je l'ai dit plus haut, je dirais qu'il est approprié de refuser une demande d'arbitrage lorsque l'un (1) vous estimez ne pas avoir l'expertise suffisante pour effectuer une bonne révision, ou (2) vous en avez trop pour la révision (ou autre). engagements pour le moment. Il est également considéré comme une bonne forme de suggérer un certain nombre de réviseurs alternatifs possibles, dans le cas où vous refusez.

Je donne ici mes 2 centimes et j'ajoute un septième point:

1. Combien de rapports dois-je faire chaque année?

Mes réponses

1. Bien entendu, les critères ne sont pas les mêmes pour les conférences et les revues. L'exactitude est probablement le critère le plus important. Ensuite, mon deuxième critère est la nouveauté des résultats pour les conférences, alors que c’est l’impact des résultats pour les revues. Pour une conférence, il est également important de juger si le document intéresse le public, mais il s'agit d'un jugement qui peut être fait par les présidents des PC plutôt que par les réviseurs.

2. Tout d'abord, sauf si vous suspectez une fraude ou une mauvaise pratique et que vous n'êtes pas sûr (vous ne devriez en parler qu'à l'éditeur), mon avis est que vous devez tout dire aux auteurs. Je pense qu'il est important d'être honnête avec les auteurs et donc de toujours faire une recommandation. Dans un rapport, vous devez décrire le sujet, les résultats (afin que les auteurs sachent que vous comprenez le document), puis vous devez évaluer le bien-fondé des résultats (nouveauté par rapport à l'état de la technique, profondeur technique, exactitude, clarté). et soulignez chaque problème. Enfin, vous devriez donner votre recommandation, éventuellement en conseillant les auteurs (par exemple, "je pense que ce résultat est intéressant, mais convient mieux à la conférence A que celle-ci"). Dans très peu de cas, on vous remettra des papiers qui ne méritent même pas d'être soumis,

3. Je pense que, sauf dans le cas d'une invitation d'un journal pour un numéro spécial lié à un document de conférence, il devrait y avoir une différence significative.

4. Deux cas: il est incompréhensible (leur faute), vous pouvez donc rejeter le document pour cette raison ou vous n’êtes pas le bon critique pour ce document. Quand cela se produit, vous savez de quel cas il s’agit, sinon vous êtes dans le second cas!

5. Je ne parle pas l'anglais, ma réponse est donc biaisée. Mais je pense que ce n'est pas une raison pour rejeter un document (sauf dans certains cas extrêmes).

6. Le temps nécessaire. Cela peut aller de 1 heure (un mauvais article dans un atelier) à plusieurs jours (un article très impliqué dans un journal de haut niveau).

7. Personnellement, je m'attends à faire 3 rapports par article que j'ai soumis (et oui, c'est beaucoup, en fait, passer en revue probablement l'une de mes tâches les plus fastidieuses - avant d'enseigner peut-être).