Repenser le peer review : le rôle des premières citations
La révision par les pairs est-elle encore efficace ? Les premières citations pourraient détenir la clé.
Kenneth Church, Raman Chandrasekar, John E. Ortega, Ibrahim Said Ahmad
― 7 min lire
Table des matières
- Le défi d'identifier les articles importants
- Premières citations vs. lieu de publication
- La réalité de la révision par les pairs
- Incitations et éthique dans la révision par les pairs
- Le coût et l'échelle de la révision par les pairs
- L'importance des premières citations
- Alternatives à la révision par les pairs traditionnelle
- Révision par les pairs ouverte et autres approches innovantes
- Un nouveau rôle pour les conférences et les journaux
- Le cas pour des actions concrètes
- Conclusion
- Source originale
- Liens de référence
La révision par les pairs est un élément clé de la publication académique depuis pas mal d'années. Ça implique des experts qui examinent un article avant qu'il soit publié dans un Journal ou lors d'une conférence. L'idée, c'est que ces experts s'assurent de la qualité et de la pertinence du travail. Mais est-ce que cette tradition, qui dure depuis longtemps, est vraiment efficace ? Des Recherches récentes suggèrent que ça pourrait ne pas être aussi précieux qu'on le pensait.
Le défi d'identifier les articles importants
Un des principaux objectifs de la révision par les pairs, c'est d'aider à repérer les recherches qui auront un impact significatif. Mais les lecteurs se retrouvent souvent face à la galère de choisir quels articles lire, vu le nombre de publications. Ils doivent privilégier les articles de revues et conférences prestigieuses, ou se concentrer sur autre chose ? La discussion actuelle transforme cette question en un genre de jeu de devinettes : peut-on prédire quels articles seront très cités à l'avenir ?
Les recherches montrent qu'il est possible de prédire les citations futures en se basant sur les succès précoces d'un article. Les premières citations — celles reçues peu après la publication — peuvent être plus révélatrices que le lieu de publication. En fait, les articles avec quelques premières citations finissent souvent par être plus influents que ceux publiés dans des lieux sélectifs sans reconnaissance précoce.
Premières citations vs. lieu de publication
Les résultats indiquent que les premières citations sont un bien meilleur indicateur du futur succès d'un article que la réputation du lieu. Dans le monde académique, c'est courant que les Auteurs soient jugés sur des métriques comme l'h-index et le facteur d'impact — des façons de mesurer combien leur travail est cité. Cependant, se concentrer sur les premières citations peut offrir une image plus claire de quelles recherches vont prospérer.
La réalité de la révision par les pairs
Malgré son rôle dans la communication académique, la révision par les pairs fait face à beaucoup de défis. Les critiques soutiennent souvent que le processus manque d'une base solide. Certains réviseurs peuvent ne pas bien comprendre leurs tâches, ce qui mène à des évaluations incohérentes. Les recherches suggèrent que la fiabilité des révisions par les pairs peut être faible, avec des résultats parfois meilleurs que le hasard mais loin d'être parfaits.
Il est crucial de prendre en compte que beaucoup de révisions par les pairs ont des problèmes tels que des biais, des incohérences et de la subjectivité. Avec ces préoccupations en tête, on peut commencer à se demander si tout ce processus en vaut vraiment la peine.
Incitations et éthique dans la révision par les pairs
La révision par les pairs est aussi pleine de dilemmes éthiques. Les auteurs et les réviseurs peuvent utiliser la technologie pour avoir un avantage déloyal, comme des chatbots qui peuvent résumer des articles ou même générer de fausses critiques. Les journaux ont commencé à serrer la vis sur ça, mais le paysage technologique en constante évolution continue de créer de nouveaux défis.
De plus, l'essor des réseaux sociaux et des plateformes en ligne signifie que les lecteurs peuvent désormais accéder à la recherche sans avoir besoin de se fier uniquement aux journaux à comité de lecture. Cette démocratisation de l'accès soulève des questions sur le rôle de la révision par les pairs traditionnelle.
Le coût et l'échelle de la révision par les pairs
Avec la croissance de l'édition académique, le volume des soumissions augmente dramatiquement. Cela mène à un arriéré, submergeant beaucoup de réviseurs qui sont souvent sous-qualifiés ou trop débordés. Les éditeurs de journaux se retrouvent pris dans un cycle avec trop de papiers et trop peu de réviseurs compétents, ce qui n'ajoute qu'à l'inefficacité du processus de révision par les pairs.
L'importance des premières citations
Se concentrer sur les premières citations pourrait offrir une solution à certains des problèmes mentionnés plus haut. Si les chercheurs peuvent mettre en avant les articles qui reçoivent une reconnaissance précoce, ça pourrait guider les lecteurs vers des travaux plus impactants. Cette approche pourrait aider à réduire la charge sur les réviseurs, car ils pourraient prioriser les articles qui montrent déjà des signes d'influence.
Alternatives à la révision par les pairs traditionnelle
Avec tout ça en tête, y a-t-il des façons plus intelligentes d'évaluer la recherche ? Certains experts suggèrent de se détourner complètement de la révision par les pairs traditionnelle. Au lieu d'obliger les experts à examiner chaque article, un système pourrait être mis en place où les articles sont publiés sur des plateformes en ligne, comme des serveurs de prépublication. Ensuite, les premières citations pourraient servir de guide pour la communauté de recherche, aidant à identifier des travaux précieux.
Révision par les pairs ouverte et autres approches innovantes
La révision par les pairs ouverte est un concept qui a été discuté comme alternative. Cette méthode encourage la transparence en permettant aux auteurs et aux réviseurs de se connaître mutuellement et de se faire connaître du public. Bien que ce système ait ses défenseurs, il soulève aussi des préoccupations sur les biais potentiels, car les réviseurs pourraient se sentir sous pression pour gonfler leurs évaluations s'ils sont identifiables.
Il y a aussi des arguments pour mettre en place des processus de nomination où des chercheurs établis peuvent mettre en avant des articles qu'ils jugent dignes. Cela pourrait aider à prioriser les soumissions de haute qualité tout en répondant à la pénurie de réviseurs. En faisant appel à des figures respectées du monde académique pour nommer des articles, on pourrait se concentrer sur des travaux qui méritent vraiment de l'attention.
Un nouveau rôle pour les conférences et les journaux
À mesure que le paysage de la publication évolue, les journaux et les conférences pourraient avoir besoin d'adapter leurs rôles. Au lieu d'être les seuls gardiens de la qualité, ils pourraient agir comme des facilitateurs, aidant les lecteurs à identifier des articles impactants basés sur les premières citations. Ce changement de focalisation peut diminuer la pression liée à la révision par les pairs traditionnelle et permettre un processus d'évaluation plus dynamique.
Le cas pour des actions concrètes
L'idée n'est pas juste de critiquer le système actuel, mais d'inspirer des discussions constructives sur l'amélioration de la révision par les pairs. En examinant des alternatives innovantes, la communauté peut travailler vers des solutions qui servent mieux toutes les personnes impliquées : lecteurs, auteurs et réviseurs.
Conclusion
Avec toutes les discussions autour de l'efficacité de la révision par les pairs, il devient clair que le modèle traditionnel pourrait avoir besoin d'un coup de jeune. Les premières citations semblent offrir une métrique plus fiable pour évaluer l'impact potentiel d'un article que le prestige d'un lieu. En adoptant de nouvelles idées, et peut-être un peu d'humour, la communauté académique peut travailler ensemble pour identifier des articles qui méritent vraiment d'être remarqués sans se laisser alourdir par un système dépassé. Après tout, dans le monde de la recherche, il est peut-être temps de laisser les chiffres parler et de simplifier un peu les choses !
Source originale
Titre: Is Peer-Reviewing Worth the Effort?
Résumé: How effective is peer-reviewing in identifying important papers? We treat this question as a forecasting task. Can we predict which papers will be highly cited in the future based on venue and "early returns" (citations soon after publication)? We show early returns are more predictive than venue. Finally, we end with constructive suggestions to address scaling challenges: (a) too many submissions and (b) too few qualified reviewers.
Auteurs: Kenneth Church, Raman Chandrasekar, John E. Ortega, Ibrahim Said Ahmad
Dernière mise à jour: 2024-12-18 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2412.14351
Source PDF: https://arxiv.org/pdf/2412.14351
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.latex-project.org/help/documentation/encguide.pdf
- https://github.com/kwchurch/is-peer-reviewing-worth-the-effort
- https://scholar.google.com/citations?view_op=top_venues
- https://scholar.google.com/citations?view_op=top_venues&vq=eng_computationallinguistics
- https://github.com/ourownstory/neural_prophet
- https://nexus.od.nih.gov/all/2023/06/23/using-ai-in-peer-review-is-a-breach-of-confidentiality/
- https://www.arc.gov.au/sites/default/files/2023-07/Policy
- https://www.science.org/content/article/vendor-offering-citations-purchase-latest-bad-actor-scholarly-publishing
- https://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng_computationallinguistics
- https://awards.acm.org/doctoral-dissertation/nominations
- https://acl-org.github.io/ACLPUB/formatting.html
- https://aclweb.org/anthology/anthology.bib.gz