Évaluation ouverte par les pairs : polysémie et problématiques. 1/2
Julien Bordier est docteur en sociologie. Il est chargé du projet « Évaluations et commentaires ouverts » dans le cadre d’OpenAIRE2020 pour OpenEdition, en partenariat avec la revue VertigO et le consortium Couperin. Ce texte est la première partie d’une revue de littérature problématisée préalable à la mise en place d’un dispositif expérimental d’évaluations et de commentaires ouverts par les pairs sur le Carnet de recherche de la revue VertigO (vertigo.hypotheses.org). Cette première partie est un état des lieux, la seconde problématisera les enjeux de l’évaluation ouverte.
Cette présentation du principe de l’évaluation ouverte par les pairs n’a pas la prétention de brosser un tableau exhaustif de ses modalités et de ses modèles existants. Elle cherchera plutôt à donner un aperçu général et correspond à une première appréhension de la question. Celle-ci est bien-sûr guidée subjectivement par l’expérimentation d’évaluation ouverte par les pairs que nous serons amenés à mettre en place autour de la revue en sciences de l’environnement [VertigO]1. L’idée est donc ici, plutôt que de définir un état de la recherche et du débat existant, de sélectionner ce qui me paraît le plus pertinent, dans ce que j’ai pu consulter en quelques jours, pour tracer des sillons qui pourraient servir au protocole que nous allons mettre en place. La plupart des ressources consultées sont des ressources en ligne. Il est important de noter que de nombreux commentateurs du phénomène – issus quasi-exclusivement de la communauté scientifique – s’expriment à ce sujet sur leurs blogs personnels. Je fais ici le choix de ne pas trancher entre ce type de publications et celles publiées de manière plus officielles.
Qu’est-ce-que l’évaluation ouverte par les pairs ?
Si cette question peut sembler bien naïve pour commencer, un premier survol des débats concernant l’évaluation ouverte par les pairs montre une définition tout à fait éclatée. Cette première impression amène à penser que dans le cadre de la mise en place d’un protocole d’évaluation ouverte par les pairs, il est essentiel au préalable de proposer une définition claire et simple du protocole. Laisser aux protagonistes de l’expérience le soin de se documenter sur les possibilités et les questions propres à l’évaluation ouverte par les pairs prend le risque de les embrouiller plus que de les familiariser avec la question. La littérature sur le sujet est dense et, comme mentionné plus haut, issue de sources diverses. On remarque par ailleurs que la question est discutée depuis les années 90, en particulier dans les STEM (Science, Technology, Engineering, and Mathematics) et les sciences médicales, dans la sphère anglo-saxonne notamment. Cela semble être moins le cas dans les humanités et sciences sociales et la sphère francophone.
Avant de s’intéresser à l’évaluation ouverte par les pairs, revenons d’abord sur le principe de l’évaluation par les pairs. C’est l’Institut de l’information scientifique et technique du CNRS qui fournit en français, la définition la plus concise de ce qu’est l’évaluation par les pairs :
Définition : l’évaluation par les pairs désigne la validation d’un article par un comité de lecture composé de scientifiques, experts dans le même champ disciplinaire que le contenu de l’article. Ce processus est destiné à lui assurer une qualité scientifique.
Synonymes : contrôle par les pairs ; peer review ; (processus de) contrôle des pairs ; révision par les pairs ; évaluation scientifique ; validation du contenu par un comité d’experts ; validation scientifique.
Anglais : peer review2
L’évaluation par les pairs (peer review) est en effet un des principes centraux de la publication scientifique – ce sur quoi s’accordent tous les papiers consultés sur le sujet. Elle consiste à faire évaluer une proposition de publication par des chercheurs compétents, issus du même champ disciplinaire que l’auteur. Ceux-ci valident (avec ou sans corrections demandées) ou désapprouvent la proposition, lui ouvrant la voie vers la publication ou au contraire la rejetant. Cette tâche d’évaluation peut être celle de chercheurs compétents désignés par l’éditeur, elle peut également revenir au comité de lecture. De manière générale, il est évident qu’une publication attache une attention particulière à la qualité et la véracité des articles qu’elle publie. Ainsi, l’évaluation par les pairs est une garantie à la vérification des informations, de la méthodologie et des résultats présentés. Le critère de l’évaluation des articles (reviewing) est perçu, de manière générale, comme un indicateur de la qualité de la revue. Face à cette première définition très générale, on peut déjà poser deux problématiques qui poussent vers un renouvellement de la pratique, à la suite de Michael Nielsen (programmeur, théoricien et auteur qui a quitté ses fonctions universitaires pour se consacrer à la promotion des sciences ouvertes)3.
Premièrement, si l’évaluation par les pairs est censée être l’outil central de vérification de la validité des informations et résultats d’un article scientifique, force est de constater qu’elle n’est pas infaillible. De nombreux canulars, fraudes scientifiques, plagiats et résultats erronés passent entre les mailles du filet de l’évaluation par les pairs. Le cas emblématique est celui de Jan Hendrick Schön qui publia une série de découvertes sur les semi-conducteurs à molécule unique dans des revues à comité de lecture telles que Nature, Science et Physical Review. Jusqu’à ce que celles-ci soient démontées a posteriori par la communauté scientifique – et dé-publiées, mettant en exergue les limites de l’évaluation par les pairs quant à la vérification de la véracité des informations contenues dans les articles évalués. Cette limite n’est pas marginale, il est question de vingt-et-un articles frauduleux dans le cas de Schön4. Nous n’avons pas réussi à trouver d’études quantitatives claires indiquant un taux de dé-publication d’articles évalués, mais le cas de Schön n’est pas anecdotique. En 2013 par exemple, les éditeurs Springer et IEEE dé-publiaient plus de 120 articles évalués après que Cyril Labbé (chercheur en informatique, Université de Grenoble) les ait exposés comme étant générés informatiquement par SCIgen5.
Deuxièmement, l’évaluation par les pairs étant présentée comme le modèle standard de vérification de la véracité des articles publiés, elle est considérée comme faisant partie – et ayant toujours fait partie – de la démarche scientifique moderne. Michael Nielsen cité plus haut, s’appuyant sur trois articles étudiant la question6, relativise et contredit cette idée :
The myth that scientists adopted peer review broadly and early in the history of science is surprisingly widely believed, despite being false. It’s true that peer review has been used for a long time (…). But in most scientific journals, peer review wasn’t routine until the middle of the twentieth century, a fact documented in historical papers by Burnham, Kronick, and Spier7.
L’évaluation par les pairs s’est imposée comme modèle, mais elle n’est pas un modèle scientifique anhistorique, et partant inamovible. Toute démarche scientifique doit être replacée dans son contexte historique, comme le rappelle l’anthropologie des sciences. Reprenant le cas de la revue Nature, souvent prise en exemple dans la littérature consacrée, la mise en place de l’évaluation par les pairs ne date que de 19678. Relativiser ainsi l’évaluation par les pairs indique que d’autres modèles d’évaluations sont possibles. L’évaluation ouverte par les pairs en est manifestement un ; la manière dont une grande partie de la communauté scientifique débat et documente la question en est d’ailleurs la preuve. Enfin, notons que de nombreux commentateurs dressent des listes d’accusation à l’encontre de l’évaluation par les pairs classique (lent, inefficace, douteux, variable, arbitraire, émoussant le scepticisme scientifique, soumis au carriérisme, cher9), il ne me semble pas important d’entrer ici dans le détail mais de mentionner que le protocole est mis en débat, parfois de manière très radicale10.
Il convient donc de s’entendre sur le qualificatif d’ouvert accolé au principe d’évaluation par les pairs. C’est alors à différentes nuances et caractéristiques auxquelles il faut s’intéresser, plus qu’à une définition claire. Il est d’ailleurs intéressant que l’Institut de l’information scientifique et technique du CNRS dont nous avons cité la définition de l’évaluation par les pairs, ne fournisse pas de définition de l’évaluation ouverte par les pairs, alors même qu’il est engagé dans la dynamique de l’Open Access. Si l’évaluation ouverte par les pairs fait référence au libre accès, elle n’est pas forcément mise en place dans toute publication en libre accès, comme le rappelle Peter Suber.
La suppression des barrières d’accès et la réforme du processus d’évaluation par les pairs sont toutefois des projets indépendants. L’accès ouvert est compatible avec toute forme d’évaluation par les pairs et ne présuppose aucun modèle particulier. Néanmoins l’inverse ne serait pas vrai. Des modèles émergents d’évaluation par les pairs présupposent l’accès ouvert, par exemple des modèles d’«évaluation ouverte» dans lesquels les manuscrits soumis sont disponibles en accès ouvert (avant ou après le processus d’évaluation propre à la revue) et évalués ensuite par la communauté des chercheurs. L’évaluation ouverte requiert des documents en accès ouvert mais l’accès ouvert ne requiert pas d’évaluation ouverte11.
Toutefois il existe des modèles économiques variables. Ainsi on peut aisément imaginer une évaluation ouverte par les pairs mise en place dans une revue à accès payant. Seuls les abonnés bénéficieraient du principe d’ouverture. Ce fut le cas quand Nature expérimenta l’évaluation ouverte en 200612, cela est toujours le cas dans la revue Agricultural and Forest Methodology (Elsevier)13. Nous reviendrons plus loin sur les liens entre évaluation ouverte et libre accès, intéressons-nous d’abord aux caractéristiques de la première.
Lorsque l’on se penche sur la littérature concernée, on remarque en premier lieu que la question de l’ouverture concerne avant tout l’anonymat des discutants/évaluateurs (rapporteurs, referees). C’est cette caractéristique qui est la plus largement discutée. C’est également une caractéristique qui ressort dans trois définitions de l’évaluation ouverte par les pairs qui semblent significatives. Tout d’abord celle donnée par la P2P Foundation :
Open Peer Review is a form of Peer Review, where readers have the right to consult the commentaries by peers in the scientific validation process. (…) Open peer review consists of signed reviews that can be posted on the Internet. This transparency aims to resolve some of the drawbacks of anonymous reviewers in the normal peer review process14.
Citons ensuite celle donnée par David Shotton, zoologue d’Oxford, en 2012 :
The whole review process is entirely transparent. Each submitted manuscript is immediately made available on the journal’s website. Reviews and comments from readers are welcomed, and are considered alongside the formal peer reviews solicited from experts by the journal. All the reviews, the author’s responses, and the original and final versions of the article are published, and the appointed reviewers and editors are acknowledged by name in the final version15.
Enfin, on peut citer la définition donnée par João Pedro de Magalhães, chercheur en sciences biomédicales (2012), qui synthétise la réflexion autour de l’évaluation ouverte par les pairs à partir de la littérature émanant de son corps disciplinaire. Celle-ci me semble bien résumer la problématique à la base de l’ouverture de l’évaluation par les pairs, même si elle tend déjà à l’interprétation du phénomène :
Open peer review consists of signed reviews that can be posted on the Internet together with accepted and refused manuscripts and grant proposals. The idea is to have a more transparent process not only in scientific journals but, most of all, in granting organizations. (After all, anyone with enough tenacity can have a paper accepted given the dozens of scientific journals nowadays, but in most countries there are only a few granting agencies.) I defend that transparency and openness must be implemented in scientific journals, granting agencies, job applications, and every single step of the academia. Secrecy forges despotism. Transparency is always the best protection against abuse16.
Ce qui caractérise donc l’évaluation ouverte par les pairs, ce sont avant tout la possibilité pour l’auteur qui soumet une publication d’identifier les discutants/évaluateurs de son projet de publication d’une part, et d’avoir accès aux rapports critiques (discussion/évaluation) d’autre part. De ces deux dimensions, la littérature offre une place prépondérante à l’analyse des changements induits par l’identification des discutants/évaluateurs. Si l’on comprend bien les enjeux professionnels liés à cette question, on pourrait s’attendre à davantage de réflexions sur l’émulation intellectuelle permise par la consultation des rapports d’évaluation. En effet, cette possibilité semble créer l’espace adéquat à une discussion intellectuelle des approches, des méthodes et des résultats d’une publication scientifique. Enfin, avant d’entrer dans le débat, rappelons simplement que la discussion critique de thèses scientifiques est une activité admise et garante de qualité dans la recherche scientifique, pratiquée dans n’importe quel séminaire de recherche. Les discutants n’y sont bien évidemment pas anonymes et le contenu de la discussion est bien-sûr connu de tous les participants ; c’est bien ce qui constitue l’intérêt épistémologique et didactique de telles discussions.
Identification des discutants/évaluateurs
Arrêtons-nous d’abord sur la question de l’identification des discutants/évaluateurs dans la mesure où elle est la plus discutée. Pour Fiona Godlee de BioMed Central17, cela offre plusieurs avantages : un renforcement de l’éthique (contre les conflits d’intérêts masqués par l’anonymat), une neutralisation des critiques infondées (puisque le discutant peut-être discuté à son tour), la possibilité technique de mettre en place un tel protocole (au vu du développement de l’édition électronique) et la possibilité pour les discutants/évaluateurs de tirer profit des évaluations réalisées (puisqu’ils peuvent les revendiquer en leur nom)18. De manière générale, les partisans de l’évaluation ouverte par les pairs arguent tous du bienfait de l’identification des discutants/évaluateurs pour le processus d’évaluation. Dans une enquête réalisée pour une revue de psychiatrie – The British Journal of Psychiatry – sur l’évaluation ouverte par les pairs, en particulier sur la question de l’anonymat, les auteurs affirment statistiquement et sans détour le bienfait de l’identification des discutants/évaluateurs ; ils remarquent également qu’une immense majorité de discutant/évaluateur est prête à divulguer son identité. Les résultats de l’enquête sont clairs :
A total of 245 reviewers (76%) agreed to sign. Signed reviews were of higher quality, were more courteous and took longer to complete than unsigned reviews. Reviewers who signed were more likely to recommend publication19.
Publicité des rapports critiques
Mais la question centrale – et très discutée – de l’anonymat des discutants/évaluateurs ne doit pas déconnecter pour autant l’évaluation ouverte par les pairs des possibilités offertes par l’Open Access, et des potentialités propres à l’édition électronique en général en terme d’élargissement de la diffusion. Les processus éditoriaux scientifiques étant largement bouleversés par l’édition électronique20, la question des modalités d’évaluation des publications se pose également. C’est dans cette optique que la question de la mise à disposition des rapports d’évaluation est centrale. Celle-ci semble en effet répondre en partie aux objectifs fixés par la Déclaration de Berlin de 2003, et les pousser encore plus loin :
Nous remplissons par trop imparfaitement notre mission de diffusion de la connaissance si l’information n’est pas mise rapidement et largement à la disposition de la société. De nouvelles possibilités de diffusion de la connaissance, non seulement sous des formes classiques, mais aussi, et de plus en plus, en s’appuyant sur le paradigme du libre accès via l’Internet, doivent être soutenues. Nous définissons le libre accès comme une source universelle de la connaissance humaine et du patrimoine culturel ayant recueilli l’approbation de la communauté scientifique.
Dans le but de concrétiser cette vision d’une représentation globale et accessible de la connaissance, le web du futur doit être durable, interactif et transparent. Le contenu comme les outils logiciels doivent être librement accessibles et compatibles21.
En effet, la possibilité d’avoir accès aux rapports critiques adressés à un projet de publication et éventuellement aux versions pré-publication et réécrites de la publication, met en visibilité un processus essentiel de la recherche : l’amélioration par la discussion des méthodes et des résultats22. Pour le dire en d’autres termes, la publicité des rapports d’évaluation rend public le principe dialectique qui anime la recherche quelle que soit la discipline. Cela permet à quiconque s’y intéresse de comprendre le processus de discussion qui tend à une amélioration méthodologique et épistémologique en général, et/ou de comprendre/mettre en visibilité les divergences intellectuelles qui peuvent se manifester23. Pour reprendre les termes de la Déclaration de Berlin, une évaluation ouverte par les pairs – qui serait en Open Access – met donc potentiellement « à disposition de la société » la discussion sur laquelle se construit « l’approbation de la communauté scientifique ». C’est ce que pressentait déjà Ghislaine Chartron, professeure en Sciences de l’information et de la communication, en 2006 :
Contrairement à de nombreuses formes de débat public, la fonction d’évaluation reste attachée à un travail approfondi, cadré dans une relation de confiance entre des experts et des comités de rédaction. La transposition de cette fonction sur d’autres vecteurs pourrait très bien s’envisager mais il n’en est rien pour le moment, la revue restant le repère structurant de la publication scientifique, même dans les champs les plus innovants en termes de communication numérique.
Toutefois, il faut signaler l’ouverture très récente (juin 2006) du service PloSOne qui vise à introduire des débats plus ouverts pour l’évaluation des articles des revues de cet éditeur, articles qui sont déjà en accès libre par ailleurs. L’évolution est peut-être en marche ?24
La publicité des discussions autour d’une publication n’est pas sans rappeler le concept d’extelligence – également appelé noosphère dans l’espace francophone – tel que l’emploient Robert Friedman (spécialiste en systèmes d’information, New Jersey Institue of Technology), Brian Whitworth (mathématicien et neuropsychologue, Massey University) et Michael Brownstein (philosophe, New Jersey Institue of Technology).
Extelligence is the ability of an individual to think, not just with his or her own mind, but with the minds of others as well. We are not speaking about merely sharing information with others, nor are we speaking about some sort of mystical collective “group mind”. We are thinking about individuals sharing thought in the way that the two hemispheres of the brain collectively share the process of creating thought.25
Un concept qu’ils mettent d’ailleurs directement au regard de l’évaluation par les pairs, arguant ainsi d’une communication scientifique plus complète, transparente, libre et partant efficace (selon leurs termes, legitimate rights, transparency, freedom, order) :
Imagine an academic research community using technologies that promote social synergy, where the benefits produced by the community outnumber those that would be produced by its members working alone. Ideally, the traditional peer review system works toward this goal, but the realities of peer review and journal production preclude us from reaching it26.
On peut conclure de manière générale cette première définition de l’évaluation ouverte par les pairs en citant une enquête de 2015, établie sur un corpus de 800 articles évalués, qui affirme que cette forme d’évaluation – où les noms des discutants/évaluateurs sont connus et les rapports rendus publics – ne nuit pas à la qualité des rapports critiques, voire même qu’elle les améliore. Des résultats qui recoupent ceux présentés plus haut émanant d’un même type d’enquête :
Open peer review reports for BMC Infectious Diseases were of higher quality than single-blind reports for BMC Microbiology. There was no difference in quality of peer review in the Journal of Inflammation under open peer review compared with single blind. (…) The quality of peer review reports in journals with open peer review is comparable with that of journals with single-blind peer review. Furthermore, open peer review improves constructiveness of peer reviewer comments.27
Mettre en place un protocole d’évaluation ouverte par les pairs ?
Si l’expérimentation que nous allons mettre en place repose donc bien sur le principe de l’évaluation ouverte par les pairs, il me semble essentiel de proposer aux protagonistes, auteurs et discutants/évaluateurs de l’expérience une définition claire et simple du protocole mis en place. Cela implique bien-sûr a priori d’opérer des choix pratiques quant à la diversité des modèles. Il est donc essentiel de poser la question de l’anonymat des discutants/évaluateurs qui semble être le principal point d’achoppement entre les partisans et les détracteurs de l’évaluation ouverte par les pairs. Ceci-dit, d’un point de vue technique, rien n’empêche d’ouvrir à un plus grand nombre la possibilité de discuter/évaluer des publications, tout en maintenant l’anonymat des discutants/évaluateurs. D’autre part, dans ce même souci pédagogique, il semble important d’insister vis-à-vis des discutants/évaluateurs sur le fait que leurs rapports critiques seront accessibles. Reste à définir cette accessibilité, cela doit relever d’un choix éditorial. En explicitant ces deux dimensions aux participants de l’expérience, on fournit déjà une définition claire du protocole.
Diversité des modèles existants
Si la définition de l’évaluation ouverte par les pairs reste quelque peu flottante (entre question de l’anonymat d’une part, et, intégration des problématiques et enjeux de l’Open Access d’autre part), on doit mentionner ici les différentes formes de discussion/évaluation des publications en ligne, et la manière dont elles sont commentées. Ces différents modèles peuvent fournir des pistes de réflexion pour la mise en place d’un protocole d’évaluation ouverte par les pairs, qui pourrait éventuellement s’inspirer des différents protocoles existants. On ne reviendra pas ici sur les deux caractéristiques/modèles principaux déjà évoqués plus haut, qui sont la publicité des rapports critiques (disclosed review) et l’identification des discutants/évaluateurs (signed review). Outre ces deux caractéristiques, on peut en distinguer au moins cinq autres. Avant de les énoncer, il est essentiel de garder à l’esprit que les unes n’excluent pas forcément les autres, au contraire, elles peuvent se conjuguer et co-exister dans un même protocole
Crowdsourcing review et commentaire par les pairs
La forme la plus ouverte semble être le crowdsourcing review (crowdsourcing = externalisation ouverte28 ou production participative29). Dans ce modèle, la discussion/évaluation est ouverte, sans limite de nombre de commentaires et non-exclusive. Le crowdsourcing review s’apparente au peer commentary (commentaire par les pairs). Toutefois ce dernier peut faire le choix de sélectionner les participants à la discussion en fonction de leurs compétences scientifiques – on verra plus loin que ce n’est pas forcément le cas. A mon sens, tout modèle de peer commentary qui ne définit pas de manière exclusive les participants au protocole n’est autre que du crowdsourcing review. C’est ce système qui a commencé à populariser les possibilités d’une évaluation ouverte par les pairs, en étant mis en place sur des plate-formes telles que les fameuses arXiv et PloS ONE – qui font, elles, de l’évaluation/discussion pre-publication, on le verra plus loin. Ceci dit, un tel protocole n’empêche pas une discussion/évaluation classique a priori des publications mises en ligne. C’est ce qu’affirme notamment Stevan Harnad, chercheur en sciences cognitives et promoteur de l’Open Access, en décrivant ce protocole appliqué dans deux revues dans lesquelles il est lui-même engagé :
If there is anyone on this planet who is in a position to attest to the functional difference between peer review and peer commentary (Harnad 1982, 1984), it is surely the author of the present article, who has been umpiring a peer-reviewed paper journal of Open Peer Commentary (Behavioral and Brain Sciences [BBS] <http://www.princeton.edu/~harnad/bbs.html>, published by Cambridge University Press) for over 2 decades (Harnad 1979), as well as a brave new online-only journal of Open Peer Commentary, likewise peer-reviewed (Psycoloquy, sponsored by the American Psychological Association, <http://www.princeton.edu/~harnad/psyc.html>), which entered its second decade with the millennium. Both journals are rigorously refereed; only those papers that have successfully passed through the peer review filter go on to run the gauntlet of open peer commentary, an extremely powerful and important supplement to peer review, but certainly no substitute for it30.
Où l’on comprend donc que le crowdsourcing review et le commentary peer review n’excluent pas forcément un protocole classique de sélection des propositions de publications, contrairement à ce que certaines ressources peuvent laisser croire. A partir de celui-ci, c’est encore un autre modèle qui peut être exploré, dans lequel un comité de lecture et/ou de rédaction opère la sélection des projets de publications qui seraient soumis au commentaire par les pairs. Retenons ici en tout cas que les modèles ne s’opposent pas forcément, mais peuvent au contraire se répondre et se compléter.
Pre-publication review
Il est nécessaire ici encore de se méfier des termes. Littéralement, l’évaluation pre-publication est le principe de base de l’évaluation par les pairs : un comité de lecture ou des scientifiques compétents évaluent un projet de publication avant sa parution. Dans la galaxie de l’évaluation ouverte par les pairs, la discussion/évaluation pre-publication signifie que les auteurs invitent au débat critique en ligne autour de leur projet de publication ; il faudrait donc parler de pre-publication open review. L’objectif affiché de cette démarche est bien-sûr de solliciter la communauté scientifique pour apporter des améliorations à un projet de publication. On est donc clairement du côté de la discussion et non pas de l’évaluation. Ici encore arXiv fait office de référence, mais il existe de nombreuses plate-formes de pre-publication, des serveurs preprint, notamment celles mises en place par des revues engagées dans l’évaluation ouverte par les pairs telles que Nature Precedings31, PeerJ PrePrints32 par exemple. Ici encore, le modèle n’exclue pas les autres si ce n’est qu’il est admis que la discussion amorcée autour d’une pre-publication vise une publication, qui sera évaluée par les pairs – de manière ouverte ou non.
Post-publication review
La discussion/évaluation pre-publication appelle son modèle miroir, la discussion/évaluation post-publication. Comme son nom l’indique, cela correspond à la possibilité de commenter et discuter des publications après leur publication, soit, en général, après une évaluation positive par les pairs. Tout comme le modèle précédent, celui-ci s’apparente à de la discussion et non pas à de l’évaluation dans la mesure où il n’est plus question ici de juger de la pertinence d’un article pour décider ou non de sa publication. De manière générale, on est tenté de penser que chaque publication électronique devrait mettre en place un système de discussion post-publication, qui, modéré pertinemment, ne pourrait que faire avancer la recherche et rendre possible des liens au sein de la communauté scientifique et avec l’espace public. La question de la modération appelle celle de la place de l’éditeur et/ou du comité de rédaction dans la gestion du modèle. Nous reviendrons sur cette question centrale plus loin.
Synchronous review
La discussion/évaluation synchrone repose en quelque sorte sur le principe du chat, elle suppose que la publication est commentée et amendée en direct. Si on croise ce modèle dans la littérature, tous les auteurs s’accordent à reconnaître qu’elle est toute théorique et difficile à mettre en place, notamment d’un point de vue technique. Elle semble promise à un meilleur avenir dans l’enseignement plus que dans l’évaluation scientifique33. On peut toutefois noter le protocole complexe Natural Selection of Academic Papers (NSAP) dessiné par Pandelis Perakakis (psychologue, Université de Grenade), Michael Taylor (météorologue, Observatoire National d’Athènes), Marco Mazza (chimiste, Université Technique de Berlin) et Varvara Trachana (biologiste, Fondation Nationale de Recherche Hellénique) qui se propose, entre autres, d’intégrer de la discussion/évaluation synchrone34.
Editor-mediated review
Le dernier modèle à évoquer est celui qui me semble le plus important, c’est la discussion/évaluation médiatisée par l’éditeur. On reviendra sur ce point plus loin, dans la mesure où cela semble être un élément central dans la mise en place d’un protocole d’évaluation ouverte par les pairs. Littéralement, la discussion/évaluation médiatisée par l’éditeur renvoie au rôle de facilitateur joué par l’éditeur et/ou le comité de rédaction d’une publication dans le protocole. Cela peut prendre plusieurs formes, de la sélection finale d’une publication après une évaluation/discussion à la sélection des articles soumis au protocole, en passant par l’incitation des uns et autres à commenter, discuter et amender les projets de publications, ou encore plus basiquement à la modération de l’interface de discussion/évaluation par l’éditeur. Remarquons que cette dernière tâche peut renvoyer à un autre modèle de discussion/évaluation, le peer review by endorsement tel que présenté par Jan Velterop (géophysicien et éditeur scientifique), qui consiste à choisir nommément – dans des cadres fixés limitant les potentiels conflits d’intérêt – les discutants/évaluateurs35. Cette dernière solution a d’ailleurs été étudiée dans l’enquête de Maria Kowalczuk et al. citée plus haut. Selon elle, ce modèle ne nuit pas à la qualité des rapports critiques, mais entraîne un plus grand taux d’approbation pour publication, ce qui dans la perspective de l’Open Access n’est pas nécessairement un problème :
Reviewers suggested by authors provide reports of comparable quality to non-author-suggested reviewers, but are significantly more likely to recommend acceptance.36
Une remarque qui recoupe celle faite plus par Elizabeth Walsh et al. mentionnée plus haut :
Reviewers who signed were more likely to recommend publication37.
A suivre…
—
Notes
1 https://vertigo.revues.org/ Expérience en place à l’adresse : http://vertigo.hypotheses.org/evaluations-et-commentaires-ouverts (5.11.2015)
2 http://openaccess.inist.fr/?+-Evaluation-par-les-pairs-+ (tous les liens cités ont été consultés le 08/10/2015)
4 A propos de l’affaire Schön, on peut consulter par exemple : AGIN Dan, Junk Science: How Politicians, Corporations, and Other Hucksters Betray Us, Th. Dunnes Books, 2006, 336 p.
5 Voir: LABBE Cyril, LABBE Dominique, PORTET Francois, « Detection of computer generated papers in scientic literature », 2015, https://hal.archives-ouvertes.fr/hal-01134598, et, http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
6 BURHAM C. John, « The Evolution of Editorial Peer Review » et KRONICK David Abraham, « Peer review in 18th-century scientific journalism », in JAMA, 263(10), 1990 ; SPIER R., « The history of the peer-review process », in Trends Biotechnol, 20(8), 2002.
8 Relevé par M. Nielsen, voir l’histoire de Nature sur http://www.nature.com/nature/history/timeline_1960s.html
9 VELTEROP Johannes, « Peer Review – Issues, Limitations and Future Development », ScienceOpen Research, 2015, https://www.scienceopen.com/document/id/9343463d-161e-4941-84b3-3bd3dd2cb2a5, doi : 10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1
10 A titre d’exemple, « It’s time to slaughter the sacred cow » selon Ethan A. Huff. http://www.globalresearch.ca/pre-publication-peer-review-process-entirely-misguided-warns-former-editor-of-the-british-medical-journal/5449164
11 https://marielebert.wordpress.com/2012/09/11/accesouvert/ & http://legacy.earlham.edu/~peters/fos/overview.htm
14 http://p2pfoundation.net/Open_Peer_Review (L’expression « signed reviews » est soulignée dans le texte).
15 SHOTTON David, « The Five Stars of Online Journal Articles – a Framework for Article Evaluation”, in D-Lib Magazine, Vol. 18, numéro 1-2, doi:10.1045/january2012-shotton, http://www.dlib.org/dlib/january12/shotton/01shotton.html
17 http://www.biomedcentral.com, Open Access Publisher
18 GODLEE Fiona, « Making Reviewers Visible. Openness, Accountability, and Credit », in JAMA, 2002. doi:10.1001/jama.287.21.2762
19 WALSH Elizabeth, ROONEY Maeve, APPLEBY Louis, WILKINSON Greg, « Open peer review: a randomised controlled trial », in The British Journal of Psychiatry, 176, 2000, doi: 10.1192/bjp.176.1.47
20 Voir par exemple : FARCY Joëlle, FROISSART Pascal, MEADEL Céline coord., Sciences.com, libre accès et science ouverte, Hermès 57, CNRS Editions, 2010, 239 p. & DACOS Marin, MOUNIER Pierre, L’édition électronique, La Découverte, 2010, 126 p.
22 Ce qui n’est pas sans rappeler certaines conceptions de la publicité – au sens d’espace public, ce sur quoi nous reviendrons succinctement plus loin.
23 Cette remarque s’applique en particulier aux sciences sociales, où l’interprétation des résultats d’une enquête n’ont d’autre véracité que celle fixée par l’approche choisie par le chercheur.
24 CHARTRON Ghislaine, « Une économie renouvelée de la publication scientifique », in Perspective documentaire en éducation, 2006, p.7 <sic_00117798>
25 FRIEDMAN Robert, WHITWORTH Brian, BROWNSTEIN Michael, Realizing the Power of Extelligence: A New Business Model for Academic Publishing, in The International Journal of Technology, Knowledge and Society, Volume 6, Issue 2, 2010, p. 3 // http://brianwhitworth.com/extelligence2010.pdf
26 Ibid. p. 5
27 KOWALCZUK K. Maria et al., Retrospective analysis of the quality of reports by author-suggested and non-author-suggested reviewers in journals operating on open or single-blid peer review models, BMJ Open, Volume 5, Issue 9, 2015, doi:10.1136/bmjopen-2015-008707
29 JORF n°0179, 5/08/2015, http://www.legifrance.gouv.fr/jo_pdf.do?cidTexte=JORFTEXT000029331922
30 HARNAD Stevan, « The Invisible Hand of Peer Review », in Exploit Interactive, issue 5, 2000. http://users.ecs.soton.ac.uk/harnad/nature2.html
33 Voir notamment les dispositifs décrits dans : KASTMAN BREUCH Lee-Ann, Virtual Peer Review : Teaching and Learning about Writing in On-line Environments, State University of New York Press, 2004/2012, 197 p.
34 PERAKAKIS Pandelis, TAYLOR Michael, MAZZA Marco, TRACHANA Varvara, « Natural selection of academic papers », in Scientometrics, 2010, doi : 10.1007/s11192-010-0253-1
35 VELTEROP Johannes, « Peer Review – Issues, Limitations and Future Development », ScienceOpen Research, 2015, https://www.scienceopen.com/document/id/9343463d-161e-4941-84b3-3bd3dd2cb2a5, doi : 10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1
36 KOWALCZUK K. Maria et al., Retrospective analysis of the quality of reports by author-suggested and non-author-suggested reviewers in journals operating on open or single-blid peer review models, BMJ Open, Volume 5, Issue 9, 2015, doi:10.1136/bmjopen-2015-008707
37 WALSH Elizabeth, ROONEY Maeve, APPLEBY Louis, WILKINSON Greg, « Open peer review: a randomised controlled trial », in The British Journal of Psychiatry, 176, 2000, doi: 10.1192/bjp.176.1.47
- Lire la seconde partie de l’article : Évaluation ouverte par les pairs : polysémie et problématiques. 2/2
OpenEdition vous propose de citer ce billet de la manière suivante :
Julien Bordier (20 novembre 2015). Évaluation ouverte par les pairs : polysémie et problématiques. 1/2. OpenEdition Lab. Consulté le 22 mars 2025 à l’adresse https://doi.org/10.58079/qnqx
Il serait intéressant de revenir sur les échecs des open commentaries des années 2000 (Nature notamment, mais assez largement PLOS One). Par ailleurs, la tradition “d’ouverture” est beaucoup plus ancienne que celle évoquée ici, et date d’avant l’électronisation des revues puisqu’on la trouve en anthropologie au début des années 1960. Voir
David Pontille, Didier Torny. From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review. Human Studies, Springer Verlag, 2015, 38 (1), pp.57-79. . https://hal.archives-ouvertes.fr/hal-01143310
et l’article évalué en open review par Ada
David Pontille, Didier Torny. The Blind Shall See! The Question of Anonymity in Journal Peer Review.. Ada: A Journal of Gender, New Media, and Technology, 2014, http://adanewmedia.org/2014/04/issue4-pontilletorny/. https://halshs.archives-ouvertes.fr/halshs-00981277
Merci pour ce commentaire et ces références. La question de l’historicité et celle de l’échec des dispositifs mis en place dans les années 2000 est évoquée dans la suite de l’article, à paraître ici prochainement.
D’autre, je vous invite à aller consulter le déroulement de l’expérience que nous mettons en place sur le Carnet de recherche de la revue VertigO, http://vertigo.hypotheses.org/evaluations-et-commentaires-ouverts; ainsi qu’à commenter/annoter vous-même les cinq textes ouverts à commentaire, http://vertigo.hypotheses.org/category/commentaire-ouvert
A propos de : “Nous n’avons pas réussi à trouver d’études quantitatives claires indiquant un taux de dé-publication d’articles évalués …” –> peut-être regarder du coté du “retraction index” et sa corrélation avec des revues à fort Impact Factor.
Vous voulez dire “Retraction Watch ” ?