Retour sur le premier datathon d’OpenEdition : Read, Write, Cite

Les 5 et 6 septembre derniers, les membres des projets Appropriation des savoirs ouverts (A*Midex – 2018/2020) et Hycar (URFIST), se réunissaient pour travailler, en collaboration avec des membres de l’équipe d’OpenEdition et des partenaires invités, sur les données issues des plateformes d’OpenEdition et les données issues des projets de recherche. La journée a été organisée et pilotée par Samuel Goëta de la coopérative DATACTIVIST.

Travailler avec les données des plateformes d’OpenEdition

Trois défis ont été proposés aux participants du datathon :

Défi 1 – Analyser la fréquentation des plateformes

Dans les analyses de l’impact de la science, l’acte de lecture a souvent disparu. L’impact est généralement réduit à la citation académique, mesurée avec des outils inadaptés. Pourtant, autour des plateformes numériques d’édition comme OpenEdition, les données pullulent pour analyser l’activité de lecture. S’appuyant sur ces sources massives de données, OpenEdition a développé un détecteur de lecteur inattendu pour identifier les cas où la diffusion en Open Access a favorisé la diffusion de productions scientifique en SHS au-delà du public habituel de la science, généralement des chercheurs/euses dans la même discipline.

Défi 2 – Analyses textuelles sur les articles publiés sur Hypothèses

Les carnets de chercheurs/euses d’Hypothèses constituent un corpus riche pour comprendre les pratiques communicationnelles et la mise en visibilité des chercheurs/euses en SHS dans le nouvel écosystème scientifique numérique. Le projet HYCAR porté par le GIS Réseau URFIST propose deux axes d’analyse sur ce matériau qui constitueront la base de ce deuxième défi : savoir comment les chercheurs/euses s’approprient ces outils et comprendre comment ces carnets s’articulent aux autres formes de présence numérique (archives ouvertes, réseaux sociaux, blogs de revues).

Défi 3 – Les citations dans et vers les plateformes d’OpenEdition

Les citations constituent aujourd’hui l’étalon de la mesure de l’impact des publications scientifiques. Cette approche est couramment critiquée, car elle réduit l’évaluation de la recherche à une seule et unique dimension. Toutefois, les données des citations peuvent servir à des usages très différents de la seule évaluation. Elles peuvent servir à connaître les points d’intersection entre les disciplines, retracer l’évolution des communautés de recherche, découvrir l’émergence de sujets ou encore comprendre les stratégies de carrière des chercheurs/euses.

Deux journées de travail autour d’ateliers de formation

La première demi-journée a été propice aux échanges. Après une présentation du fonctionnement du datathon et du programme, de la documentation et des données disponibles, chaque représentant des défis a présenté et détaillé les enjeux et les pistes éventuels de travail. À partir d’une auto-évaluation des compétences de chacun (Narration, Analyse, Manipulation des données, Exploration, Design), les équipes se sont constituées et ont organisés leur travail en s’appuyant sur la méthodologie des trois temps du mouvement créatif (design thinking) définis par Tim Brown d’IDEO 

• Inspiration (recherche d’un sujet)
• Idéation (recherche d’un angle pour traiter le sujet ou hypothèses de travail)
• Implémentation (vérification de l’hypothèse de travail)

Samuel nous a également présenté la méthodologie Data Pipeline développé par School of Data (schoolofdata.org/methodology) qui décrit le processus de réutilisation d’un jeu de données  : 

• • Trouver : définir les besoins en données
  • Récupérer : obtenir les données
  • Vérifier : l’intégrité du jeu de données
  • Nettoyer : rendre exploitable le jeu de données
  • Analyser : interpréter les données
  • Présenter : rendre accessible et compréhensible les résultats

Après ces présentations, les équipes avaient jusqu’au lendemain après-midi pour travailler et approfondir leurs propositions pour chaque défis et les formaliser sous la forme de poster.

Samuel Goëta, notre GO pour ce datathon, a également réalisé quelques ateliers de formation sur le traitement et la visualisation des données en fonction des besoins exprimés par les participants pendant les séances de travail. Ces ateliers ont été des moments privilégiés à la fois pour découvrir des méthodes de traitement comme les jointures entre deux bases de données dans un tableur ou la réalisation de visualisation avec différents types de diagramme (Sankey Diagram, Treemap, etc.)

Les restitutions et les suites du datathon

À la fin du datathon, les posters ont été présentés par chaque équipe qui a détaillé les méthodes d’analyse et d’exploration des données et les difficultés rencontrées pendant ces demi-journées de travail.

Défi 1 : Les usages d’OpenEdition dans des organisations non académiques

    

L’équipe du défi 1 s’est attaché à travailler sur les usages des plateformes d’OpenEdition par des organisations non académiques. Les travaux réalisés par le programme R&D ASO ont permis de développer deux prototypes capables d’analyser les fréquentations sur les plateformes d’OpenEdition et d’analyser les sites institutionnels.

Après analyse de ces usages professionnels, l’équipe a mis en évidence que les pages consultés portent soit sur le secteur d’activité, soit l’entreprise en elle-même, soit l’organisation et les conditions de travail, soit sur les méthodes de travail (outils statistiques, techniques d’analyse, etc.)

Les participants ont analysés 4 secteurs : les jeux vidéos, les banques, les médias et l’agro-alimentaire.

Défi 2 : T’HYPO, analyses textuelles des billets publiés sur Hypothèses

Partant de la nécessité de savoir quel est la typologie des billets diffusés sur les carnets de recherche, l’équipe a réalisé l’annotation manuelle d’un corpus de billets valorisés sur la page d’accueil d’Hypothèses, dans l’idée d’arriver à les annoter automatiquement.

L’intérêt est double, pour l’équipe de la plateforme, il s’agissait de savoir quels sont les types de billets valorisés et de créer un outil pour aider au travail d’éditorialisation de la page d’accueil d’Hypothèses. Pour l’équipe du projet Hycar, il s’agit d’ajouter une nouvelle catégorie dans le corpus de billets. 

La difficulté consistait à définir la typologie, ce qui a donné lieu à plusieurs échanges au sein de l’équipe. La première étape a consisté à classifier le corpus dans les types en s’autorisant à ajouter des types et des sous-types suite à la constatation des disparités existant comme par exemple la catégorie Retranscription qui pouvait être sous-typé par texte, audio ou vidéo. La seconde étape a consisté à confronter les annotations pour retenir une typologie commune. 

Il a été décidé de garder un niveau de granulométrie simple, sans sous-type. Même si le corpus était bien insuffisant, la typologie a mis en évidence la présence de contenus correspondant aux différentes étapes d’une recherche : la présentation des hypothèses de travail, la consultation des sources, la rédaction de note ou de commentaire, l’analyse scientifique, l’article de recherche et la retranscription de la communication.

Défi 3 : Catégorisation des usages de références savantes

L’équipe de ce défi s’est attaché à explorer les références selon deux approches : la première en explorant les citations navigationnelles vers des carnets de chercheurs et de thésard, la seconde portant sur l’analyse des citations dans les forums.

CitaNavig repose sur un corpus de 2365 liens de navigation catégorisés selon le type de source pour répondre à deux questions : est-ce que les carnets de recherche sont des ponts entre la communauté académique et la société ?  et quelles sont les origines de ces liens ? Deux représentations ont été réalisées, la première présentait clusters les regroupements déjà connus comme des ensembles disciplinaires, des ensembles liés aux types des sites (médias, académiques, etc.). La seconde représentation portait sur les principales sources sur quelques carnets de recherche et sur la proportions des types de citation par plateforme (OpenEdition Journals, OpenEdition Books, Hypothèses et Calenda).

 

Le second livrable consistait à analyser les citations et leurs contextes dans le cadre des référer catégorisés comme forum. C’est une approche purement qualitative. Le choix des forums a été retenu car il correspond à l’un des usages les moins identifiés des plateformes d’OpenEdition et permet une première approche des usages non-académiques. La plus grande difficulté a été d’abord de catégoriser ces contextes selon le niveau de langage, l’intentionnalité et l’analyse de sentiment.

Il en résulte que le niveau de langage employé est souvent un langage normal à soutenu, l’absence de négativité sur OpenEdition et des usages très éloignés et étonnants (la recherche de source pour une reproduction de la Grande Réale dans un forum sur le modélisme, la citation d’un article sur la finance dans le cadre d’une discussion autour du Mercato 2018/2019 et retombées économiques pour l’OM ou encore un forum de latinistes qui s’interrogent sur l’usage possible du neutre en latin pour écriture inclusive)

 

L’analyse des corpus de données ont fait apparaître des usages des contenus des plateformes très inattendus et ont permis de mieux les appréhender.

Les projets Hycar et ASO continuent d’explorer les résultats du datathon. Pour le projet Appropriation du savoir ouvert, les posters des défis 1 et 3 seront présentés et analysés dans le cadre du second workshop organisé au mois de novembre. Ils serviront de base pour alimenter le travail de réflexion qui se basera à la fois sur les pratiques analyses dans les logs de fréquentation des plateformes et les usages identifiés à travers les entretiens réalisés auprès des lecteurs d’OpenEdition et de carnetiers.

 

---

---