Bilbo sur Revues.org

Début mars, OpenEdition a déployé sur la plateforme Revues.org  son outil d’annotation automatique des références bibliographiques, Bilbo, dans le cadre du programme de recherche et développement « Robust and Language Independent Machine Learning Approaches for Automatic Annotation of Bibliographical References in DH Books, Articles and Blogs ». Initié en 2011 suite à l’obtention d’un Google Grant for Digital Humanities, ce programme a été mené par les équipes du LIA (université d’Avignon) puis du LSIS (Aix-Marseille université – CNRS) et du Cléo sous la direction de Patrice Bellot et Marin Dacos. Le programme bénéficie également du soutien de l’ANR CAAS et du projet Inter-Textes. Il porte sur l’ensemble des références bibliographiques présentes sur les quatre plateformes : Revues.org, Calenda, Hypothèses et OpenEdition Books. Il doit permettre de développer des fonctionnalités avancées de cross-linking (références croisées) entre les contenus d’OpenEdition et vers les contenus extérieurs.

Le logiciel Bilbo

Bilbo (Bibliographical Robot) est un logiciel capable de détec­ter, d’analyser et d’annoter sémantiquement les réfé­rences biblio­gra­phiques présentes dans toute la documentation numérique, qu’elles soient complètes ou très partielles. Par des méthodes de fouille de texte et d’apprentissage automatique, il identifie le prénom et le ­nom des auteurs, les titres, les éditeurs, l’année et le lieu d’édition pour chaque référence bibliographique. Ensuite, nous interrogeons de manière asynchrone un service Web, CrossRef, pour relier la référence à son DOI (Digital Object Identifier), quand celui-ci existe, et ainsi la rendre navigable.

Bilbo est écrit en langage Python et repose sur le modèle d’apprentissage automatique CRF (Conditional Random Fields) implémenté dans l’environnement Wapiti (LIMSI, CNRS) pour apprendre à étiqueter des références bibliographiques à partir d’exemples annotés. Il repose également sur le logiciel SVM Light pour l’identification des zones de texte contenant des références bibliographiques (notes de bas de page, corps du texte).

Bilbo sera diffusé à la communauté scientifique sous licence GPL version 21. Quant aux bases d’apprentissage, le corpus 1 a été diffusé lors de la conférence LREC 2012 et se trouve à cette adresse : http://lab.hypotheses.org/605. Les corpus 2 (références bibliographiques présentes dans les notes de bas de page) et corpus 3 (références implicites) ne sont pas librement accessibles. Nous invitons les personnes à nous contacter sur lab@openedition.org (en précisant [Bilbo] dans l’objet du message).

Le schéma suivant présente la méthode d’apprentissage pour l’annotation des références : à partir de plusieurs corpus, l’algorithme va créer un modèle d’annotation en fonction des niveaux de difficulté des références – la bibliographie générale d’un article (corpus 1), les notes de bas de page (corpus 2) et les références implicites dans le corps du texte (corpus 3)2.

Fig. 1 Apprentissage et annotation des références bibliographiques
Fig. 1 Apprentissage et annotation des références bibliographiques3

Implémentation sur Revues.org

Actuellement, Bilbo est implémenté sur près de 80% des revues de la plateforme Revues.org et ne concerne que les références structurées en tant que bibliographie dans les articles. Il étiquette les références et extrait le premier auteur et le titre pour pouvoir interroger les bases de CrossRef, agence officielle d’enregistrement des DOI pour les publications scientifiques. Bilbo peut ainsi récupérer le DOI quand il existe, et l’ajouter à la référence dans la bibliographie de l’article. Cet ajout se fait sous la forme d’un lien cliquable qui permet alors d’accéder directement à la ressource citée.
Le travail d’annotation, d’interrogation de l’API4 de CrossRef et l’affichage des DOI dans les articles se fait toutes les 24 heures à compter du chargement de l’article dans Lodel.

Le schéma suivant présente l’enrichissement des bibliographies des articles sur Revues.org avec l’aide de Bilbo.

Fig. 2 Enrichissement des bibliographies sur Revues.org
Fig. 2 Enrichissement des bibliographies sur Revues.org

Grâce à cet enrichissement, nous pouvons afficher les DOI des références annotées par Bilbo dans les articles. Nous avons mis à disposition de nos lecteurs, la possibilité de télécharger ces références bibliographiques dans les formats APA, MLA ou Chicago5. Cette fonctionnalité est accessible aux utilisateurs des bibliothèques abonnées à l’offre OpenEdition Freemium for Journals.


Fig. 3 Exemple de téléchargement d’une référence bibliographique (http://cybergeo.revues.org/26194)

Pourquoi rechercher des DOI ?

Le Digital Object Identifier (ou DOI) est un système d’identification des ressources numériques développé par le Corporation for National Research Initiatives (CNRI). Un DOI est attribué à chaque ressource en enregistrant les métadonnées d’une revue (titre complet et titre court, ISSN électronique, URL de la revue) ou d’un article (date, URL de l’article, langue, titre, le(s) auteurs) par exemple. Ce système a plusieurs objectifs notamment la navigation hypertexte de la référence et l’attribution d’un identifiant pérenne à la ressource électronique.

L’identifiant est composé de deux parties séparées par un slash :

  • un préfixe identifiant l’éditeur, qui est attribué au niveau international par les agences responsables de la gestion du répertoire des DOI ;

  • un suffixe identifiant l’objet, attribué sous la responsabilité de l’éditeur et qui peut-être un identifiant de la ressource comme le numéro ISBN ou ISSN, ou tout autre type d’identifiant.

Dans le cas d’OpenEdition, un DOI est composé de la manière suivante :

  1. le préfixe 10.400 pour OpenEdition ;

  2. le nom court de la revue (exemple : cybergeo) ;

  3. l’identifiant du numéro ou de l’article (exemple : 10.4000/cybergeo.25900)6.

La recherche des DOI grâce à l’annotation des références par Bilbo nous permettra de croiser les références pour relier les documents de toute nature à l’intérieur de notre plateforme mais aussi vers des contenus extérieurs. Dans le cadre des projets R&D d’OpenEdition Lab, nous utiliserons notamment les liens entre les références bibliographiques pour développer des outils de recommandation de lecture.

Des outils pour améliorer les résultats de Bilbo

Plusieurs évaluations sur la qualité des résultats de Bilbo ont été réalisées par l’équipe d’OpenEdition Lab après avoir amélioré les modèles d’annotation.

Le tableau ci-dessous présente les performances de Bilbo sur les références structurées du corpus 1 :

Tableau 1. Évaluation des performances d’annotation de Bilbo

L’évaluation du corpus 1 se base sur des données de test composées de 216 références bibliographiques et repose sur une comparaison entre l’annotation automatique réalisée par Bilbo et l’annotation manuelle :

  • la première colonne du tableau contient les étiquettes (ou label) identifiant les éléments d’une référence bibliographique ;

  • la colonne « A » correspond au nombre de mots annotés manuellement avec l’étiquette correspondante ;

  • la colonne « B » contient le nombre de mots correctement annotés par Bilbo ;

  • la colonne « C » contient le nombre total de mots annotés par Bilbo.

À partir de ces éléments nous pouvons calculer les taux de rappel et de précision7 pour évaluer l’annotation de Bilbo.

Malgré la diversité des formats des références présents dans le corpus de test, Bilbo réussit à identifier correctement les différents champs, particulièrement “title”, “surname” et “forename” (96.20%, 82.89% et 85.85% de précision respectivement).

Bilbo a détecté environ 980 000 références sur Revues.org, dont 11% ont un DOI. Si l’usage des DOI tend à se généraliser, il n’est pas encore très répandu en sciences humaines et sociales, en particulier dans la recherche non-anglophone. Un premier travail de vérification a permis d’estimer que 90% des DOI trouvés correspondent à la référence citée. Ces erreurs sont de différents types, comme par exemple une référence qui cite un ouvrage mais dont le DOI renvoie au compte-rendu de celui-ci ou une erreur survenue dans l’annotation de la référence bibliographique.
Nous avons estimé que le taux d’erreur était de 10% sur l’ensemble des DOI trouvés. Divers outils de feedback vont être prochainement mis en place. Ces outils, accessibles directement depuis la page de l’article, permettront aux équipes de rédaction des revues de signaler ces erreurs très simplement. Elles pourront ainsi participer à l’amélioration de notre outil d’annotation.

Les prochains développements

Au cours des prochaines semaines, Bilbo sera implémenté sur l’ensemble de la plateforme Revues.org et sur OpenEdition Books. L’équipe d’OpenEdition Lab travaille à la prochaine étape, Bilbo 2, qui permettra d’identifier les références contenues dans les notes de bas de page, tout en préparant le corpus d’apprentissage qui permettra plus tard à Bilbo d’apprendre à reconnaître les références implicites dans le corps des articles (Bilbo 3).

Dans le cadre de nos autres projets de recherche, nous utiliserons Bilbo pour mettre en relation les comptes-rendus de lecture présents sur Revues.org et Hypothèses et les livres cités.

Pour en savoir plus

L’équipe d’OpenEdition Lab a réalisé plusieurs communications sur Bilbo dont vous pouvez trouver la liste à cette adresse : http://lab.hypotheses.org/bibliographie

Tout le travail de recherche et développement sur Bilbo se trouve ici : http://lab.hypotheses.org/category/bilbo-bibliographical-robot

Si vous souhaitez suivre le travail d’OpenEdition Lab, vous pouvez vous abonner à son carnet de recherche : http://lab.hypotheses.org/

Notes

  1. Bilbo Read me : http://lab.hypotheses.org/767 []
  2. Le corpus “d’exemples” pour Bilbo : http://lab.hypotheses.org/25 []
  3. Kim, Young-Min, et al., « Bilbo. Automatic Annotation of Bibliographical References », 21ème conférence internationale World Wide Web ( WWW’2012), Lyon, 16 au 20 avril 2012. []
  4. API pour Application Programming Interface (voir l’article sur Wikipédia à ce sujet : http://en.wikipedia.org/wiki/Application_programming_interface []
  5. Cette fonction est possible grâce au service Citation Formatting Service proposé par l’équipe CrossRef Labs. []
  6. Voir à ce sujet la Maison des revues http://maisondesrevues.org/253 []
  7. Le taux de rappel est égal au nombre de documents pertinents retrouvés sur le nombre total de documents pertinents. Le taux de précision est égal au nombre de documents pertinents retrouvés sur le nombre total de documents retrouvés. []

Vous aimerez aussi...

2 réponses

  1. 18/04/2014

    […] sont envisagés sur un corpus de références bibliographiques, pour pouvoir éventuellement aider Bilbo à extraire les champs à partir des références selon la langue […]

  2. 26/06/2014

    […] Faath, Élodie. “Bilbo Sur Revues.org.” OpenEdition Lab, March 28, 2014. http://lab.hypotheses.org/955. [2] Blog : BILBO – Automatic Annotation of Bibliographical References […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *