Pour cette évaluation, nous nous sommes basés sur le corpus 3 de Bilbo établi à partir de documents extraits de la plateforme Revues.org. Ce troisième corpus a été spécialement conçu afin de mettre en exergue les références bibliographiques implicites, c’est-à-dire, les références bibliographiques qui sont imbriquées dans le texte ou qui sont à la fois dans le texte et dans les notes de bas de page.

Cette évaluation a pour objectif d’observer si l’utilisation d’un détecteur d’entités nommées permet d’améliorer la détection des références bibliographiques implicites.

Présentation du corpus 3

Ce corpus comporte trois catégories¹, à savoir :

1. les particularités du corpus 2 : composées de 43 références bibliographiques, ces références font parties des spécificités du corpus 2 établies pour la détection des références bibliographiques dans les notes de bas de page.

Exemple de référence particulière du corpus 2 : « ( <author> Alix </author> <abbr> et al. </abbr> , <date> 1995 </date> ) »

2. les références courtes : constituée de 449 références bibliographiques, cette partie réfère aux références composées de très peu d’éléments ( nombreuses variations entre auteur/date, titre/auteur, titre/page, etc. ).

Exemple de référence courte: « ( <title> Le Semeur </title> , <abbr> n o </abbr> <biblScope> 6 </biblScope> , <date> 1966-1967 </date> , <abbr> p. </abbr> <biblScope> 13 sq. </biblScope> ) »

3. les références implicites : composée de 553 références bibliographiques, cette partie se compose des références qui sont « sous-entendues », c’est-à-dire, qu’elles sont exprimées mais de façon informelle.

Exemple de référence implicite: « (…) dans un passage très connu de <author> Platon </author> , un extrait du <title> Banquet </title> que l’on désigne à tort comme <biblScope> « le mythe de l’androgyne » </biblScope> »

Méthodologie d’évaluation

Pour chacune de ces parties nous avons établi trois évaluations. La première évaluation est basée sur l’utilisation d’un détecteur d’entités nommées : Stanford NER . La seconde évaluation se base sur le modèle établi pour le niveau 1 de Bilbo destiné aux références bibliographiques formelles. Et la troisième évaluation se base sur le niveau 2 de Bilbo dédié aux notes de bas de page. Afin de mettre en œuvre notre évaluation, nous avons pour chacune des catégories du corpus 3, établi un corpus d’apprentissage. Dans le cas de Stanford nous avons employé 80% des corpus fournis pour la phase d’entraînement et le reste pour la phase de test. Concernant les systèmes déployés pour les niveau 1 et 2, nous avons utilisés les modèles d’apprentissage développés pour Bilbo². Nous avons également choisi pour cette évaluation de nous concentrer sur un jeu de huit étiquettes, les plus représentatives d’une référence bibliographique (auteur, éditeur, titre, lieu de publication, abréviation, date, extension de références bibliographique, édition)

Résultats

Nous pouvons constater une nette amélioration de la précision pour les particularités du corpus 2 et les références courtes. Concernant les références implicites nous pouvons noter une précision nettement meilleure en utilisant le modèle du corpus 2 mais en contre partie nous pouvons noter un rappel beaucoup plus important en utilisant l’outil de détection d’entités nommées. De manière générale, nous avons pu constater une meilleure projectivité et une meilleure adaptabilité de la part de Standford, nous pouvons donc supposer qu’une complétude des modèles établis pour le niveau 1 et le niveau 2 de Bilbo avec l’ajout de patterns propres à certaines étiquettes pourrait améliorer les résultats de détection des références. L’ajout de pattern pourra entre autre formaliser la structure ambiguës de certaines étiquettes et leurs classifications (auteur/éditeur, auteur/titre, etc.)

Notes

1. Cf : Identification et annotation des références implicites [↩]
2. Cf : Le corpus “d’exemples” pour Bilbo [↩]