Évaluation de l’apprentissage du corpus 2

 Cette évaluation concerne le deuxième corpus d’apprentissage de Bilbo sur les références bibliographiques situées dans les notes de bas de page et qui conservent un aspect normé comme les références du premier corpus1. Les fichiers d’apprentissage et d’estimation contiennent 364 notes de bas de page incluant chacune 1 à 4 références.

Nous n’avons pas mis en place une évaluation comme celle du premier corpus. Nous avons élaboré une évaluation en deux temps :

  • vérifier l’annotation du résultat d’estimation (références annotées automatiquement) et repérer les références non annotée dans les <nonbibl> (parties de texte se situant avant ou après la/les références)
  • corriger les données du fichier d’apprentissage (références annotées manuellement).

Première phase : vérification de l’annotation du résultat d’estimation

Nous avons relevé les notes où les références sont parfaitement, partiellement ou mal annotées2.

Nous constatons que  :

  • 186 notes sont parfaitement annotées
  • 164 notes sont partiellement annotées
  • 5 notes sont mal annotées
  • 9 notes ont été annotées comme comportant des références bibliographiques

Dans l’ensemble, l’annotation automatique a été très correcte mais quelques erreurs relevées dans la précédente évaluation persistent :

  • sur l’auteur:
    • inversion des noms et prénoms des auteurs
    • une mauvaise annotation de l’auteur
  • sur le titre des articles/chapitres et le titre des revues/ouvrages:
    • une confusion dans l’annotation des titres en <title> et <booktitle>
    • une partie du titre est seulement annotée
    • un mauvais découpage du titre qui peut se trouver annoté avec une autre balise
  • sur l’éditeur:
    • quand les éditeurs comprennent des noms et prénoms (ex : JB Lippincott Company), ils sont généralement annotés en <forename> et <surname>)
    • des éléments de l’éditeur annotés avec d’autres balises

Parmi les notes comportant des balises <nonbibl>, nous pouvons constater que 42 notes ont des références partiellement ou mal annotées :

  • soit le ou les auteurs n’ont pas été repérés dans le texte
  • soit le ou les auteurs avec une partie ou la totalité du titre n’ont pas été annotés mais le reste de la référence (partie du titre de l’article ou revue ou ouvrage, le lieu, la date, les pages, l’éditeur) a été annoté
  • soit le ou les auteurs avec une partie ou la totalité du titre ont été annotés mais pas le reste de la référence
  • soit un élément de la référence n’a pas été annoté dans le <nonbibl>

 Généralement, il s’agit d’un mauvais découpage de la référence.

Deuxième phase : correction des données d’apprentissage

Comme dans la première évaluation, nous avons corrigées les données du test d’apprentissage. En effet, nous avons constatés des erreurs dans l’annotation manuelle, des oublis d’annotation ou un mauvais découpage de la référence.

  1. Pour rappel, nous renvoyons nos lecteurs au tableau de concordance des balises entre l’annotation manuelle et automatique (ici) et à la précédente évaluation (ici). []
  2. voir http://bilbo.hypotheses.org/243 []

Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *