Évaluation de Bilbo : vérifier l’annotation du résultat d’estimation – Partie 1

Pour cette première phase d’évaluation, nous allons vérifier comment le modèle CRF développé sur le premier corpus a annoté les références bibliographiques. Nous pouvons d’abord observer que les éléments ayant permis l’annotation des références ont été simplifiés pour l’apprentissage de Bilbo (voir l’article Revision to the learning and test data).

Afin de relever les erreurs d’annotation de Bilbo, nous avons opéré un classement de ces annotations en trois catégories :

Nous avons évalué 215 références bibliographiques du test sur les 715 du premier corpus réparties selon les catégories cités :

À la suite de cette première constatation, nous avons relevé chaque type d’erreur classé selon cinq grandes familles correspondant aux éléments importants d’une référence bibliographique :

• “Auteur” qui regroupe les labels <forename>, <surname> et <orgname>
• “Titre” avec <title> et <booktitle>
• “Marques de publication” qui correspondent aux labels <date>, <publisher>, <place>, <biblscope>, <bookindicator> et <extent>
• “Ponctuations et abréviations” pour les labels <c> et <abbr>
• “Autres” pour les labels qui n’entrent dans aucune de ces catégories

La répartition de ces erreurs sur les “références annotées partiellement” donnent le diagramme suivant :

À partir des observations du résultat des données d’estimation, on peut dresser une typologie des erreurs faites par Bilbo :

• Pour « Auteur » :

• Les tokens normalement annotés par <surname>, <forename> se trouvent annotés soit par <place> (majorité des cas) soit par <name>
• Les tokens avec <orgname> ou <surname> sont annotés avec <publisher>
• Les tokens avec <orgname> ou quand il y a plusieurs auteurs sont annotés avec <title>
• Les labels <forename> et <surname> peuvent être inversés
• Un mauvais découpage entre le nom et le prénom de l’auteur voire la date affectée au nom ou au prénom

• Pour « Titre » :

• Une confusion dans l’annotation des titres entre <title> et <booktitle>
• Un mauvais découpage du titre qui peut se trouver annoté avec un autre label
• Les tokens avec <title> ou <booktitle> peuvent être annotés avec <place> ; <publisher> ; <biblScope> ; <surname> ou <forename>
• Les dates dans les titres se retrouvent annotées avec <date>

• Pour « Marques de publication » :

• Une confusion dans l’annotation des tokens entre <place> et <publisher>
• Les tokens avec <publisher> sont annotés avec <title>
• Des difficultés dans l’annotation des chiffres (date, numéro de volume, nombre de pages), les tokens avec <biblScope> le sont avec <date>, <edition>, <extent>
• Un mauvais découpage entre les éléments d’une référence

• Pour « Ponctuations et Abréviations » :

• Les tokens avec <abbr> sont annotés en <nolabel>
• Mauvais découpage entre les éléments d’une référence

• Pour les « autres » :

• Les tokens avec <nolabel> sont annotés avec un autre label
• Confusion pour les tokens chiffrés avec <edition> qui sont annotés avec une autre balise

Parmi les 7% de références présentant des confusions dans l’annotation automatique, on peut signaler comme principaux problèmes :

• L’inclusion d’une référence dans une autre se trouve être mal annotée
• Le mauvais découpage entre les éléments d’une référence qui entraine une mauvaise annotation
• La mauvaise annotation de la référence bibliographique

Dans la prochaine évaluation, il s’agira de corriger les données du test qui ont été annotées manuellement et de remplacer les labels de la catégories <Autres> par un des autres labels.