Évaluation de Bilbo : introduction

L’évaluation manuelle de Bilbo concerne le premier corpus d’exemples. Pour rappel, nous avons prélevé pour ce corpus, des références bibliographiques situées, dans l’article, dans une rubrique intitulée « Bibliographie », et nous avons annotés chaque élément de la référence en XML TEI. Par exemple :

<bibl><author><surname>Arcelin</surname>, <forename full= »init »>P.</forename></author><c type= »comma »>,</c><author><surname>Congès</surname>, <forename full= »init »>G.</forename></author> et <author><surname>Willaume</surname>, <forename full= »init »>M.</forename></author><c type= »comma »>,</c> <edition><date>1990</date></edition><c type= »point »>.</c> <title level= »m »>Compte-rendu des recherches archéologiques à Entremont (1988-1989)</title><c type= »comma »>,</c> <distributor>ministère de la Culture et de la communication (sous-direction de l’Archéologie)</distributor><c type= »point »>.</c></bibl>

Les différentes expérimentations menées par le LIA ont permis de développer un modèle CRF dont l’annotation automatique va être expertisée. Trois fichiers ont été créés pour cette évaluation : un fichier des données d’apprentissage, un sur les données tests issues de l’annotation manuelle et un dernier sur les données du test d’estimation de Bilbo.

Trois phases d’évaluation sont prévues :

  • évaluer le résultat d’estimation
  • corriger les données du test ayant servi pour l’estimation
  • corriger les données d’apprentissage qui ont servi à l’apprentissage du modèle CRF

Cette évaluation est faite par l’annotateur manuel qui pourra relever d’une part les « patterns de mal annotation » et d’autre part vérifier la complétude des données des différents fichiers, mais aussi noter les idées qui pourront améliorer les performances du système.


Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search