Évaluation de Bilbo : introduction
L’évaluation manuelle de Bilbo concerne le premier corpus d’exemples. Pour rappel, nous avons prélevé pour ce corpus, des références bibliographiques situées, dans l’article, dans une rubrique intitulée « Bibliographie », et nous avons annotés chaque élément de la référence en XML TEI. Par exemple :
<bibl><author><surname>Arcelin</surname>, <forename full= »init »>P.</forename></author><c type= »comma »>,</c><author><surname>Congès</surname>, <forename full= »init »>G.</forename></author> et <author><surname>Willaume</surname>, <forename full= »init »>M.</forename></author><c type= »comma »>,</c> <edition><date>1990</date></edition><c type= »point »>.</c> <title level= »m »>Compte-rendu des recherches archéologiques à Entremont (1988-1989)</title><c type= »comma »>,</c> <distributor>ministère de la Culture et de la communication (sous-direction de l’Archéologie)</distributor><c type= »point »>.</c></bibl>
Les différentes expérimentations menées par le LIA ont permis de développer un modèle CRF dont l’annotation automatique va être expertisée. Trois fichiers ont été créés pour cette évaluation : un fichier des données d’apprentissage, un sur les données tests issues de l’annotation manuelle et un dernier sur les données du test d’estimation de Bilbo.
Trois phases d’évaluation sont prévues :
- évaluer le résultat d’estimation
- corriger les données du test ayant servi pour l’estimation
- corriger les données d’apprentissage qui ont servi à l’apprentissage du modèle CRF
Cette évaluation est faite par l’annotateur manuel qui pourra relever d’une part les « patterns de mal annotation » et d’autre part vérifier la complétude des données des différents fichiers, mais aussi noter les idées qui pourront améliorer les performances du système.