Rencontre du 5 juillet 2011

Cette deuxième rencontre a permis de faire le point sur les résultats des expériences du premier corpus d’apprentissage de Bilbo, sur son évaluation et sur les futurs avancées du projet.

Après avoir présenté une synthèse des résultats sur le premier corpus (voir les billets postés à ce sujet), nous avons pu commencer l’évaluation qui se compose de trois étapes :

• vérifier l’annotation du résultat d’estimation en notant les patterns de mal-annotation automatique
• corriger l’annotation des données du test en vérifiant la complétude des données
• vérifier la complétude des données d’apprentissage

Lors de cette rencontre nous avons présenté les évaluations sur les données d’estimation qui feront, dans les prochains jours, l’objet de billets.

Cependant au vue de ce premier bilan, il serait intéressant d’analyser les erreurs des données d’estimation et voir leur impact sur la capacité à retrouver des références à partir de CrossRef. Il s’agira alors d’estimer les qualités de performance dans l’annotation automatique de Bilbo.

Des listes de référentiels devront être créées afin de désambiguïser Bilbo. Ces listes porteront sur  :

• les auteurs
• les noms des revues
• les noms des éditeurs
• les noms des villes et pays

Enfin, sur l’apprentissage de Bilbo, nous avons abordé la question de la constitution du troisième corpus qui s’appuiera sur le dernier niveau de difficulté, celui des références situées implicitement dans le texte, et, celles situées en partie dans le texte et dans les notes de bas de page. Il s’agira encore une fois de s’appuyer sur Revues.org et ce dernier corpus nécessitera sans doute l’apprentissage d’un nouveau modèle CRF.

Dans la seconde partie de cette rencontre, nous nous sommes fixés un planning afin d’implanter Bilbo dans OpenEdition. Il s’agira de créer une plateforme de test basée sur les résultats du premier et deuxième corpus et de la présenter à Google DH pour la période de novembre-décembre. Cette présentation s’accompagnera d’un nouveau texte qui traitera des avancés du projet entre juillet et septembre.