Détection des comptes rendus de lecture
Dans les différentes plates-formes d’OpenEdition, nous trouvons des notes de lectures de livres ou « Comptes rendus de lecture ». Nous souhaitons pouvoir les détecter automatiquement. Nous nous appuyons pour cela sur des méthodes de classification automatique par apprentissage. Par la suite, nous utiliserons notre logiciel d’extraction de références bibliographiques BILBO pour identifier le livre dont chaque compte-rendu (CR) est l’objet, ceci dans le but de lier automatiquement les différentes ressources.
Ce billet présente les premiers travaux faits concernant la classification et la détection des compte-rendus. L’environnement d’apprentissage automatique utilisé pour les différents processus de classification est Weka (http://www.cs.waikato.ac.nz/ml/weka/)
Construction du corpus
Un corpus de langue française a été construit et catégorisé en deux classes :
-
CR (compte-rendus) : 489 documents au format XML-TEI
-
NCR (non compte-rendus) : 280 documents au format XML-TEI. Cette classe comporte d’autres types de documents tels que : des articles de revues, des éditoriaux, des appels à publication etc.
Classification en utilisant l’approche « sac de mots »
Nous avons utilisé une approche « sac de mots » pour indexer les documents. Le texte est représenté par un vecteur de n-grammes sans prise en considération de leur ordre d’apparition dans le texte, ni des relations qui les relient au sein du texte. Cette représentation exclut une réelle prise en compte de relations syntaxiques ou de proximité mais s’avère être un bon compromis entre qualité de la classification et complexité algorithmique.
Des approches supervisées d’apprentissage automatique (Approche bayésienne naïve, Naive Bayes Multinomial et arbres de décision) sont appliquées.
Classification des documents structurés
Comme premier test, nous avons gardé les documents tels qu’ils sont (sous format XML-TEI) en n’enlevant aucune partie. Le corpus a été divisé en deux bases, base d’apprentissage (70%) et base de test (30%). Trois modèles ont été appris, avec la méthode Bayésienne Naïve, la méthode Bayésienne Naïve Multinationale et les arbres de décision. Le tableau suivant illustre l’évaluation de la classification des documents de la base de test.
Résultat de classification des documents structurés
Classification des documents non structurés
Après transformation des documents (XML-TEI) en sac de mots, on s’aperçoit que la présence des balises XML (structure logique) aide à la classification des documents. De ce fait, nous avons entraîné un modèle sur le même corpus d’apprentissage mais après suppression des balises XML. Nous avons obtenu avec la méthode Naïve Bayes Multinomial 96 % de précision et 91 % de rappel pour les CR et 64 % de précision et 81 % rappel pour les NCR.
Nous avons ensuite filtré les documents en ne gardant que le texte présent dans la partie <body> des documents. Dans ce cas, le sac de mots ne va pas contenir les mots de la partie en-tête (header) qui inclut des informations telles que le nom d’auteur, le titre du document, sa date de publication, son identifiant. Trois modèles ont été entraînés sur ce corpus filtré, selon les approches de classification utilisées précédemment (Naïve Bayes, Naïve Bayes Multinomial et les arbres de décision). Le tableau suivant illustre les résultats de l’évaluation pour les trois approches. Ceux-ci sont moins bons, confirmant l’impact attendu des méta-données dans leur capacité à représenter la nature des documents de la collection mais correspondent aux résultats que l’on peut obtenir sur des textes bruts, non annotés.
Résultat de classification des documents non structurés
OpenEdition vous propose de citer ce billet de la manière suivante :
Chahinez Benkoussas (27 novembre 2013). Détection des comptes rendus de lecture. OpenEdition Lab. Consulté le 13 décembre 2024 à l’adresse https://doi.org/10.58079/qnqi
