Temps : real 20m3.897s

• Commande pour lancer le script

  
  
  

  Il y a quatre argument à ajouter : le dossier contenant l'arborescence, la sortie.xml, la sortie.txt et le nom de la rubrique. On lance le script pour chaque rubrique à traiter. Pour utiliser spacy_udpipe et spacy_connl, j'ai du utiliser un environnement virtuelle avec la commande suivante :

• Annotation avec TreeTagger

  1. Segmentation pour TreeTagger

  
  
  

  TreeTagger a besoin, pour l'annotation, que chaque token soit sur une ligne. On utilise donc la fonction segmentation() ici pour avoir ce format sur nos fichiers .xml. On répète l'opération pour nos titres et pour nos descriptions. Cela nous permet à la fin de toujours avec des balises pour distinguer nos deux contenus. On utilise le programme perl tokenise-utf8.pl dans cette fonction pour obtenir notre résultat. Cette fonction nous oblige à utiliser des fichiers temporaires afin d'effectuer notre changement.

  2. Etiquettage avec TreeTagger

  
  
  

  On utilise différents programmes pour notre annotation TreeTagger. On a en entrée de cette fonction les fichiers préalablement annotés par la fonction segmentation(). Nous allons utiliser deux programmes :

  • Un programme pour annoter nos tokens : tree-tagger.exe. Ce programme nécessite un autre programme : french-utf8.par pour l'annotation.
  • Un programme pour ajouter des balises sur notre annotation : treetagger2xml.pl

  On récupère en sortie un fichier .xml annoté par TreeTagger.

• Annotation avec Udpipe

  
  
  

  Cette fonction prend en entrée le fichier .txt contenant le contenu textuel de notre rubrique. On va lancer deux opérations :

  • Un programme pour annoter nos fichiers avec Udpipe (format .txt CoNNL en sortie). Nous avons besoin pour cela du programme udpipe.exe et du modèle fr-sequoia : french-sequoia-ud-2.5-191206.udpipe
  • Un programme pour mettre notre sortie au format .xml : udpipe2xml

  On récupère en sortie deux fichiers annotés par Udpipe. L'un au format .xml et l'autre au format .txt (CoNNL)

• Le programme

  
  
  

  Le programme est sensiblement le même que celui de perl pour la BaO1. On ajoute à la fin nos deux fonctions pour l'annotation. La fonction de segmentation a été ajouté dans la fonction de parcours de l'arborescence.