Les scripts détaillés sur cette page représentent les différentes tâches opérées par les boîtes à outils. Plusieurs méthodes sont proposées pour chacune d'entre elles. Les BAO ont traité les rubrique 3208, 3210 et 3214 issues des fils RSS du journal Le Monde.

B A O 1

SANS MODULE

Cette première méthode pour la BAO1 n'utilise aucun module complémentaire. Le script parcourt ici l'arborescence de fichiers contenue dans le dossier entré en premier argument, jusqu'à tomber sur les fichiers XML qui nous intéressent, à savoir ceux dont le nom comporte l'indice de la rubrique entrée en second argument en ligne de commande. Trois fonctions sont déclarées ici : une première qui parcourt l'arborescence et qui peut être utilisée à l'intérieur d'elle-même afin de rendre le procédé récursif (notamment lorsqu'il n'existe pas de fichier dans un dossier), une deuxième qui nettoie le contenu textuel des fichiers XML, et une troisième qui, après extraction du texte entre les balises <title> et <description> à l'aide d'une expression régulière, rajoute les points qui manquent à la fin du titre à l'affichage. Le script rend deux fichiers : un fichier au format texte brut qui contient tous les titres et descriptions, et un fichier XML qui comprend ces mêmes titres et descriptions balisés.

TELECHARGER :

Pour lancer le script :
BAO1.pl nom_du_répertoire nom_de_la_rubrique

#/usr/bin/perl #déclarations des variables d'arguments #$rep = le nom du répertoire dans lequel on va aller chercher les fichiers à traiter my $rep="$ARGV[0]"; #la rubrique qu'on va traiter my $rubrique="$ARGV[1]"; #tableau qu'on utilise pour vérifier que les données stockées étaient déjà récupérées (1 seule fois seulement) my %redondant; #création du fichier TXT et du fichier XML en sortie open(FILEOUT,">:encoding(utf8)","le_monde_$rubrique.txt"); open(XML, ">:encoding(utf8)", "le_monde_$rubrique.xml"); #ecriture en-tête XML print XML "<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n"; print XML "<Document>\n"; print XML "<Extraction>\n\n"; # on s'assure que le nom du répertoire ne se termine pas par un "/" $rep=~ s/[\/]$//; #---------------------------------------- # on lance la récursion.... et elle se terminera après examen de toute l'arborescence &parcoursarborescencefichiers($rep); #---------------------------------------- #on referme les balises d'en tête print XML "</Extraction>\n\n"; print XML "</Document>\n"; #on ferme nos deux fichiers de sortie close XML; close FILEOUT; exit; #---------------------------------------------- #definition de la fonction de parcours sub parcoursarborescencefichiers { #declaration de la variable path, shift va supprimer le premier élément du tableau @_ et le renvoyer my $path = shift(@_); #fonction qui permet d'ouvrir un repertoire à la manière de l'ouverture d'un fichier opendir(DIR, $path) or die "can't open $path: $!\n"; #fonction readdir va rassembler dans ce tableau tous les fichiers/répertoires contenus dans le répertoire principal my @files = readdir(DIR); closedir(DIR); #pour chaque fichier parmi tous les fichiers foreach my $file (@files) { #passe au suivant si l'élément sur lequel on est, est un chemin next if $file =~ /^\.\.?$/; next if $file =~ /^\._/; next if $file =~ /^fil/; $file = $path."/".$file; #- d appliqué a un objet sera vrai si c'est un repertoire if (-d $file) { print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n"; #on relance le parcours de repertoire &parcoursarborescencefichiers($file); #recurse! print "<FIN REPERTOIRE> ==> ",$file,"\n"; } #on arrive sur fichier if (-f $file) { if ($file =~m/.*$rubrique.+\.xml$/){ #m=match si l'extension est xml print "<",$i++,"> ==> ",$file,"\n"; $codage = "utf-8"; #initialisation d'un variable ou seront stockées les données my $ensemble=""; open(FILEIN, "<:encoding(utf8)", $file); #tant qu'on lit une ligne du fichier $input on supprime le dernère caractère \n while (my $ligne=<FILEIN>) { chomp $ligne; #suppression de la tabulation $ligne=~s/\t//g; #concatenation $ensemble = $ensemble . $ligne; $ensemble=~s/> +</></g; } #tant qu'il existe dans mon texte quelque chose qui est la forme de l'expressionr régulière #on sauvergarde dans des variables ce qui se trouve entre les balises <title> et <description> while ($ensemble=~ m/<item>.*?<title>(.*?)<\/title>.*?<description>(.*?)<\/description>/g) { if (!(exists $redondant{$title})) { my $title=$1; #on lance la fonction point qui ajoute un point après chaque titre my $title_point = &point($1); #on lance le nettoyage du titre et de la description my $title_clean = &nettoyage($title_point); my $description=$2; $description = &nettoyage($2); #initialisation du compteur pour compter les balises item $compteur=$compteur+1; #incrémentation de la variable redondant $redondant{$title}=1; #on écrit dans le fichier texte les titres et descrptions après nettoyage print FILEOUT "$title_clean\n$description\n\n"; #on écrit dans le fichier XML print XML "<item num=\"$compteur\">\n<title>\n$title_clean</title>\n\n<description>\n$description</description>\n</item>\n\n"; } } close FILEIN; } } } } #--------------------------------------------------- #fonction qui ajoute un point après chaque titre sub point { my $var1=shift @_; $var1.="."; return $var1; } #--------------------------------------------------- #fonction qui nettoie toutes les entités sub nettoyage { my $ensemble=shift; $ensemble =~ s/<.+?>//g; $ensemble=~s/&amp;/et/g; $ensemble=~s/amp;/et/g; $ensemble=~s/&/et/g; return $ensemble; }
Résultats pour la rubrique 3208 : XML TXT

XML::RSS

Cette deuxième méthode utilise la bibliothèque XML::RSS. Celle-ci permet d'éviter l'utilisation d'une expression régulière pour récupérer le contenu textuel situé entre les balises pertinentes. Il suffit alors d'indiquer à la variable $rss de mettre dans une liste tout ce que contiennent les balises <title> et <description> en bouclant sur l'ensemble de ce que contiennent les balises <item>.

TELECHARGER :

Il est nécessaire d'installer la bibliothèque XML::RSS pour que le script fonctionne. Pour le lancer :
BAO1_RSS.pl nom_du_dossier nom_de_la_rubrique

#!/usr/bin/perl #ce script utilisera la bibliothéque XML::RSS use XML::RSS; #----------------------------------------------------------- #déclarations des variables d'arguments #$rep = le nom du répertoire dans lequel on va aller chercher les fichiers à traiter my $rep="$ARGV[0]"; my $rss=new XML::RSS; #la rubrique qu'on va traiter my $rubrique="$ARGV[1]"; #tableau qu'on utilise pour vérifier que les données stockées étaient déjà récupérées (1 seule fois seulement) my %redondant; #création du fichier TXT et du fichier XML en sortie open(TXT,">:encoding(utf-8)","lemonde_rss$rubrique.txt"); open(XML,">:encoding(utf-8)","lemonde_rss$rubrique.xml"); #ecriture du début du fichier XML print XML "<?xml version=\"1.0\" encoding=\"utf-8\"?>\n"; print XML "<Document>\n"; print XML "<Extraction>\n\n"; #----------------------------------------------------------- # on s'assure que le nom du répertoire ne se termine pas par un "/" $rep=~ s/[\/]$//; #---------------------------------------- # on lance la récursion.... et elle se terminera après examen de toute l'arborescence &parcoursarborescencefichiers($rep); #---------------------------------------- #on referme les balises d'en tête print XML "</Extraction>"; print XML "</Document>\n"; #on ferme nos deux fichiers de sortie close XML; close TXT; exit; #------------------------------------------ #definition de la fonction de parcours et de filtrage avec le module XML::RSS sub parcoursarborescencefichiers { #declaration de la variable path, shift va supprimer le premier élément du tableau @_ et le renvoyer my $path = shift(@_); #la fonction opendir prend deux arguments opendir(DIR, $path) or die "can't open $path: $!\n"; #fonction readdir va rassembler dans ce tableau tous les fichiers/répertoires contenus dans le répertoire principal my @files = readdir(DIR); closedir(DIR); #pour chaque fichier parmi tous les fichiers foreach my $file (@files) { #passe au suivant si l'élément sur lequel on est, est un chemin next if $file =~ /^\.\.?$/; $file = $path."/".$file; #- d appliqué a un objet sera vrai si c'est un repertoire if (-d $file) { print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n"; #on relance le parcours de repertoire &parcoursarborescencefichiers($file); print "<FIN REPERTOIRE> ==> ",$file,"\n"; } #on arrive sur fichier if (-f $file) { #m=match si l'extension est xml if ($file=~m/$rubrique.+\.xml$/){ print "<",$i++,"> ==> ",$file,"\n"; eval {$rss->parsefile($file); }; if( $@ ) { $@ =~ s/at \/.*?$//s; print STDERR "\nERROR in '$file':\n$@\n"; } else { foreach my $item (@{$rss->{'items'}}) { my $description=$item->{'description'}; my $titre=$item->{'title'}; if (!(exists $redondant{$titre})) { $redondant{$titre}=1; my ($titre_propre_rss,$description_propre_rss) = &nettoyage($titre,$description); #on écrit dans le fichier txt print TXT "$titre_propre_rss\n"; print TXT "$description_propre_rss\n\n"; $compteurItem++; #on écrit dans le fichier XML print XML "<item number=\"$compteurItem\">\n<titre>\n$titre_propre_rss</titre>\n\n<description>\n$description_propre_rss</description>\n</item>\n\n"; } } } } } } } #---------------------------------------------- sub nettoyage { #on vide la liste des arguments my $var1=shift @_; my $var2=shift @_; #on rajoute un point à la fin de chaque titre $var1.="."; #on remplace le & par la forme et $var1=~s/amp;/et/g; $var1=~s/&amp;/et/g; $var1 =~ s/<.+?>//g; $var2=~s/&/et/g; $var2=~s/amp;/et/g; $var2=~s/&/et/g; $var2 =~ s/<.+?>//g; return $var1,$var2; } #-----------------------------------------------
Résultats pour la rubrique 3208 : XML TXT

B A O 2

SANS MODULE

La deuxième BAO procède comme la première, mais cette fois avec une fonction d'étiquetage supplémentaire. Cette fonction va utiliser un autre script en Perl pour tokeniser le contenu textuel du fichier XML (tokenise-utf8.pl), ainsi qu'un programme permettant d'étiqueter en tokens, lemmes et parties du discours l'ensemble de ce qu'entourent les balises avec TreeTagger. En sortie, le script rend un fichier XML entièrement étiqueté morphosyntaxiquement. Nous avons en parallèle utilisé Cordial pour l'étiquetage sur les mêmes fichiers afin de comparer les différentes approches.

TELECHARGER :

Ce script rassemblant deux BAO, il n'est pas nécessaire de procéder en deux temps. On peut donc directement le lancer de la même manière que la BAO1 :
BAO2.pl nom_du_répertoire nom_de_la_rubrique

#/usr/bin/perl #déclarations des variables d'arguments #$rep = le nom du répertoire dans lequel on va aller chercher les fichiers à traiter my $rep="$ARGV[0]"; #la rubrique qu'on va traiter my $rubrique="$ARGV[1]"; #tableau qu'on utilise pour vérifier que les données stockées étaient déjà récupérées (1 seule fois seulement) my %redondant; #création du fichier TXT et du fichier XML en sortie open(FILEOUT,">:encoding(utf8)","bao2_$rubrique.txt"); open(XML, ">:encoding(utf8)", "bao2_$rubrique.xml"); #ecriture en-tête XML print XML "<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n"; print XML "<Document>\n"; print XML "<NOM>Ponchard Clara</NOM>\n"; print XML "<NOM>Missud Alice</NOM>\n"; print XML "<Extraction>\n\n"; # on s'assure que le nom du répertoire ne se termine pas par un "/" $rep=~ s/[\/]$//; #---------------------------------------- # on lance la récursion.... et elle se terminera après examen de toute l'arborescence &parcoursarborescencefichiers($rep); #---------------------------------------- #on referme les balises d'en tête print XML "</Extraction>\n\n"; print XML "</Document>\n"; #on ferme nos deux fichiers de sortie close XML; close FILEOUT; exit; #---------------------------------------------- #definition de la fonction de parcours sub parcoursarborescencefichiers { #declaration de la variable path, shift va supprimer le premier élément du tableau @_ et le renvoyer my $path = shift(@_); #fonction qui permet d'ouvrir un repertoire à la manière de l'ouverture d'un fichier opendir(DIR, $path) or die "can't open $path: $!\n"; #fonction readdir va rassembler dans ce tableau tous les fichiers/répertoires contenus dans le répertoire principal my @files = readdir(DIR); closedir(DIR); #pour chaque fichier parmi tous les fichiers foreach my $file (@files) { #passe au suivant si l'élément sur lequel on est, est un chemin next if $file =~ /^\.\.?$/; next if $file =~ /^\._/; next if $file =~ /^fil/; $file = $path."/".$file; #- d appliqué a un objet sera vrai si c'est un repertoire if (-d $file) { print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n"; #on relance le parcours de repertoire &parcoursarborescencefichiers($file); #recurse! print "<FIN REPERTOIRE> ==> ",$file,"\n"; } #on arrive sur fichier if (-f $file) { if ($file =~m/.*$rubrique.+\.xml$/){ #m=match si l'extension est xml print "<",$i++,"> ==> ",$file,"\n"; $codage = "utf-8"; #initialisation d'un variable ou seront stockées les données my $ensemble=""; open(FILEIN, "<:encoding(utf8)", $file); #tant qu'on lit une ligne du fichier $input on supprime le dernère caractère \n while (my $ligne=<FILEIN>) { chomp $ligne; #suppression de la tabulation $ligne=~s/\t//g; #concatenation $ensemble = $ensemble . $ligne; $ensemble=~s/> +</></g; } #tant qu'il existe dans mon texte quelque chose qui est la forme de l'expressionr régulière #on sauvergarde dans des variables ce qui se trouve entre les balises <title> et <description> while ($ensemble=~ m/<item>.*?<title>(.*?)<\/title>.*?<description>(.*?)<\/description>/g) { if (!(exists $redondant{$title})) { my $title=$1; #on lance la fonction point qui ajoute un point après chaque titre my $title_point = &point($1); #on lance le nettoyage du titre et de la description my $title_clean = &nettoyage($title_point); my $description=$2; $description = &nettoyage($2); #initialisation du compteur pour compter les balises item $compteur=$compteur+1; $redondant{$title}=1; #on écrit dans le fichier texte les titres et descrptions après nettoyage print FILEOUT "$title_clean\n$description\n\n"; #on lance l'etiquetage my ($nv_titre, $nv_description) = &tag($title_clean,$description); #puis on ecrit dans le fichier XML une fois l'etiquetage terminé print XML "<item num=\"$compteur\">\n<title>\n$nv_titre</title>\n\n<description>\n$nv_description</description>\n</item>\n\n"; } } close FILEIN; } } } } #fonction qui permet d'ajouter un point à la fin de chaque titre sub point { my $var1=shift @_; $var1.="."; return $var1; } #--------------------------------------------------- #fonction qui nettoie toutes les entités sub nettoyage { my $ensemble=shift; $ensemble=~s/&/et/g; $ensemble=~s/amp;/et/g; $ensemble=~s/&/et/g; $ensemble =~ s/<.+?>//g; return $ensemble; } #---------------------------------------------------- #fonction d'etiquettage sub tag { #on vide le tableau avec ce qui était passé en argument my ($t,$d)=@_; #on crée un fichier pour le titre open(TMP,">:encoding(utf8)","titre.txt"); #ecriture du texte print TMP $t; close TMP; #lancement de la commande SYSTEM qui permet de lancer une commande sur le système d'exploitation qu'on utilise #appel du programme qui fait l'etiquetage system("perl tokenise-utf8.pl titre.txt | ./tree-tagger.exe -lemma -no-unknown -token french-oral-utf-8.par > titre_tag.txt"); #lancement du programme qui fait le balisage XML system("./treetagger2xml-utf8-macosx titre_tag.txt utf8"); #$/ est une variable de perl qui a pour valeur \n --> à partir de maintenant on ne lit plus le fichier ligne par ligne mais globalement # Ouverture du fichier créé (celui avec les balises XML) pour extraire ces données et les # transformer dans une chaîne de caractères pour les mettre par la suite dans le fichier globale open(TMP2, "<:encoding(utf8)","titre_tag.txt.xml"); my $t_tag=""; my $ligne = <TMP2>; #Lecture de la première ligne (l'en-tête XML) # Lecture du fichier créé avec le format xml, à partir de la 2ème ligne, # ligne par ligne et on sauvegarde ce contenu dans une variable while (my $ligne = <TMP2>) { $t_tag = $t_tag . $ligne; } close TMP2; #on crée le fichie pour la description open(TMP,">:encoding(utf8)","description.txt"); #ecriture du texte dans le fichier crée print TMP $d; #fermeture du fichier close TMP; system("perl tokenise-utf8.pl description.txt | ./tree-tagger.exe -lemma -no-unknown -token french-oral-utf-8.par > description_tag.txt"); system("./treetagger2xml-utf8-macosx description_tag.txt utf8"); open(TMP2, "<:encoding(utf8)","description_tag.txt.xml"); my $d_tag=""; my $ligne = <TMP2>; while (my $ligne = <TMP2>) { #chomp $ligne; $d_tag = $d_tag . $ligne; } close TMP2; # Renvoie des données au programme principal # Renvoie le titre étiqueté et balisé, ainsi que la description étiquetée et balisée return($t_tag,$d_tag); } #----------------------------------------------
Résultats pour la rubrique 3208 : TREETAGGER CORDIAL

XML::RSS

La même méthode fonctionne en utilisant la bibliothèque XML::RSS.

TELECHARGER :

Pour lancer le script :
BAO2_RSS.pl nom_du_répertoire nom_de_la_rubrique

#ce script utilisera la bibliothéque XML::RSS use XML::RSS; #----------------------------------------------------------- #déclarations des variables d'arguments #$rep = le nom du répertoire dans lequel on va aller chercher les fichiers à traiter my $rep="$ARGV[0]"; my $rss=new XML::RSS; #la rubrique qu'on va traiter my $rubrique="$ARGV[1]"; #tableau qu'on utilise pour vérifier que les données stockées étaient déjà récupérées (1 seule fois seulement) my %redondant; #création du fichier TXT et du fichier XML en sortie open(TXT,">:encoding(utf-8)","lemonde_rss$rubrique.txt"); open(XML,">:encoding(utf-8)","lemonde_rss$rubrique.xml"); #ecriture du début du fichier XML print XML "<?xml version=\"1.0\" encoding=\"utf-8\"?>\n"; print XML "<Document>\n"; print XML "<NOM>Ponchard Clara</NOM>\n"; print XML "<NOM>Missud Alice</NOM>\n"; print XML "<Extraction>\n\n"; #----------------------------------------------------------- # on s'assure que le nom du répertoire ne se termine pas par un "/" $rep=~ s/[\/]$//; #---------------------------------------- # on lance la récursion.... et elle se terminera après examen de toute l'arborescence &parcoursarborescencefichiers($rep); #---------------------------------------- #on referme les balises d'en tête print XML "</Extraction>"; print XML "</Document>\n"; #on ferme nos deux fichiers de sortie close XML; close TXT; exit; #----------------------------------- #definition de la fonction de parcours et de filtrage avec le module XML::RSS sub parcoursarborescencefichiers { #declaration de la variable path, shift va supprimer le premier élément du tableau @_ et le renvoyer my $path = shift(@_); #la fonction opendir prend deux arguments opendir(DIR, $path) or die "can't open $path: $!\n"; #fonction readdir va rassembler dans ce tableau tous les fichiers/répertoires contenus dans le répertoire principal my @files = readdir(DIR); closedir(DIR); #pour chaque fichier parmi tous les fichiers foreach my $file (@files) { #passe au suivant si l'élément sur lequel on est, est un chemin next if $file =~ /^\.\.?$/; $file = $path."/".$file; #- d appliqué a un objet sera vrai si c'est un repertoire if (-d $file) { print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n"; #on relance le parcours de repertoire &parcoursarborescencefichiers($file); print "<FIN REPERTOIRE> ==> ",$file,"\n"; } #on arrive sur fichie if (-f $file) { if ($file=~m/$rubrique.+\.xml$/){ #m=match si l'extension est xml print "<",$i++,"> ==> ",$file,"\n"; eval {$rss->parsefile($file); }; if( $@ ) { $@ =~ s/at \/.*?$//s; print STDERR "\nERROR in '$file':\n$@\n"; } else { foreach my $item (@{$rss->{'items'}}) { my $description=$item->{'description'}; my $titre=$item->{'title'}; if (!(exists $redondant{$titre})) { $redondant{$titre}=1; my ($titre_propre_rss,$description_propre_rss) = &nettoyage($titre,$description); print TXT "$titre_propre_rss\n"; print TXT "$description_propre_rss\n\n"; $compteurItem++; my ($titre_etiq_rss,$description_etiq_rss) = &etiquetage($titre_propre_rss,$description_propre_rss); print XML "<item number=\"$compteurItem\">\n<titre>\n$titre_etiq_rss</titre>\n\n<description>\n$description_etiq_rss</description>\n</item>\n"; } } } } } } } #---------------------------------------------- sub nettoyage { #on vide la liste des arguments my $var1=shift @_; my $var2=shift @_; #on rajoute un point à la fin de chaque titre $var1.="."; #on remplace le & par la forme et $var1=~s/&/et/g; $var1=~s/amp;/et/g; $var1=~s/&amp;;/et/g; $var1 =~ s/<.+?>//g; $var2=~s/&/et/g; $var2=~s/amp;/et/g; $var2=~s/&/et/g; $var2 =~ s/<.+?>//g; return $var1,$var2; } #----------------------------------------------- sub etiquetage { #on vide le tableau avec ce qui était passé en argument my $var1=shift @_; my $var2=shift @_; #on crée un fichier pour le titre open(OUT3,">:encoding(utf-8)","titre_tmp_rss.txt"); #ecriture du texte print OUT3 $var1; close OUT3; #lancement de la commande SYSTEM qui permet de lancer une commande sur le système d'exploitation qu'on utilise #appel du programme qui fait l'etiquetage system("perl tokenise-utf8.pl titre_tmp_rss.txt | ./tree-tagger.exe -lemma -token -no-unknown french-oral-utf-8.par > titre_tmp_etiq_rss.txt"); #lancement du programme qui fait le balisage XML system("./treetagger2xml-utf8-macosx titre_tmp_etiq_rss.txt utf8"); #$/ est une variable de perl qui a pour valeur \n --> à partir de maintenant on ne lit plus le fichier ligne par ligne mais globalement $/=undef; # Ouverture du fichier créé (celui avec les balises XML) pour extraire ces données et les # transformer dans une chaîne de caractères pour les mettre par la suite dans le fichier globale open(FILEIN2,"<:encoding(utf8)","titre_tmp_etiq_rss.txt.xml"); my $titre_retour=<FILEIN2>; $titre_retour =~s/<\?xml version="1\.0" encoding="utf-8" standalone="no"\?>\r?\n?//; #on crée un fichier pour la description open(OUT4,">:encoding(utf-8)","description_tmp_rss.txt"); #ecriture du texte print OUT4 $var2; close OUT4; system("perl tokenise-utf8.pl description_tmp_rss.txt | ./tree-tagger.exe -lemma -token -no-unknown french-oral-utf-8.par > description_tmp_etiq_rss.txt"); system("p./treetagger2xml-utf8-macosx description_tmp_etiq_rss.txt utf8"); $/=undef; open(FILEIN3,"<:encoding(utf8)","description_tmp_etiq_rss.txt.xml"); my $description_retour=<FILEIN3>; $description_retour =~s/<\?xml version="1\.0" encoding="utf-8" standalone="no"\?>\r?\n?//; $/="\n"; # Renvoie des données au programme principal # Renvoie le titre étiqueté et balisé, ainsi que la description étiquetée et balisée return $titre_retour,$description_retour; }
Résultats pour la rubrique 3208 : TREETAGGER CORDIAL

B A O 3

Après l'étiquetage, nous procédons à l'extraction des terminologies. Nous exposons ici 4 méthodes différentes : deux en Perl, une à l'aide d'une feuille de style XSLT et une dernière avec le langage XQuery. Les fichiers exploités ont été étiquetés de deux manières, par Cordial ou par TreeTagger.

CORDIAL

Ce premier script permet l'extraction de terminologies à partir des sorties étiquetées par le logiciel Cordial. Il prend deux arguments en entrée : un fichier étiqueté, et un fichier texte comportant un ou plusieurs patrons (par exemple : NC.. ADJ, NC.. PREP.. NC..). En sortie, il renvoie un fichier texte comprenant l'ensemble des terminologies extraites dans l'ordre et regroupées par patrons.

TELECHARGER :

Pour le lancer :
BAO3-cordial.pl sortie_cordial.cnr patron-cordial.txt

#!/usr/bin/perl #------------------------------------------------- # PROGRAMME PRINCIPAL #------------------------------------------------- my @LISTETOKEN=(); my @LISTELEMME=(); my @LISTEETIQUETTE=(); #-------------------------------------------------- # lecture du fichier PATRON open(PATRON,"$ARGV[1]"); my @LISTEPATRON=<PATRON>; # lecture globale du fichier dans une liste close(PATRON); #-------------------------------------------------- # le fichier cordial est le premier argument du programme open(CORDIAL,"$ARGV[0]"); # visiblement pas de pb d'encodage... while (my $ligne=<CORDIAL>) { $ligne=~s/\r//; chomp($ligne); if ($ligne=~/^([^\t]+)\t([^\t]+)\t([^\t]+)$/) { my ($token,$lemme,$etiquette)=($1,$2,$3); if ($etiquette!~/PCTF/) { push(@LISTETOKEN,$token); push(@LISTELEMME,$lemme); push(@LISTEETIQUETTE,$etiquette); } else { &compare(\@LISTETOKEN,\@LISTEETIQUETTE); # creation d'un reference vers une liste @LISTETOKEN=(); @LISTEETIQUETTE=(); @LISTELEMME=(); } } } # ----------------------------------------------------- # SOUS - PROGRAMMES #------------------------------------------------------ sub compare { # TRAITEMENT... my ($first,$second)=@_; my @LISTETOKEN=@$first; my @LISTEETIQUETTE=@$second; foreach my $patron (@LISTEPATRON) { $patron=~s/\r//; chomp $patron; #print "$patron\n"; my $texte_des_pos=join(" ",@LISTEETIQUETTE); while ($texte_des_pos=~/$patron/g) { my $contextebefore=$`; my $compteurblanc=0; while ($contextebefore=~/ /g) { $compteurblanc++; } my @MONPATRONENCOURS=split(/ /, $patron); my $longueurpatron=$#MONPATRONENCOURS; my $bornesup = $compteurblanc + $longueurpatron; print "@LISTETOKEN[$compteurblanc..$bornesup] \n"; } } }
Résultats pour la rubrique 3208 : ADJ NOM NOM ADJ NOM PREP NOM

TREETAGGER

Ce deuxième script s'attèle à en faire de même pour les fichiers étiquetés par TreeTagger lors du traitement de la BAO2, mais prend cette fois-ci en argument non pas un fichier de patrons mais un patron entré par l'utilisateur en ligne de commande. Il renvoie le résultat directement à l'affichage en ligne de commande, mais peut être envoyé vers un fichier avec une commande en bash.

TELECHARGER :

Le script se lance en entrant le patron que l'on souhaite en second argument :
BAO3-treetagger.pl sortie_treetagger.xml NOM ADJ > bao3_rubrique_NA.txt

#/usr/bin/perl # Ouverture du fichier étiqueté par TreeTagger : open(FILE,"$ARGV[0]"); my @lignes=<FILE>; close(FILE); while (@lignes) { my $ligne=shift(@lignes); chomp $ligne; my $sequence=""; my $longueur=0; # Si l'argument 1 entré en ligne de commande se trouve dans la première ligne matchant avec la regex : if ( $ligne =~ /<element><data type=\"type\">$ARGV[1]<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) { $sequence.=$1; $longueur++; my $indice=1; my $stop=1; # On cherche les autres patrons donnés en arguments (s'il y en a) : while (($indice < $#ARGV) and ($stop == 1)) { my $nextligne=$lignes[$indice-1]; if ( $nextligne =~ /<element><data type=\"type\">$ARGV[$indice+1]<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) { # On remplit la variable séquence : $sequence.=" ".$1; $longueur++; } else { $stop=0; } $indice++; } if ($longueur == $#ARGV) { # Affichage : print $sequence,"\n"; } } }
Résultats pour la rubrique 3208 : ADJ NOM NOM ADJ NOM PREP NOM

XSLT

XSLT (eXtensible Stylesheet Language Transformations) est un langage de transformation XML de type fonctionnel. Il permet notamment de transformer un document XML dans un autre format, tel que HTML pour être affiché comme une page web. Nous l’avons utilisé pour extraire les patrons morphosyntaxiques du fichier XML obtenu à l’issu de la BAO2 afin d’obtenir un résultat structuré et visuel pour chaque séquence de patrons choisie. Pour visualiser les résultats, téléchargez la feuille de style et le fichier XML lié, et lancez le fichier XML dans votre navigateur (il faut que les deux fichiers se situent dans le même répertoire).

NOM ADJ	ADJ NOM	NOM ADJ VER PRP	NOM PRP NOM	NOM PRP NOM ADJ	NOM VER NOM ADJ
XML lié	XML lié	XML lié	XML lié	XML lié	XML lié

XQUERY

Nous avons voulu tester différentes méthodes afin d'évaluer la fiabilité des terminologies obtenues par les scripts Perl et Python ainsi que l’optimisation des différents outils. Nous avons commencé par utiliser le système de gestion de base de données XML Base X incorporant des données directement au format XML et proposant les langages XPATH et Xquery pour les interroger. Afin d’extraire le contenu textuel des balises >title< et >description< ainsi que les différents patrons morphosyntaxiques, nous avons utilisé les requêtes XQuery qui utilisent le modèle FLWOR ( for, let, where, ordre, return ). Ici sont détaillées les programmes permettant de réaliser les tâches des BAO 1 et 3.

BAO1 : for $document in collection("2017") for $it in $document//item let $a:=<titre>{$it/title/text()}</titre> let $b:=<description>{$it/description/text()}</description> return <item>{$a,$b}</item> temps : 435.51 ms BAO3 : Extraire PATRON NOM_ADJ Version 1 : <corpus> { for $art in doc(”bao2_3208”)//article for $elt in $art/element let $nextElt := $elt/following-sibling::element[1] where $elt/data[1] = "NOM" and $nextElt/data[1] = "ADJ" return <NOMADJ>{$elt,$nextElt}</NOMADJ> } </corpus> temps : 2642.76 ms Version 2 + rapide : <corpus> { for $art in doc("bao2_3208")//article for $elt in $art/element let $nextElt:=$elt/following-sibling::element[1] where $elt/data[1]="NOM" and $nextElt/data[1]="ADJ" return <NOMADJ>{$elt/data[3]/text()," ",$nextElt/data[3]/text()}</NOMADJ> } </corpus> temps 574.72 Extraire PATRON ADJ_NOM Version 1 : <corpus> { for $art in doc("bao2_3208")//article for $elt in $art/element let $nextElt := $elt/following-sibling::element[1] where $elt/data[1] = "ADJ" and $nextElt/data[1] = "NOM" return <NOMADJ>{$elt,$nextElt}</NOMADJ> } </corpus> temps : 877.6 ms Version 2 + rapide : <corpus> { for $art in doc("bao2_3208")//article for $elt in $art/element let $nextElt:=$elt/following-sibling::element[1] where $elt/data[1]="ADJ" and $nextElt/data[1]="NOM" return <ADJNOM>{$elt/data[3]/text()," ",$nextElt/data[3]/text()}</ADJNOM> } </corpus> temps 574.72 Extraire NOM_PREP_NOM for $art in doc("bao2_3208")//article for $elt in $art/element let $nextElt:= $elt/following-sibling::element[1] let $nextnextElt:= $nextElt/following-sibling::element[2] where $elt/data[1] ="NOM" and $nextElt/data[1] ="PRP" and $nextnextElt/data[1]="NOM" return <NOMPREPNOM>{$elt/data[3]/text()," ",$nextElt/data[3]/text()," ",$nextnextElt/data[3]/text()}</NOMPREPNOM> temps : 1183.32 ms
Résultats pour la rubrique 3208 : ADJ NOM NOM ADJ NOM PREP NOM

B A O 4

Après avoir récupéré les fichiers contenant les patrons qui nous intéressent avec la BAO3 adaptée aux sorties de Cordial, le programme patron2graphe.exe nous permet d'obtenir des graphes afin de visualiser les différentes combinaisons possibles entre les mots selon leur étiquetage morphosyntaxique. Il est possible de voir toutes les combinaisons d'un résultat d'extraction obtenu avec la BAO3, ou bien de ne sortir que les combinaisons d'un mot en particulier.

SORTIE CORDIAL

Pour les fichiers résultant du script BAO3-cordial.pl, il faut lancer le programme avec un encodage ISO-8859-1 comme suit :

GLOBAL : .\patron2graphe.exe "iso-8859-1" patrons_sortie_3210.cnr.txt

PAR MOT : .\patron2graphe.exe "iso-8859-1" patrons_sortie_3210.cnr.txt motif-iso-8859-1.txt

SORTIE TREETAGGER

Pour TreeTagger, il faut lancer le programme avec un encodage UTF-8 :

GLOBAL : .\patron2graphe.exe "utf-8" patrons_e-3210.xml.txt

PAR MOT : .\patron2graphe.exe "utf-8" patrons_e-3210.xml.txt motif-utf-8.txt


Pour accéder aux graphes et aux comparaisons des temps de calcul -> RESULTATS.