Les boîtes à outils créées en Perl ont été reprises en Python (3.x) avec quelques arrangements. Vous pourrez ici télécharger et visualiser tous les scripts. Ceux-ci ont traité les rubriques 3208, 3210 et 3214 des fils RSS du Monde.

B A O 1

Parcourir une arborescence de fichiers est plus facile en Python qu'en Perl grâce au module os et à la fonction walk. Ici, on récupère le nom de la rubrique donnée par l'utilisateur en ligne de commande et on parcourt l'ensemble des items que walk() rencontrera depuis le répertoire source jusqu'à trouver ceux qui nous intéressent, à savoir les fichiers XML de la rubrique entrée en argument lors du lancement. Une expression régulière va ensuite extraire ce que contiennent les balises <title> et <description> à condition qu'elles soient entre les balises <item>. Le script rend deux documents en sortie : un document au format texte brut qui contient uniquement les titres et descriptions, et un document au format XML avec ces titres et descriptions balisés (item, title, description).

TELECHARGER :

Pour utiliser le script, installez le module pathlib. Placez-vous dans le même répertoire que le dossier que vous voulez traiter et lancez le script de la façon suivante dans l'invite de commande :
python3 bao1.py nom_du_dossier nom_de_la_rubrique

#!/usr/bin/python import sys, re, os, time, pathlib from pathlib import Path from os import walk # Fonction de nettoyage : def clean(file) : file = re.sub("<(.+?)>", "", file) file = re.sub("> +</><", "", file) file = re.sub("$##*3[4-9];", "", file) file = re.sub("&#23[3-4];", "", file) file = re.sub("&", "", file) return file # Assignation de l'argument donné en ligne de commande à la variable 'src' : src = sys.argv[1] print(src) rubrique = sys.argv[2] print(rubrique) rubriquetxt = rubrique+".txt" rubriquexml = rubrique+".xml" # Suppresion du fichier if os.path.exists(rubriquetxt) : os.remove(rubriquetxt) # Création d'un fichier vide qui contiendra les titres et descriptions au format texte brut : Path(rubriquetxt, encoding="utf-8").touch() # Création d'un fichier XML et écriture de l'en-tête : with open(rubriquexml, 'w') as fic : fic.write("<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n<Document>\n<Content>\n") start_time = time.time() # Récupération de tous les fichiers XML situés dans l'arborescence à partir du dossier donné en argument : for root, directories, filenames in os.walk(src): for filename in filenames : if filename.endswith('.xml') and rubrique in filename : path = os.path.join(root, filename) print("NOUS SOMMES DANS LE DOSSIER :", path) # Lecture du fichier : file = open(path, encoding="utf-8").read() # Nettoyage du fichier : file = clean(file) # Recherche du contenu des balises qui nous intéressent + prise en compte des espaces et sauts de ligne avec DOTALL : pattern = re.compile(r"<item>.*?<title>(.*?)</title>.*?<description>(.*?)</description>", re.DOTALL) # Itération sur les résultats de la regex : for pat in re.finditer(pattern, file) : # Récupération du contenu de la balise "title" : title = pat.group(1) # Récupération du contenu de la balise "description" : description = pat.group(2) #print("Titre :\n", title, ".\n\nDescription :\n", description, "\n\n") # Concaténation du contenu dans un fichier .txt : with open(rubriquetxt, 'a', encoding="utf-8") as text : if title.endswith("?") : text.write(str(title)+"\n"+str(description)+"\n") else : text.write(str(title)+". \n"+str(description)+"\n") # Insertion dans un fichier XML : with open(rubriquexml, 'a', encoding="utf-8") as xml : if title.endswith("?") : xml.write("<item><title>"+title+"</title><description>"+description+"</description></item>"+"\n") else : xml.write("<item><title>"+title+".</title><description>"+description+"</description></item>"+"\n") # Fermeture des balises Document et Content : with open(rubriquexml, 'a', encoding="utf-8") as xml: xml.write("\n</Content>\n</Document>") print("DUREE TOTALE DU TRAITEMENT : --- %s seconds ---" % (time.time() - start_time))
Résultats pour la rubrique 3208 : XML TXT

B A O 2

Cette deuxième boîte à outils permet de faire de l'étiquetage morphosyntaxique avec TreeTagger sur les fichiers XML obtenus avec la BAO1. Pour cela, elle se sert d'un tokeniser en Perl (tokenise-utf8.pl) et d'un programme structurant en XML les rendus de l'étiquetage par TreeTagger (treetagger2xml-utf8.exe). En sortie, le script rend un fichier XML avec le contenu textuel entièrement étiqueté en tokens, lemmes et parties du discours.

TELECHARGER :

Pour l'utiliser, passez simplement le fichier XML obtenu avec la BAO1 en argument dans l'invite de commande :
python3 bao2.py nom_de_la_rubrique.xml

#!/usr/bin/python import sys, re, os, time rubrique = sys.argv[1] erubrique = "e-"+rubrique with open(erubrique, 'w') as fic : fic.write("<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n<Document>\n<Content>\n") def tag(title, description) : # Etiquetage du titre : with open("title.txt", 'w', encoding="utf-8") as t : t.write(title) print("ETIQUETAGE DU TITRE :") os.system("perl tokenise-utf8.pl title.txt | ./tree-tagger.exe -lemma -no-unknown -token french-utf-8.par > titre_tag.txt") os.system("./treetagger2xml-utf8.exe titre_tag.txt utf8") title = open("titre_tag.txt.xml").read() # Suppression de l'en-tête XML : title = re.sub("<\?xml.*?\?>", "", title) # Etiquetage de la description : with open("description.txt", 'w', encoding='utf-8') as d : d.write(description) print("\nETIQUETAGE DE LA DESCRIPTION :") os.system("perl tokenise-utf8.pl description.txt | ./tree-tagger.exe -lemma -no-unknown -token french-utf-8.par > description_tag.txt") os.system("./treetagger2xml-utf8.exe description_tag.txt utf8") description = open("description_tag.txt.xml").read() description = re.sub("<\?xml.*?\?>", "", description) return title, description start_time = time.time() # Ouverture du fichier donné en argument : xml = open(rubrique, encoding="utf-8").read() # Récupération des titres et descriptions : pattern = re.compile(r"<item><title>([^<].*?)<\/title><description>([^<].*?)<\/description><\/item>") # Itération sur les résultats de la regex : for pat in re.finditer(pattern, xml) : # Récupération du contenu de la balise "title" : title = pat.group(1) # Récupération du contenu de la balise "description" : description = pat.group(2) print("Titre :\n", title, "\n\nDescription :\n", description, "\n\n") # Etiquetage des titres et des descriptions : ttitle, ddescription = tag(title, description) # Ecriture du résultat dans un fichier, réinsertion des titres et descriptions tagguées entre les balises : with open(erubrique, 'a', encoding="utf-8") as xml : xml.write("<item><title>"+ttitle+"</title><description>"+ddescription+"</description></item>"+"\n") # Fermeture des balises Document et Content : with open(erubrique, 'a', encoding="utf-8") as xml: xml.write("\n</Content>\n</Document>") print("DUREE TOTALE DU TRAITEMENT : --- %s seconds ---" % (time.time() - start_time))
Résultats pour la rubrique 3208 : TREETAGGER CORDIAL

B A O 3

CORDIAL

La troisième boîte à outils cherche à extraire les patrons de notre choix pour obtenir l'ensemble des syntagmes qui nous intéressent. Ce premier script est adapté à l'extraction des patrons des fichiers étiquetés avec Cordial. En concaténant l'expression régulière à compiler pour repérer les motifs, il est en mesure d'accepter autant de patrons que nécessaires et de n'importe quelle longueur. Il renvoie un fichier contenant toutes les extractions séparés par des sauts de ligne. Par exemple, s'il reçoit un fichier de patrons comprenant NC.. PREP NC.., il rendra :
pomme de terre
sac à main
[...]
Les sorties de Cordial sont encodées en ISO-8859-1. Le fichier résultant est dans le même encodage.

TELECHARGER :

Pour lancer le script :
python3 bao3-cordial.py sortie_cordial.cnr patron-cordial.txt

#!/usr/bin/python #!/usr/bin/python import sys, re # Assignation du fichier cordial à la variable 'cordial' pour ouvrir le fichier : cordial = sys.argv[1] name = "patrons_"+cordial+".txt" cordial = open(cordial, encoding="ISO-8859-1").read() # Même chose pour le fichier : patrons = sys.argv[2] patrons = open(patrons).read() # Séparation des patrons sur les sauts de lignes : patrons = patrons.split("\n") # Ouverture d'un fichier qui contiendra le résultat : with open(name, "w", encoding="ISO-8859-1") as fic : # On itère sur les patrons (sur chaque ligne) : for patron in patrons : pattern = "" # On split pour avoir bien chaque catégorie séparée : pat = patron.split(" ") # On itère sur chaque catégorie morphosyntaxique : for i in range(len(pat)) : # On assigne la catégorie (ex : ADJ) à la variable 'pos' pos = pat[i] # On concatène cette portion de regex (qui prend en compte la catégorie) selon la longueur du patron : pattern += "(\w+?)\t\w+?\t{pos}\n".format(pos=pos) # On compile le pattern concaténé pour que la catégorie (qui contient des symboles regex) soit traitée : motif = re.compile(pattern) # Liste qui contient l'ensemble des patrons trouvés : res = re.findall(motif, cordial) # Affichage PATRON + token(s) associé(s) : fic.write(' '.join(str(i) for i in res)+"\n\n\n") # Nettoyage du rendu de findall() qui affiche des listes remplies de tuples : file = open(name, encoding="ISO-8859-1").read() file = re.sub("('|\(|,|\n)", "", file) file = re.sub("\)", ",", file) file = re.split(', |,', file) # Ecriture dans un fichier + affichage : with open(name, "w", encoding="ISO-8859-1") as fic : for e in file : fic.write(e+"\n") print(e) # Fini ! print("\nFichier", name, "créé !\n")
Résultats pour la rubrique 3208 avec le fichier de patrons adapté à l'étiquetage par Cordial : CORDIAL

TREETAGGER

Ce deuxième script d'extraction fait de même pour les fichiers étiquetés avec TreeTagger, mais permet cette fois de procéder de deux manières. On peut au choix donner un fichier de patrons à extraire, ou bien les écrire directement en ligne de commande. Dans le deuxième cas, le script accepte en argument les patrons de type "NOM ADJ" ou "NOM PREP NOM", mais pas les terminologies simples comme "NOM" ou "ADJ". Pour ce faire, le programme vérifie s'il a reçu un fichier en argument. Si oui, il procède comme le script pour Cordial. Si non, il extraie le patron entré par l'utilisateur. Attention : à la différence des sorties de Cordial, les fichiers étiquetés par TreeTagger sont à traiter en UTF-8.


TELECHARGER :

Pour lancer le script en entrant un patron à la main (un message s'affichera ensuite pour entrer le patron) :
python3 bao3-treetagger.py sortie_treetagger.xml
Pour le lancer avec un fichier :
python3 bao3-treetagger.py sortie_treetagger.xml patron-treetagger.txt

#!/usr/bin/python #!/usr/bin/python import sys, re # Assignation du fichier treetagger à la variable 'treetagger' pour ouvrir le fichier : treetagger = sys.argv[1] name = "patrons_"+treetagger+".txt" treetagger = open(treetagger, encoding="utf-8").read() # AVEC UNE TERMINOLOGIE ENTREE EN LIGNE DE COMMANDE : if len(sys.argv) == 2 : # Récupération du patron entré par l'utilisateur : terminologie = input("\nVeuillez entrer un patron à extraire (catégories séparées par des espaces) : ") # Ouverture du fichier qui contiendra le résultat : with open(name, "w", encoding="utf-8") as fic : # On sépare les cat pour obtenir une liste de catégories : pat = terminologie.split(" ") # Si la liste ne contient pas un patron complet : if len(pat) <= 1 : print("\nVous n'avez pas entré de patron valide ! Relancez le programme et entrez-en un,\nou donnez un fichier en ligne de commande.\n---> Exemple pour un patron : NOM ADJ <---\n") sys.exit() pattern = "" # On itère sur chaque catégorie : for i in range(len(pat)) : # On assigne la catégorie (ex : ADJ) à la variable 'pos' pos = pat[i] # On concatène cette portion de regex (qui prend en compte la catégorie) selon la longueur du patron : pattern += "<element><data type=\"type\">{pos}</data><data type=\"lemma\">\w+?</data><data type=\"string\">(\w+?)</data></element>\n".format(pos=pos) # On compile le pattern concaténé pour que la catégorie (qui contient des symboles regex) soit traitée : motif = re.compile(pattern) # Liste qui contient l'ensemble des patrons trouvés : res = re.findall(motif, treetagger) # Ecriture du résultat de findall() dans un fichier : fic.write('\n'.join(str(i) for i in res)) # AVEC UN FICHIER DE PATRONS EN ENTREE : elif len(sys.argv) == 3 : # Assignation patrons = sys.argv[2] patrons = open(patrons).read() # Séparation des patrons sur les sauts de lignes : patrons = patrons.split("\n") with open(name, "w", encoding="utf-8") as fic : # On itère sur les patrons (sur chaque ligne) : for patron in patrons : pattern = "" # On split pour avoir bien chaque catégorie séparée : pat = patron.split(" ") # On itère sur chaque catégorie morphosyntaxique : for i in range(len(pat)) : # On assigne la catégorie (ex : ADJ) à la variable 'pos' pos = pat[i] # On concatène cette portion de regex (qui prend en compte la catégorie) selon la longueur du patron : pattern += "<element><data type=\"type\">{pos}</data><data type=\"lemma\">\w+?</data><data type=\"string\">(\w+?)</data></element>\n".format(pos=pos) # On compile le pattern concaténé pour que la catégorie (qui contient des symboles regex) soit traitée : motif = re.compile(pattern) # Liste qui contient l'ensemble des patrons trouvés : res = re.findall(motif, treetagger) # Affichage PATRON + token(s) associé(s) : fic.write('\n'.join(str(i) for i in res)) # Nettoyage du rendu de findall() qui affiche des listes remplies de tuples : file = open(name, encoding="utf-8").read() file = re.sub("('|\(|,|\n)", "", file) file = re.sub("\)", ",", file) file = re.split(',', file) # Ecriture dans un fichier + affichage : with open(name, "w", encoding="utf-8") as fic : for e in file : fic.write(e+"\n") print(e) # Fini ! print("\nFichier", name, "créé !\n")
Résultats pour la rubrique 3208 avec le fichier de patrons adapté à l'étiquetage par TreeTagger : TREETAGGER

B A O 4

Après avoir récupéré les fichiers contenant les patrons qui nous intéressent avec la BAO3 adaptée aux sorties de Cordial et de TreeTagger, le programme patron2graphe.exe nous permet d'obtenir des graphes afin de visualiser les différentes combinaisons possibles entre les mots selon leur étiquetage morphosyntaxique. Il est possible de voir toutes les combinaisons d'un résultat d'extraction obtenu avec la BAO3, ou bien de ne sortir que les combinaisons d'un mot en particulier.

SORTIE CORDIAL

Pour les fichiers résultant du script bao3-cordial.py, il faut lancer le programme avec un encodage ISO-8859-1 comme suit :

GLOBAL : .\patron2graphe.exe "iso-8859-1" patrons_sortie_3210.cnr.txt

PAR MOT : .\patron2graphe.exe "iso-8859-1" patrons_sortie_3210.cnr.txt motif-iso-8859-1.txt

SORTIE TREETAGGER

Pour TreeTagger, il faut lancer le programme avec un encodage UTF-8 :

GLOBAL : .\patron2graphe.exe "utf-8" patrons_e-3210.xml.txt

PAR MOT : .\patron2graphe.exe "utf-8" patrons_e-3210.xml.txt motif-utf-8.txt


Pour accéder aux graphes et aux comparaisons des temps de calcul -> RESULTATS.