Boîte à Outils 1

Extraction des contenus textuels des fils RSS du Monde

#/usr/bin/perl
#-----------------------------------------------------------
# Notre script perl prend deux arguments : le nom de l'arborescence 
# 1) Le nom de l'arborescence 2021 contenant les fils RSS de l'année 2021
# 2) Le nom de la rubrique à traiter ("3208" pour la rubrique "À la une" par exemple).
# Ligne de commande : perl BAO1.pl dossier_arborescence rubrique
#-----------------------------------------------------------
use utf8;
use strict;
binmode(STDOUT, ":encoding(UTF-8)");
use File::Copy;
#-----------------------------------------------------------
# Validation des arguments donnés au programme

# On s'assure que le bon nombre d'arguments a été fourni par l'utilisateur
if ($#ARGV != 1) {
	print "Le nombre d'arguments est incorrect.\n";
	exit;
} 

#-----------------------------------------------------------
# Le programme principal

# On prend les arguments et on les stocke dans des variables associées
my $repertoire="$ARGV[0]";
my $rubrique="$ARGV[1]";
# On crée une table de hashage pour ne pas avoir de doublons
my %h_sans_doublons=();
my $nbItem=0;
# On s'assure que le nom du répertoire ne se termine pas par un 
# "/" à l'aide d'une expression régulière
$repertoire=~ s/[\/]$//;
# On ouvre deux fichiers afin d'écrire la sortie
open my $output_txt, ">:encoding(UTF-8)","perl-corpus-titre-description-$rubrique.txt";
open my $output_xml, ">:encoding(UTF-8)","perl-corpus-titre-description-$rubrique.xml";
# On print un entête xml au fichier xml
print $output_xml "\n\n";
# On lance notre fonction "parcours_arborescence_fichiers" qui va fonctionner
# de manière récursive sur le répertoire passé en argument
&parcours_arborescence_fichiers($repertoire);	
# On ajoute la balise de fin dans le fichier xml
print $output_xml "\n";
#print "$nbItem";
# On ferme les deux fichiers créés
close $output_txt;
close $output_xml;
# On met les fichiers de sortie dans le dossier de sortie BAO1 dédié
move("perl-corpus-titre-description-$rubrique.txt", "BAO1") or die "Erreur $!";
move("perl-corpus-titre-description-$rubrique.xml", "BAO1") or die "Erreur $!";
# On sort du programme
exit;

#!/usr/bin/python3
#-----------------------------------------------------------
# Ligne de commande : python3 BAO1.py dossier_arborescence rubrique
#-----------------------------------------------------------
# Les bibliothèques

# Importation des bibliothèques
import sys
import re
import os
import shutil
#-----------------------------------------------------------
# Expression régulière afin de trouver les éléments titre et description
# .+? permet à l'expression de ne pas avoir un comportement "gourmand"

regex_item = re.compile("<item><title>(.+?)<\/title>.+?<description>(.+?)<\/description>")

# Fonction principale
if __name__ == "__main__":
    if len(sys.argv) != 3:
        print("Nombre d'arguments incorrects !\n La bonne commande est par exemple : python3 BAO1.py 2021 3208")
    else:
        # on prend les arguments donnés au programme
        # les fichiers de sorties ont un nom prédéfini
        repertoire = sys.argv[1];
        rubrique = sys.argv[2];
        fichier_txt = f"python-corpus-titre-description-{rubrique}.txt";
        fichier_xml = f"python-corpus-titre-description-{rubrique}.xml";
        # on écrit dans les fichiers txt et xml en n'oubliant pas l'entête et les balises 
        with open(fichier_txt, "w", encoding="utf-8") as output_txt:
            with open(fichier_xml, "w", encoding="utf-8") as output_xml:
                header = "\n\n"
                output_xml.write(header)
                # on retrouve nos variables globales ici
                l_sans_doublons = []
                #nb_item = 0
                parcours_arborescence_fichiers(repertoire, rubrique, fichier_txt, fichier_xml)
                output_xml.write("\n")
                #print(nb_item)
                if os.path.exists(f"./BAO1/{fichier_txt}"):
                    os.remove(f"./BAO1/{fichier_txt}")
                if os.path.exists(f"./BAO1/{fichier_xml}"):
                    os.remove(f"./BAO1/{fichier_xml}")
                # On met les fichiers de sortie dans le dossier de sortie BAO1 dédié
                shutil.move(fichier_txt, "BAO1")
                shutil.move(fichier_xml, "BAO1")
#-----------------------------------------------------------

#-----------------------------------------------------------
# Les fonctions

# Fonction de nettoyage du texte permettant d'enlever les CDATA présents pour des sections 
# qui ne devaient pas être reconnus comme balisage
def nettoyage(texte) :
    textclean = re.sub("<!\[CDATA\[(.*?)\]\]>", "\\1", texte)
    textclean += "."
    textclean = re.sub("\.+$", ".", texteclean)
    return textclean

# Fonction permettant d'extraire les informations sur un (seul) fichier RSS
# et d'écrire dans le fichier txt chaque titre et description suivi d'une séparation
# et d'écrire dans le fichier xml chaque titre et description entouré de balises
def extract_un_fil(fichier_rss, fichier_txt, fichier_xml):
    # on lit le fichier RSS
    with open(fichier_rss, "r", encoding="utf-8") as input_rss:
        lignes = input_rss.readlines()
        texte = "".join(lignes)
        # pour chaque élément matché (deux groupes)
        for m in re.finditer(regex_item, texte): 
            # pour éviter les doublons, on crée une variable globale sans doublons de type liste 
            global l_sans_doublons
            # si le titre n'est pas déjà dans la liste
            # alors on écrit dans nos fichiers txt et xml
            # (on considère qu'un article est un doublon si son titre est identique)
            if m.group(1) not in l_sans_doublons:
                # on l'ajoute dans la liste
                l_sans_doublons.append(m.group(1))
                #global nb_item
                #nb_item += 1
                titre_net = nettoyage(m.group(1))
                description_net = nettoyage(m.group(2))
                output_txt.write(f"{titre_net}\n{description_net}\n")
                output_txt.write("-----------------------------\n")
                item_xml = f"\n\n{titre_net}\n\n\n{description_net}\n\n\n"
                output_xml.write(item_xml)

# Fonction de parcours d'arborescence permettant de parcourir tous les fichiers RSS xml
# selon la rubrique choisie
def parcours_arborescence_fichiers(repertoire, rubrique, fichier_txt, fichier_xml):
    if not os.path.isdir(repertoire) :
        print( "Le chemin n'exite pas !" )
    else : 
        # pour tous les fichiers du répertoire
        for fichier in os.listdir(repertoire):
            # on joint le chemin
            f = os.path.join(repertoire, fichier)
            # si le fichier est un dossier, on continue récursivement le parcours
            # sur les dossiers de ce nouveau répertoire
            if os.path.isdir(f):
                parcours_arborescence_fichiers(f, rubrique, fichier_txt, fichier_xml)
            # si le fichier on est un fichier RSS avec la bonne rubrique
            if os.path.isfile(f) and f.endswith(".xml") and rubrique in f:
                extract_un_fil(f, fichier_txt, fichier_xml)