Projet BAO - Margaux Duhayon

Voici la page de mon travail pour la matière Projet encadré .
Le but de ce projet est de créer des boîtes à outils permettant d'effectuer des patrons morphosyntaxiques.
Le schéma ci-dessous, a été créé par ma collègue Milena afin d'avoir une représentation visuelle du projet.

BAO 1

La Boîte à outil n°1 permet de parcourir les rubriques de chacune des archives du Monde afin de récupérer les titres et les descriptions de chaque article et les mettre dans 2 fichiers : un fichier texte et un fichier xml.
Les données récupérées sont également nettoyer dans cette boîte à outil.
Nous observerons les résultats dans la boîte à outil n°2 qui possède un sous-programme d'étiquetage supplémentaire.

Afficher/masquer le code (télécharger ↓)

#/usr/bin/perl

#------------------------ BAO1 ----------------------------------

#--------- Définition des variables et entête du fichier xml-------------------------------

my $rep="$ARGV[0]";
my $rubrique="$ARGV[1]";
my %dico= ();

$rep=~ s/[\/]$//; # le nom du répertoire ne doit pas se termine pas par un "/"

open my $sortie_txt,">:encoding(utf8)", "$rubrique.txt"; #sortie qui sera un fichier txt
open my $sortie_xml,">:encoding(utf8)", "$rubrique.xml"; # sortie qui sera un fichier xml
print $sortie_xml "<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n"; #entête du futur fichier xml
print $sortie_xml "<PARCOURS>\n";
print $sortie_xml "<NOM>Duhayon Margaux</NOM>\n";
print $sortie_xml "<ABSTRACT>\n";


&parcoursarborescencefichiers($rep);	# on lance la récursion

print $sortie_xml "</ABSTRACT>\n";
print $sortie_xml "</PARCOURS>\n";

close $sortie_txt;
close $sortie_xml;

exit;

#----------------Ouverture des fichiers ------------------------------

sub parcoursarborescencefichiers {
    my $path = shift(@_);
    opendir(DIR, $path) or die "can't open $path: $!\n";
    my @files = readdir(DIR);
    closedir(DIR);
    foreach my $file (@files) {
		next if $file =~ /^\.\.?$/;
		$file = $path."/".$file;
		if (-d $file) {
			print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n";
			&parcoursarborescencefichiers($file);	#recurse!
			print "<FIN REPERTOIRE> ==> ",$file,"\n";
		}

#---------------- Si c'est un fichier xml : récuperer le texte ------------------------------

		if (-f $file) {
            if($file =~ m/$rubrique.+\.xml$/) {

                print "<",$i++,"> ==> ",$file,"\n";

                open my $FILEIN, "<:encoding(utf-8)", $file;

                my $ensemble="";
                while (my $ligne=<$FILEIN>) {
                    chomp $ligne;
                    $ligne =~ s/\r//g;
                    $ensemble = $ensemble . $ligne ;
                }

#----------------Chercher les balises titre et description ------------------------------

                while ($ensemble =~ m/<item>.*?<title>(.+?)<\/title>.*?<description>(.+?)<\/description>.*?<\/item>/g){
                    my $title = $1;
                    my $description = $2;
                    if (!exists $dico{$title})
                        {
                        $dico{$title} = 1;
                        my ($titre_propre, $description_propre) = &nettoyage($title, $description);

#---------------- Impression du contenu dans des balises ------------------------------

                        print $sortie_txt "$titre_propre.\n";
                        print $sortie_txt "$description_propre\n\n";

                        print $sortie_xml "<item><titre>$titre_propre</titre><description>$description_propre</description></item>\n";

          }
        }
      }
		}
  }
}

#------------ Sous-programme de nettoyage -------------------

sub nettoyage {
    my $var1 = shift(@_); # @_: liste des arguemnts d'une procédure
    my $var2 = shift(@_);
    my $var3 = shift(@_);
    my $var4 = shift(@_);
    my $var5 = shift(@_);
    my $var6 = shift(@_);
    my $var7 = shift(@_);

    $var1 =~s/&lt;.+?&gt;//g;
    $var2 =~s/&lt;.+?&gt;//g;
    $var3 =~ s/&#38;#39;/'/g;
    $var4 =~ s/&#039;/'/g;
    $var5 =~ s/\t+//g;
    $var6 =~ s/> +</></g;
    $var7 =~ s/<[^>]+?>//g;
    return $var1,$var2,$var3,$var4,$var5,$var6,$var7;
}

BAO 2

La Boîte à outil n°2 effectue la même action que la Boîte à outils n°1 mais possède une étape supplémentaire qui est l'étiquetage des titres et descriptions.

Afficher/masquer le code (télécharger ↓)

#/usr/bin/perl


my $rep="$ARGV[0]"; #recupere le nom du r�pertoire
my $rubrique="$ARGV[1]"; #filtrer

$rep =~ s/[\/]$//; #sino =~ s/[\/]$//;

my %dico=();
my $codage = "utf-8";
my $compteurfile=1;
my $compteurItem=0;

my $output1=$rubrique.".xml";
my $output2=$rubrique.".txt";

if (!open (FILEOUT,">:encoding($codage)",$output1)) { die "Problème à l'ouverture du fichier $output1"};
if (!open (FILEOUT2,">:encoding($codage)",$output2)) { die "Problème à l'ouverture du fichier $output2"};

print FILEOUT "<?xml version=\"1.0\" encoding=\"utf-8\" ?>\n";
print FILEOUT "<PARCOURS>\n";
print FILEOUT "<NOM>Margaux Duhayon</NOM>\n";
print FILEOUT "<FILTRAGE>\n";



#----------------------------------------
&parcoursarborescencefichiers($rep);	# on lance la recursion.... et elle se terminera apres examen de toute l'arborescence
#----------------------------------------

if (!open (FILEOUT,">>:encoding($codage)",$output1)) { die "Problème à l'ouverture du fichier $output1"};
print FILEOUT "\n</FILTRAGE>\n";
print FILEOUT "</PARCOURS>\n";
close(FILEOUT);
exit;
#----------------------------------------------
sub parcoursarborescencefichiers {

    # open (XML, ">>:encoding(utf8), "lemonde.xml);

    my $path = shift(@_); #r�cup�re nom du rep
    opendir(DIR, $path) or die "can't open $path: $!\n"; # fonction qui permet d'ouvrir d'un r�pertiore � la mani�re de l'ouverture d'un fichier
    my @files = readdir(DIR); #lire rep , renvoir une liste
    closedir(DIR);
    foreach my $file (@files) {
		next if $file =~ /^\.\.?$/;
		$file = $path."/".$file;
		if (-d $file) { #vrai si objet est un rep
			print "<NOUVEAU REPERTOIRE> ==> ",$file,"\n";
			&parcoursarborescencefichiers($file);	#recurse!
			print "<FIN REPERTOIRE> ==> ",$file,"\n";
		}
		if (-f $file) { #faux si objet est rep

			if ($file =~/$rubrique.+\.xml$/){
            print "<",$compteurfile++,"> ==> ",$file,"\n";

            open(FIC, "<:encoding($codage)", $file);  #Ouverture du fichier passé en argument au script et association à un pointeur de fichier
            #open (FILEOUT1, ">>:encoding(utf-8)", "sortie_$rubrique.txt"); #> écrasement alors il faut mettre >>
            #open (FILEOUT2, ">>:encoding(utf-8)", "sortie_$rubrique.xml");
            my $ensemble="";
            while (my $ligne=<FIC>) { #sert à lire les lignes du fichier; on la déclare localement dans la boucle
                chomp $ligne;
                $ligne=~ s/\r//g;
        	      $ensemble = $ensemble . $ligne;

        }
                close FIC;

                $ensemble =~ s/>\s+</></g;

                #while ($ensemble =~ m/<item>.*?<title>(.+?)<\/title>.+?<description>(.+?)<\/description>.*?<\/item>/g) { #? s'arrête au premier </title, g pour global pour qu'il fasse tout le texte. ELVIRA: moi j´ai <item> *.+?...(un espace entre > et l´étoile).
                #m/<item>.*?<title>(.+?)<\/title>.*?<description>([^<]*?)<\/description>.*?<\/item>/g
                while ($ensemble =~ m/<item>.*?<title>(.+?)<\/title>.*?<description>(.+?)<\/description>.*?<\/item>/g) {

              		my $titre = $1;
              		my $description = $2;

                  my ($titre, $description) = &nettoyage ($titre, $description); #& veut dire éxecute

                  if (!(exists $dico{$title}))
                  {

                    $dico{$titre} = 1; #eviter les doublon, en donnant une clé au titre. Si il rencontre la même clé il prend rien



                    $compteurItem++;
                    my ($titre_etiq, $desc_etiq) = &etiquetage ($titre, $description);

                    print FILEOUT "<item number=\"$compteurItem\">\n<titre>$titre_etiq</titre>\n<description>$desc_etiq</description>\n</item>\n";
                    print FILEOUT2 "$titre\n$description\n\n";
                  }
              }

			      }
        }
    }
}

sub nettoyage {

	#my $var1 = $_[O]; #création de tableau
	  my $var1 = shift(@_); #shift récupère 1 ère valeur du tableau
    my $var2 = shift(@_);


    $var1=~s/&lt;.+?&gt;//g; # nettoyage � compl�ter...
    $var2=~s/&lt;.+?&gt;//g; # nettoyage � compl�ter...
    $var1.=".";
    $var1=~s/\?\.$/\?/;
    return $var1,$var2;
}

sub etiquetage
{
  my $var1 = shift(@_);
  my $var2 = shift(@_);
  open (OUT, ">:encoding(utf8)", "titre_tempo.txt");
  print OUT $var1;
  close OUT;
  system ("perl tokenise-utf8.pl titre_tempo.txt | ./treetagger/bin/tree-tagger -lemma -token -no-unknown ./treetagger/lib/french-utf8.par > titre_etiq_tempo.txt");
  system ("perl treetagger2xml-utf8.pl titre_etiq_tempo.txt utf8");
  $/=undef;
  open (FIC,"<:encoding(utf8)","titre_etiq_tempo.txt.xml");
  my $titre_retour=<FIC>;
  $titre_retour =~s/<\?xml version="1\.0" encoding="utf-8" standalone="no"\?>\r\n//;
  print $titre_retour;

  open (OUT, ">:encoding(utf8)", "desc_tempo.txt");
  print OUT $var2;
  close OUT;
  system ("perl tokenise-utf8.pl desc_tempo.txt | ./treetagger/bin/tree-tagger -lemma -token -no-unknown ./treetagger/lib/french-utf8.par > desc_etiq_tempo.txt");
  system ("perl treetagger2xml-utf8.pl desc_etiq_tempo.txt utf8");
  $/=undef;
  open (FIC,"<:encoding(utf8)", "desc_etiq_tempo.txt.xml");
  my $desc_retour=<FIC>;
  $desc_retour =~s/<\?xml version="1\.0" encoding="utf-8" standalone="no"\?>\n//;

  $/="\n";

  return $titre_retour, $desc_retour;
  #exit;
}

BAO 3

La Boîte à outils n°3 permet d'extraire des patrons morphosyntaxiques dans les étiquetages produit avec Cordial.

Plusieurs possibilités seront présentées :

1) une solution perl qui prend en argument le fichier texte des patrons
2) une solution avec l'aide de recommandation XSLT
3) une solution avec l'aide de recommandation XQUERY
4) une deuxième solution avec perl et qui utilise Treetagger

1 ère solution :

Pour cette solution, il faut dans un premier temps, passer les fichiers étiquetés, obtenus avec la BAO 2, dans le logiciel Cordial.
Le programme va parcourir le fichier ligne par ligne et va mettre dans 3 listes différentes le contenu de chacune des colonnes du fichier Cordial.
On a également besoin d'un fichier texte avec les patrons morphosyntaxiques comme ci-dessous.

Pour passer les fichiers dans Cordial, il faut modifier l'encodage de nos fichiers en ISO-8859-1.
Pour cela, nous utilisons la commande iconv -f UTF-8 -t iso-8859-1 3236.txt > fichier.txt.

Patron

La commande est donc : perl BAO3.pl fichier_cordial fichier_txt_patrons.

Afficher/masquer le code (télécharger ↓)

#!/usr/bin/perl


use utf8;
binmode STDOUT, ":utf8";

#---------LECTURE DU FICHIER -------------------------------

open (FICHIER, "<:encoding(utf8)", $ARGV[0]);
my $chaine="";

# Boucle principale
while (my $ligne=<FICHIER>)
{

    $ligne=~s/\r//g;
    chomp $ligne;

#---------Récupération du POS et du TOKEN -------------------------------

    if (($ligne=~/^([^\t]+)\t[^\t]+\t([^\t]+)$/) and ($ligne!~/PONCT_FORT/))
    {


        my $f=$1;
        my $c=$2;
        $f=~s/ /%/g;


        $chaine = $chaine . $c ."_".$f." ";
    }

    else
    {
        open (TERM, "<:encoding(utf8)", $ARGV[1]);
        while ($terme=<TERM>)
        {
            chomp($terme);
            $terme=~s/([^ ]+)/$1_\[\^ \]+/g;

        while ($chaine=~/($terme)/g)
        {

            my $correspondance=$1;
            $correspondance=~s/[A-Z]+_//g;
            $correspondance=~s/%/ /g;
            print $correspondance,"\n";

        }


        }
        close(TERM);
        $chaine="";
    }

}

close FICHIER;
"

2e solution :

La deuxième solution était un exercice à effectuer dans une autre matière qui se nomme Document Structuré.
Cette solution est effectuée avec le langage XML et des recommandations XSLT et XPATH.

Nous avons trois feuilles de style xslt :

La première permet d'extraire le patron morphosyntaxique NOM ADJ

Afficher/masquer le code (télécharger ↓)

<?xml version="1.0" encoding="iso-8859-1"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="html" encoding="utf-8"/>

<xsl:template match="/">
    <html>
        <body  bgcolor="#81808E">
            <table align="center" width="50%"  bgcolor="white" bordercolor="#3300FF" border="1">
                <tr bgcolor="black">
                    <td width="90%" valign="top"><font color="white"><h1>Extraction de patron <font color="red"><b>NOM</b></font><xsl:text> </xsl:text><font color="blue"><b>ADJ</b></font></h1></font></td>
                </tr>
                <tr><td>
                    <blockquote><xsl:apply-templates select="./parcours/item/title/article"/></blockquote></td></tr>
            </table>
        </body>
    </html>
<xsl:apply-templates select="//element"/>
</xsl:template>

<xsl:template match="element">
<xsl:choose>
<xsl:when test="(./data[contains(text(),'NOM')]) and (following-sibling::element[1][./data[contains(text(),'ADJ')]])">
    <font color="red"><xsl:value-of select="./data[3]"/></font><xsl:text> </xsl:text>
</xsl:when>
<xsl:when test="(./data[contains(text(),'ADJ')]) and (preceding-sibling::element[1][./data[contains(text(),'NOM')]])">
    <font color="blue"><xsl:value-of select="./data[3]"/></font>
    <br/>
</xsl:when>
</xsl:choose>
</xsl:template>

</xsl:stylesheet>

Résultat

La deuxième permet d'extraire le patron morphosyntaxique NUM NOM VER PUN

Afficher/masquer le code (télécharger ↓)

  <?xml version="1.0" encoding="utf-8"?>
  <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
      <xsl:output method="html" encoding="utf-8"/>
      <xsl:template match="/">
          <html>
              <body  bgcolor="#81808E">
                  <table align="center" width="50%"  bgcolor="white" bordercolor="#3300FF" border="1">
                      <tr bgcolor="black">
                          <td width="90%" valign="top"><font color="white"><h1>Extraction de patron <font color="red"><b>NUM</b></font><xsl:text> </xsl:text><font color="blue"><b>NOM</b></font><xsl:text> </xsl:text><font color="green"><b>VER</b></font><xsl:text> </xsl:text><font color="white"><b>PUN</b></font></h1></font></td>
                      </tr>
                      <tr><td>
                          <blockquote><xsl:apply-templates select="./parcours/item/title/article"/></blockquote></td></tr>
                  </table>
              </body>
          </html>
          <xsl:apply-templates select=".//article"/>
      </xsl:template>


      <xsl:template match="article">
          <xsl:for-each select="element">
              <xsl:if test="(./data[1][contains(text(),'NUM')])">
                  <xsl:variable name="p1" select="./data[3]/text()"/>
                  <xsl:if test="following-sibling::element[1][./data[1][contains(text(),'NOM')]]">
                  <xsl:variable name="p2" select="following-sibling::element[1]/data[3]/text()"/>
                  <xsl:if test="following-sibling::element[2][./data[1][contains(text(),'VER')]]">
                  <xsl:variable name="p3" select="following-sibling::element[2]/data[3]/text()"/>
                  <xsl:if test="following-sibling::element[3][./data[1][contains(text(), 'PUN')]]">
                  <xsl:variable name="p4" select="following-sibling::element[3]/data[3]/text()"/>
                    <font color="red"><xsl:value-of select="$p1"/></font>
                    <xsl:text> </xsl:text>
                    <font color="blue"><xsl:value-of select="$p2"/></font>
                    <xsl:text> </xsl:text>
                    <font color="green"><xsl:value-of select="$p3"/></font>
                    <xsl:text> </xsl:text>
                    <font color="white"><xsl:value-of select="$p4"/></font>
                      <br/>

                      </xsl:if>
                  </xsl:if>
              </xsl:if>
            </xsl:if>
          </xsl:for-each>

      </xsl:template>

  </xsl:stylesheet>

Résultat

La troisième permet d'extraire le patron morphosyntaxique NOM VER ADJ

Afficher/masquer le code (télécharger ↓)

<?xml version="1.0" encoding="utf-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
    <xsl:output method="html" encoding="utf-8"/>
    <xsl:template match="/">
        <html>
            <body  bgcolor="#81808E">
                <table align="center" width="50%"  bgcolor="white" bordercolor="#3300FF" border="1">
                    <tr bgcolor="black">
                        <td width="90%" valign="top"><font color="white"><h1>Extraction de patron <font color="red"><b>NOM</b></font><xsl:text> </xsl:text><font color="blue"><b>VER</b></font><xsl:text> </xsl:text><font color="green"><b>ADJ</b></font></h1></font></td>
                    </tr>
                    <tr><td>
                        <blockquote><xsl:apply-templates select="./parcours/item/title/article"/></blockquote></td></tr>
                </table>
            </body>
        </html>
        <xsl:apply-templates select=".//article"/>
    </xsl:template>


    <xsl:template match="article">
        <xsl:for-each select="element">
            <xsl:if test="(./data[1][contains(text(),'NOM')])">
                <xsl:variable name="p1" select="./data[3]/text()"/>
                <xsl:if test="following-sibling::element[1][./data[1][contains(text(),'VER')]]">
                    <xsl:variable name="p2" select="following-sibling::element[1]/data[3]/text()"/>
                    <xsl:if test="following-sibling::element[2][./data[1][contains(text(),'ADJ')]]">
                        <xsl:variable name="p3" select="following-sibling::element[2]/data[3]/text()"/>
                         <font color="red"><xsl:value-of select="$p1"/></font>
                            <xsl:text> </xsl:text>
                            <font color="blue"><xsl:value-of select="$p2"/></font>
                            <xsl:text> </xsl:text>
                            <font color="green"><xsl:value-of select="$p3"/></font>

                            <br/>

                    </xsl:if>
                </xsl:if>
            </xsl:if>
        </xsl:for-each>

    </xsl:template>

</xsl:stylesheet>

Résultat

3e solution :

Cette troisième solution propose des recommandations XQUERY pour extraire les patrons morphosyntaxiques "NOM ADJ" et "NOM PRP NOM".

Ci-dessous la recommandation pour le patron morphosyntaxique "NOM ADJ"

Afficher/masquer le code (télécharger ↓)

for $rss in doc("3244")//article
for $element in $rss/element
let $next := $element/following-sibling::element[1]
where $element/data[1] = "NOM" and $next/data[1] = "ADJ"
return <PATRON-NOM-ADJ>{$element,$next}</PATRON-NOM-ADJ>

Résultat

Ci-dessous la recommandation pour le patron morphosyntaxique "NOM PRP NOM"

Afficher/masquer le code (télécharger ↓)

for $rss in doc("3244")//article
for $element in $rss/element
let $next := $element/following-sibling::element[1]
let $nextN := $next/following-sibling::element[1]
where $element/data[1]="NOM" and $next/data[1]="PRP" and $nextN//data[1]="NOM"
return <PATRON-NOM-PRP-NOM>{$element,$next,$nextN}</PATRON-NOM-PRP-NOM>

Résultat

DIFFICULTÉ : se faire voler son ordinateur

Je me retrouve à cette étape du projet sans ordinateur et avec toutes mes données perdues ainsi que mes programmes.
Mes rubriques seront donc différentes à partir de maintenant car, sans ordinateur, mes collègues ont fait fonctionner leurs programmes sur les rubriques qu'elles pouvaient.
La deuxième partie de la Boîte à outils n°3 ainsi que la Boîte à outils n°4 ne s'effectueront pas avec les mêmes rubriques.

Les nouvelles rubriques que j'utiliseraient seront :
- La rubrique 823353 qui est la rubrique Politique
- La rubrique 3208 qui est la rubrique À la Une
- La rubrique 3246 qui est la rubrique Culture

Suite BAO3

Le deuxième solution perl pour extraire des patrons morphosyntaxiques utilise les données extraites avec TreeTagger.
La grande différence que ce script possède par rapport au premier que l'on a pu observer plus haut est que les données entrantes sont placées dans un tableau et sont ensuite analysées par notre programme puis extraite du tableau.
Nous possédons alors deux scripts pour cette solution : un pour chaque patron.

PATRON NOM ADJECTIF

Afficher/masquer le code (télécharger ↓)


open(FILE,"$ARGV[0]");

# Définition du tableau #
my @lignes=<FILE>;
close(FILE);

#Début de la boucle #
while (my $ligne=shift(@lignes)) {

    chomp $ligne;
    my $sequence="";
    my $longueur=0;

    # Recherche des NOMS #
    if ( $ligne =~ /<element><data type=\"type\">NOM<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) {
		my $forme=$1;
		$sequence.=$forme;
		$longueur=1;
		my $nextligne=$lignes[1];

    # Recherche des ADJECTIFS #
  		if ( $nextligne =~ /<element><data type=\"type\">ADJ<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) {
  			my $forme=$1;
  			$sequence.=" ".$forme;
  			$longueur=2;
  		}
    }
    if ($longueur == 2) {
	    print $sequence,"\n";
    }
}

Résultats

Rubrique À la Une

Rubrique Politique

Rubrique Culture

PATRON NOM PRÉPOSITION NOM

Afficher/masquer le code (télécharger ↓)


open(FILE,"$ARGV[0]");

my @lignes=<FILE>;
close(FILE);
while (my $ligne=shift(@lignes)) {
    chomp $ligne;
    my $sequence="";
    my $longueur=0;

# RECHERCHE DU NOM #
    if ( $ligne =~ /<element><data type=\"type\">NOM<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) {
		my $forme=$1;
		$sequence.=$forme;
		$longueur=1;

# RECHERCHE DU PRP #
		my $nextligne=$lignes[1];
  		if ( $nextligne =~ /<element><data type=\"type\">PRP<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) {
  			my $forme=$1;
  			$sequence.=" ".$forme;
  			$longueur=2;


# RECHERCHE DU NOM #
  			my $nextligne1=$lignes[3];
  			if ( $nextligne1 =~ /<element><data type=\"type\">NOM<\/data><data type=\"lemma\">[^<]+<\/data><data type=\"string\">([^<]+)<\/data><\/element>/) {
  				my $forme=$1;
  				$sequence.=" ".$forme;
  				$longueur=3;
  			}
  		}
    }
    if ($longueur == 3) {


    print $sequence,"\n";

    }
}

Résultats

Rubrique À la Une

Rubrique Politique

Rubrique Culture

J'ai effectué d'autres patrons pour chaque rubrique qui reprennent soit l'une ou l'autre des deux solutions utilisant les programmes Perl. Voici leurs résultats.

Rubrique À la Une

Solution Perl Cordial

Patron ADJ NC

Patron NC NP

Patron NC PREP NP

Patron NC DETD NP

Patron NC NC

Patron NC NP

Patron NC V

Patron NC PREP NC

Patron NC ADJ

Solution Perl TreeTagger

Patron ADJ NC

Patron NAM VER

Patron NOM ADJ

Patron NOM DET NAM

Patron NOM NAM

Patron NOM NOM

Rubrique Culture

Solution Perl Cordial

Patron ADJ NC

Patron NC ADJ

Patron NC DETD NP

Patron NC NC

Patron NC NP

Patron NP V

Solution Perl TreeTagger

Patron ADJ NC

Patron NC ADJ

Patron NC DETD NP

Patron NC NC

Patron NC NP

Patron NP V

Rubrique Politique

Solution Perl Cordial

Patron ADJ NC

Patron NC ADJ

Patron NC DETD NP

Patron NC NC

Patron NC NP

Patron NP V

Solution Perl TreeTagger

Patron ADJ NC

Patron NC ADJ

Patron NC DETD NP

Patron NC NC

Patron NC NP

Patron NP V

Ces différents patrons nous servirons pour la Boîte à outil n°4. Ainsi, nous pourrons observer les différences de résultats obtenus.

BAO 4

La Boîte à outils n°4 va nous permettre de créer des graphes de cooccurrence avec l'aide d'un logiciel qui se nomme patron2graph.
Pour ce logiciel nous avons besoin de créer un fichier texte supplémentaire contenant le motif recherché.
La commande pour utiliser ce logiciel est : chemin-logiciel "encodage" fichier-patron motif.txt.

Les motifs que j'ai utilisé sont les mots : "Femme", "Homme", "droite/gauche", "scandale/affaire/cas", "Macron", "Fillon".
Ces motifs ont été décidé avec mes collègues en observant les actualités les plus importantes de l'année 2017.

Le motif : Rubrique À la Une

Le motif [Ff]emmes?

Dans le patron NOM ADJ

On peut observer que deux types d'adjectifs utilisés avec le nom "femme(s)".
On trouve des adjectifs concernant les origines de la femme ou un adjectif concernant sa situation ("agées", "célibataires"," enceintes").

Dans le patron NOM PREP NOM

On peut observer que la préposition la plus utilisée avec le mot "femme(s)" est la préposition "de".
On trouve alors des cooccurrences telles que "milliers/génération/dizaine de femme"

Observons maintenant la différence avec le motif "[Hh]ommes?"

Le motif [Hh]ommes?

On observe que les résultats sont plus nombreux quand le motif est "[Hh]ommes?".
La cooccurrence la plus importante est "affaire d'homme".
Les adjectifs que l'on retrouve le plus sont des adjectifs concernant le physique de l'homme ("fort", "charismatique").

Le motif (scandales?)|(affaires? )|(cas)|(.*gate/b)

Comparaison entre les deux sorties : Cordial et Treetagger

Avec la sortie Treetagger, seul les mots finissant par "gate", n'apparaissent pas.
Nous retrouvons une des plus grosses affaires de l'année avec le mot scandale.
Les données ne sont pas très nombreuses mais reflètent parfaitement les grands scandales et affaires de l'année 2017.

Le mot le plus récurrent dans le motif recherché pour la sortie cordial est le mot affaire . On observe que l'on trouve énormément de nom de personne liée à telle ou telle affaire.
Les données qui ont été récupérées avec Cordial sont plus importantes que les données récupérées avec Treetagger mais les cooccurrences trouvaient ne trouve pas les mots scandale et cas contrairement à la sortie Treetagger.

Le motif "Fillon"

Les cooccurrences du motif Fillon sont surtout accès sur L'affaire Fillon qui a marqué cette année 2017 et qui est le cooccurrent le plus fréquent du graphe. C'est ainsi que les coocurrents de "Fillon" sont des mots tels que "couple", "maison", "époux".

Le motif "Macron"

Les coocurrents associés avec le motif Macron nous permet d'obtenir un graphe très complet.
En effet, on retrouve tout ce qui permet de définir Emmanuel Macron dans sa manière de présider. Ce qui font de lui le président qu'il est.
Ainsi, on obtient "monarque", "président", "gouvernement", "proeuropéen" mais aussi "couple" qui met en valeur la dimension de couple présidentiel, qu'il met en avant.

Le motif : Rubrique Politique

Le motif [Ff]emmes?

Tout d'abord, ce graphe est extrait du patron NOM ADJ.
Dans la rubrique Politique, les cooccurrents les plus récurrents sont "femmes politiques" et "femmes noires".
On observe ainsi que dans la rubrique Politique, le mot "femme" est utilisé en décrivant sa couleur de peau plutôt que de sa fonction.

Avec le patron morphosyntaxique NOM PREP NOM, on observe que dans le rubrique Politique, les coocurrents les plus présents sont des coocurents qui concernent le couple. Les mots "homme" et "femme" sont utilisés ensemble ainsi que les mots "couple" et "femme".
On retrouve également, par 2 fois, la cooccurrence "femme en situation".

Le motif [Hh]ommes?

Contrairement au motif Femme, le motif Homme n'est pas associé au mot "femme". On trouve des cooccurrents qui permettent de mettre l'homme en valeur.
On trouve alors les cooccurrent "homme fort", "homme romanesque", "hommes jeunes".
Le cooccurrent le plus fréquent est "homme à affaires".

Le motif (scandales?)|(affaires? )|(cas)|(.*gate/b)

Comme pour la rubrique étudiée précédemment, on observe que la sortie Treetagger ne trouve que le mot "affaire" et ses cooccurrents.
Les deux affaires que l'on trouve le plus sont "affaire Grégory" et "affaire Fillon".

Le motif "Fillon"

On retrouve les mêmes cooccurrences que dans la rubrique précédente concernant les affaires Fillon.
Grâce aux cooccurrences, on remarque que le fait que François Fillon est été candidat aux présidentielles 2017 n'a été que peu évoqué. Mais la cooccurrence "affaire Fillon" se retrouve plus de 20 fois dans la rubrique Politique.

Le motif "Macron"

Dans la rubrique Politique, les cooccurrents sont encore une fois représentatif de la présidence d'Emmanuel Macron
On retrouve des cooccurrents concernant son élection ("candidats","candidat",président"), sur ses relations internationales ("Poutine", "duo", "rencontre"), mais aussi sur sa façon de présider le pays ("méthode","ministre","Philippe", "réformes", "ordonnance").

Le motif "gauche/droite"

Le graphe sur les motifs gauche et droite est très intéréssant à analyser.
Vous pouvez observer sur la droite, toutes les cooccurrences du mot droite, sur la gauche toutes les cooccurrences du mot gauche et au centre toutes les cooccurrences concernant les deux motifs gauche et droite. C'est le patron morphosyntaxique NOM VER qui a été utilisé afin d'observer les verbes les plus utilisés pour l'un ou l'autre des mots.
Pour la droite, on observe des verbes qui donnent une impression de grandes actions. La droite "hérite","construit","gagne", "consacre", "conforte".
Alors que la gauche, quand à elle, "occupe, "affirme", "revendique", "veut", "dénonce". Cela donne l'impression que la gauche utilise les mots et la droite les actions.
Les données concernant la droite sont également plus nombreuses.

Dans ce deuxième graphe concernant les mots droite et gauche est effectué à partir du patron morphosyntaxique NOM ADJ.
On peut voir sur le côté gauche du graphe que une des cooccurrences reflète le nombre de candidat par partis.
On peut voir deux coocurrences qui représente chacun des parties des présidentielles 2017. On observe la cooccurrence "droite macroniste" d'un côté et "gauche mélenchoniste" de l'autre.
On peut également que la cooccurrence "extrême droite" est présente 64 fois. Alors que la cooccurrence "extrême gauche" n'est présente qu'une fois dans la rubrique Politique.

Le motif : Rubrique Culture

Le motif [Ff]emmes?

Pour le patron morphosyntaxique NOM ADJ, on observe que le mot femme, dans la rubrique culture, est encore utilisé avec des mots tels que "douce", "coquette", "fragile", ou encore "féline".
Les cooccurrences les plus utilisées sont "femme fantastique" et "femme douce". Alors que des cooccurrences telles que " femmes artistes", "femmes expertes" ou encore "femmes d'affaires" ne sont évoqués qu'une fois.
La rubrique Culture évoque encore la femme par rapport aux qualités qu'on lui demandes de posséder dans la société.

Femme cult npn

Sur ce graphe issus du patron morphosyntaxique NOM PREP NOM, on peut voir que la cooccurrence la plus fréquente est le mot "femme" avec la préposition "de".
On peut observer des éléments tels que "portrait de femme" ou "femme de ménage". D'un côté du graphe, avec la préposition "en", on peut observer que il y a une idée de lutte, de renouveau. L'année 2017 a été marqué par cet essor du mouvement féministe, ce qui explique que la deuxième préposition la plus utilisée est "en".

Le motif [Hh]ommes?

Le mot "homme" possède des adjectifs qui permettre de le mettre en valeur. On trouve alors des mots tels que "intègre", "patient".
Mais on trouve aussi des cooccurrences tel que "l'homme invisible" ou "l'homme araignée" qui correspondent aux actualités Cinéma de l'année 2017.
La cooccurrence la plus fréquente reste "homme d'affaires" que l'on retrouve 6 fois. Cela nous montre l'importance de la fonction de l'homme dans la société actuelle.

Conclusion

Mon travail porte sur deux aspects:

Le premier est la volonté de montrer avec quelques motifs, la différence des données obtenues avec les deux solutions observées, avec le langage Perl .
Nous avons pu observer que malgré le nombre de données plus importantes avec la sortie Treetagger, celui-ci tagge très différemment comparé au logiciel Cordial.
Les données ressorties avec Cordial semblaient refléter plus les actualités de l'année 2017. Cela est dû à la différence du tag selon les deux logiciels.
Treetagger étant moins précis que Cordial, certaines données deviennent alors difficiles à retrouver lorsque l'on recherche un motif précis.

Le deuxième aspect que j'ai voulu observer est un aspect sociolinguistique. L'utilisation des mots et ce que cela montre du motif choisi.

Nous avons pu observer alors les différences de verbes entre les noms gauche et droite par exemple.
Cela permet d'observer comment un site d'information donne une image de tel ou tel parti lors d'elections.

Avec les motifs Macron et Fillon , les graphes nous ont permis de mettre en valeur comment le choix des mots permet d'effectuer le portrait de tel ou tel personne.
Lorsqu'on observe les cooccurrences, cela reflète la façon dont les personnes sont perçues. Ainsi, le président Emmanuel Macron possède des cooccurents qui reflètent toute sa présidence depuis qu'il était candidat aux élections jusqu'à son gouvernement et ses actions en tant que président.
Pour François Fillon, qui fût soupçonné d'emploi fictif alors qu'il était candidat, on a pu observer que les seuls cooccurrents que l'on retrouve concernent L'affaire Fillon et non son statut de candidat aux présidentielles. Comme s'il avait abandonné, ce qui ne fût pas le cas.

Avec le motif concernant les mots affaire, cas et scandale , on peut observer le nombre de scandales et affaires qu'il y a eu pendant l'année 2017.
L'année 2017 a permis de pouvoir liberer une certaine parole. Cela sera montré dans les années suivantes.
Mais il est important de montrer quelle affaire a permis de libérer telle ou telle parole.

On peut observer également avec les mots homme et femme, que l'affaire Weinstein a permis de faire évoluer les idées.
C'est ainsi que l'on retrouve beaucoup de vocabulaire concernant la lutte.
Mais on retrouve tout de même, des cooccurrences reflétant l'idée d'une femme "douce", "faible".
Les femmes sont encore très peu représentées dans le langage journalistique lorsque l'on évoque des domaines précis tels que la politique

Je vous invite à présent à vous rendre sur la synthèse générale de notre projet.