Boite à Outil 3

Extraction de terminologie

Une fois les données étiquetées, nous passons à la boite à outil suivante. Cette troisième boite à outil est conçu dans l'objectif d'extraire des terminologies. Pour cela, il faut savoir qu'il faut être en possession du fichier talismane obtenue lors de la précédente étape. Nous avons besoin d'un fichier où l'on indiquera les patrons morpho-syntaxiques que l'on veut extraire. Ce fichier se présente comme ceci :

Si l'on veut extraire le patron morpho-syntaxique comprenant une préposition suivit et précédé d'un nom commun, il faut mentionner ceci : NC P NC

Voici le fichier obtenus pour la rubrique livre (3260) pour la terminologie (NC P NC) : Rubrique livre
Voici le fichier obtenus pour la rubrique Rendez-vous (3238) pour la terminologie (NC P NC) : Rubrique Rendez-vous
Voici le fichier obtenus pour la rubrique Cinéma (3476) pour la terminologie (NC P NC) : Rubrique Cinéma
Voici le fichier obtenus pour la rubrique Voyages (3546) pour la terminologie (NC P NC) est de 0 ; ceci peut s'expliquer par le faible nombre d token présent dans cette rubrique comparé au autres. Cette rubrique comporte ceertaines de la publicité, il y a donc peut de phrases.

Si l'on tente l'expérience avec une autre terminologie sur la même rubrique, notamment NC ADJ, le résultats a quasi doublé avec 1520 éléments trouvés: Rubrique livre

Pour lancer le script :
BAO3.pl sortie-3260-talismane.txt termino.txt

Télécharger le script :

Visualiser le script :

#!/usr/bin/perl
use utf8;
binmode(STDOUT,":utf8");
use Time::HiRes qw(gettimeofday tv_interval);
my $timepg = [gettimeofday];
my $filetalismane=$ARGV[0];
my $filetermino=$ARGV[1];
open my $fileT,"<:encoding(UTF-8)",$filetalismane;
open my $fileTer,"<:encoding(UTF-8)",$filetermino;
my @TERMINO=<$fileTer>,
close $fileTer;
my %dicotmp=();
my %dicoPatron=();
my $nbTerme=0;
my $nbMotInPhrase=0;
while (my $ligne=<$fileT>) {
	# c'est ici qu'on a modifié le code
	# next if (($ligne=~/^1\t££/) or ($ligne=~/^\#\#/) or ($ligne=~/^$/));
	# print "==> $ligne ; <==";
	# next if (($ligne=~/^1\t££/) or ($ligne=~/^\#\#/) or ($ligne=~/^$/));
	if ($ligne ne "\n") {
		$ligne=~/^\d+\t(.+)$/;
		#my $cle=$1;
		my $reste=$1;
		$nbMotInPhrase++;
		my $cle=$nbMotInPhrase;
		my @listereste=split(/\t/,$reste);
		$dicotmp{$cle}=\@listereste;
		#print $cle,"== @listereste \n";
	}
	else {
		#------------------------
		# extraction termino....
		my $phrase="";
		my $longueur = scalar (keys %dicotmp);
		for (my $i=1;$i<=$longueur;$i++) {
			my $LISTE=$dicotmp{$i};
			my @listedeferencee = @$LISTE;
			my $mot=$listedeferencee[0];
			my $pos=$listedeferencee[2];
			$phrase=$phrase.$mot."/".$pos." ";
		}
		#print $phrase,"\n";
		foreach my $patron (@TERMINO) {
			my $patron2=$patron;
			chomp($patron2);
			$patron2=~s/([^ ]+)/\[\^ \]\+\/\\b$1/g;
			#print $patron2,"\n";
			#print $phrase,"\n";
			#my $rep=<STDIN>;
			while ($phrase=~/(?=\s($patron2))/g) { 
				my $terme=$1;
				#print $terme,"\n";
				$terme=~s/\/[^ ]+//g;
				#print "$terme\n";
				#my $rep=<STDIN>;
				$dicoPatron{$patron}->{$terme}++;
				$nbTerme++;
			}
		}
		%dicotmp=();
		$nbMotInPhrase=0;
	}
}
close($fileT);

open my $fileResu,">:encoding(UTF-8)","perlIsTheBigOneOne.txt";
print "$nbTerme éléments trouvés\n";
print $fileResu "$nbTerme éléments trouvés\n";
foreach my $patron (keys %dicoPatron) {
	print $fileResu "\nType de pattern: ".$patron." \n\n";
	foreach my $terme (sort {$dicoPatron{$patron}->{$b} <=> $dicoPatron{$patron}->{$a} } keys %{$dicoPatron{$patron}}) {
		print $fileResu $dicoPatron{$patron}->{$terme}."\t".$terme."\n";
	}
}
print $fileResu "\nScript execution time: " . tv_interval($timepg) . " seconds.";
close($fileResu);