Qu’est qu’on doit faire ?
Publié le 1/9/2015 21:40, par - Groupe de la vie du mot Liberté
Très simple ! Après la formation du groupe, nous choisissons un sujet pour au moins deux langues. Un contenu textuel considérable du mot est collecté par les URL (ici 50 URL pour chacune des langues), et après les normaliser, on produit les résultats demandés. Autrement dit :
- Définition du problème linguistique visé « la vie multilingue des mots sur le web ».
- Choix des données à traiter (dans plusieurs langues)
- Collecte des données
- Formatage des données
- Produire des résultats et les présenter
Les programmes sont en générale implémentés en Bash, le shell Unix du projet GNU. En plus dans plusieurs parties on aura besoin de bien savoir du système de fichier, des expressions régulières et des bases de programmation comme les boucles, les conditions et les portées ; Ce qu’ils ne sont pas bien expliqués pour les étudiants.
Chaque étape sera découverte en détail.
Pourquoi ‘Liberté‘ ? Pourquoi ces langues ?
Publié le 1/9/2015 21:58, par - Groupe de la vie du mot Liberté
« Le Kurde »
Les membres de ce groupe tous viennent d’une souche orientales, où il y a encore des discours polémiques sur le problème de ‘liberté’. En fait, heureusement ce sujet est bien révisé par les activistes civiles qu’il a aussi trouvé une profondeur sur les problèmes de : “liberté des femmes”, “liberté de parole” etc. Pourtant, nous n’avons pas contraint le sujet à une classe sociale spécifique et nous avons plutôt suivi une stratégie schématique de ce qui se passe pour la vie de liberté !
“Azadî” est un mot iranic, ce qui signifie la liberté en Kurde. Le mot est utilisé dans autres langues, comm Pachto, Baloutche et Persan et est également emprunté par d’autres langues comme l’Hindi, l’Ourdou et du Cachemire.
La langue Kurde, une langue indo-européenne qui est parlée dans une région nommée ‘Kurdistan’, est la langue des Kurdes. Kurdistan n’a pas encore un état indépendant malgré les rébellions des décades dernières pour obtenir leur liberté d’avoir leurs desseins dans leurs mains ! Cela m’a bien convaincu que ce mot aura des résultats intéressants qui tirent l’attention des chercheurs aussi.
Dans les mois passés, les relations politiques du Moyen-Orient et la brutalité de Daesh(désolé pour le légitimer d’avoir un mot dans la langue humaine) créent des scènes irritantes dans l’histoire d’homme, surtout en considérant les évènements de Kobanî, une ville du Kurdistan de Syrie, où même les femmes sont armées contre leurs ennemies. Comme un sujet à se continuer après ce projet, j’aurai plan de chercher parmi les médias mondiales pour savoir la vie de cette ville et l’histoire élogieuse de ses femmes.
Ce que je vous dise que je connais toutes les personnes qui ont travaillé sur Kurde de point de vue linguistique et que j’ai lu tous les articles publiés dans cet égard, n’est pas nécessairement une épreuve de l’heure haute des études que je fasse ; mais qu’il y a rarement les ressources analytiques sur cette langue et que malheureusement cette langue a resté sans les ressources fondamentales linguistiques. J’ai des plans compréhensifs à confronter ce problème que j’espère que je les achève bien tôt.
Comme la source principale de la collection des données textuelles, j’ai recours au site des journaux. N’oublions pas que le Kurde est écris en deux orthographes et cela l’encombre de plus en plus inefficacement les recherches intégrées sur Web, et même pour les Kurdes eux-mêmes coute cher.
« L’arabe »
Pour une petite introduction concernant notre sujet 'liberté', l'arabe est une lange sémique aujourd'hui parlée en première ou seconde langue par plus de 220 millions de personnes au sein du monde arabe. Un monde où les tensions et les conflits sont les plus nombreux. C'est le paradoxe d'une région qui compte un héritage culturel d'une extrême diversité et d'une grande richesse, et qui dispose de ressources stratégiques clés comme le pétrole. Ces atouts potentiels se sont pourtant transformés en sources de conflits car la situation géopolitique de la région depuis la fin de la Première Guerre mondiale est devenue extrêmement complexe: l'instabilité de la région (de part la non-reconnaissance de l'État d'Israël par la majorité des pays arabes), le contrôle par Israël des lieux saints de Jérusalem. Le Moyen-Orient abrite une grande diversité de peuples. Les Arabes sont présents de la péninsule arabique jusqu'aux rives de la Méditerranée, ainsi qu'en Égypte. On trouve aussi des Turcs sur le territoire de l'actuelle Turquie et des Perses en Iran. Par ailleurs sont également présents des Kurdes. Chacun de ces peuples possède sa propre langue et ses propres traditions.
La langue arabe est marquée par une importante diglossie entre l'arabe littéral, langue véhiculaire surtout écrite, et l'arabe dialectal, langue vernaculaire surtout orale. L'arabe littéral comprend l'arabe classique (pré-coranique, coranique, et post-coranique) et l'arabe standard moderne. L'arabe dialectal comprend de nombreuses variétés régionales, pas toutes intelligibles entre elles.
« Le Turc »
Avec le régime d'Erdogan en Turquie, on constate qu'il y a des nouvelles lois concernant la liberté. Les medias sont contrôlés par le gouvernement, ce n'est plus possible de parler de la liberté de la presse. Les femmes ne sont plus libres, et chaque jour les gens se sentent plus sous pression à cause du gouvernement. Les manifestations en juin 2013, nous ont montré qu'il y a des gens qui ne sont pas content du gouvernement et les gens sont à la recherche d'un gouvernement plus libre.
Système de fichiers d’Unix
Publié le 1/10/2015 2:03, par - Groupe de la vie du mot Liberté
Avant d’avoir les fenêtres graphiques d’aujourd’hui, juste après la substitution des cartes perforées par l’application de la logique bipolaire des atomes, la gestion des informations était possible par moyen des environnements solides où les fichiers Batch et les programmes étaient accessibles à manipuler par les commandes textuelles. Selon les exigences de chaque système d’exploitation pourrait avoir différents tels environnements. Pour Windows, le système d’opération que j’en utilise, l’interpréteur de commande est cmd (Windows command prompt).
Pour la raison d’avoir plus des outils qu’on l’en parlera au fur et à mesure, on préfère celui d’Unix qu’il s’appelle Shell. Shell (coquille en français) est comme la coquille d’œuf ; cela vient de la coquille de l’Unix. Shell est un interpréteur, un traducteur qui rend possible la gestion des programmes. Alors c’est quoi Bash ?
Tout d’abord, pour éviter la confession des prochains étudiants de TAL qui mérite cette page d’être lise pour retirer d’information (qu’on les remercierais pour cette visite), Batch, qui peut se prononcé pareillement comme Bash en français, est dit à un genre spécifique de programmes qu’ils sont malgré d’obsolescence encore utilisés pour les programmes opératoires, qui fonctionne comme une porte : une entrée, et seulement une sortie. Pas place pour manipulation ou intervention dans ce qui est écrit dans le programme (ou biens les jobs). Mais Bash est plutôt un environnement d’Unix. Bash est le shell de GNU Project ; le projet qui est un Unix-âme même pas exactement Unix (en fait l’acronyme de GNU vient de ‘GNU is Not Unix’ !), est le langage d’interprétation des commandes pour système d’exploitation de GNU.
Suivant ces préambules pas très courtes, on va continuer avec les commandes qu’on doit les sache. Cette partie a été enseignée par M. BELMOUHOUB qui a pris trois séances.
En tant qu’on diplômé d’Informatique, je mentionne les commandes que je les trouve nouvelles et différentes de celles de cmd :
- Immigration de Windows Command Prompt vers Bash ou Unix :
Tout d’abord, quelques règles utiles d’or :
-- ls : liste de contenu du répertoire.
-- pwd : où suis-je ?
-- cd : changer le répertoire.
- La syntaxe générale des commandes sont pareilles :
nomDeCommand [-option] [argument1 atgument2 …]
- Au contraire du Cmd, Unix est sensible à cas. Donc, PwD, PWd, pWD ne sont pris comme pwd.
Voilà une table des descripteurs et des opérateurs :
|
Cmd |
Bash |
Description |
|
|
\ |
/ |
Délimiteur de répertoire |
Important à savoir pour utiliser les chemins relatifs : localisation par rapport à un point d’ancrage |
|
.\ |
./ |
Répertoire actuel |
|
|
..\ |
../ |
Répertoire de parent |
|
|
ctrl-z |
ctrl-d |
Fermer shell / Fin de fichier |
|
|
ctrl-c |
ctrl-c |
Interruption / Sauter du programme |
|
|
%VAR% |
$VAR |
Préfix de variable |
|
|
/ |
- |
Utilisé comme un signe pour les arguments optionnels |
|
|
> |
> |
Dis au nom de fichier qui le suit de créer le fichier ou s’il existe, il efface son contenu et il ajoute de nouveau. |
|
|
>> |
>> |
Pareil comme < avec la différence qu’il appende le contenu au fichier sans l’effacer. |
|
|
< |
< |
Je me souviens ‘ cout << ’ ! Courant sortant |
|
Voici les commandes générales :
|
Cmd |
UNIX ou Bash |
Action |
|
dir |
ls -l (-a pour tous les fichiers) |
Afficher le contenu du répertoire |
|
1. dir *.* /o-d 2. dir .* /v /os 3. dir /s 4. dir /aa |
1. ls –tr 2. ls –ls 3. ls –R 4. ls -a 5. ls ~ : |
1. Afficher le contenu du répertoire à l’inverse du temps de modification / creation. 2. Afficher les fichiers et la taille 3. Afficher le contenu du répertoire ou du sous-répertoire récursivement 4. Afficher les fichiers cachés 5. Afficher le contenu de la racine |
|
tree |
ls -R |
Afficher le répertoire récursivement |
|
cd |
cd |
Changer le répertoire |
|
mkdir / md |
mkdir |
Créer un nouveau répertoire |
|
rmdir / rd |
rmdir |
Enlever un fichier |
|
chdir |
pwd |
Afficher où est-on ? |
|
del
|
rm [fichier] |
Effacer un fichier |
|
rmdir /s |
rm -R |
Effacer tous les sous-répertoires même |
|
copy |
cp [src] [dst] |
Copier un fichier |
|
xcopy |
cp -R |
Copier tous les fichiers récursivement |
|
rename ou move |
mv [src] [dst] |
Renommer ou déplacer un fichier |
|
help ou command |
man |
Les manuels |
|
cls |
clear / ctrl-l |
Débarrasser l’écran |
|
exit
|
exit
|
Sortir |
|
find / findstr |
grep |
Chercher pour le mot donné parmi les fichiers |
|
comp |
diff |
Comparer deux fichiers et afficher les différences |
|
set |
set et env |
Afficher tous les variables environnementaux |
|
echo text |
echo texte |
Afficher le texte à l’écran |
|
date or time |
date |
Afficher la date. |
|
doskey /h |
history |
Tous ce qu’on a faits |
|
sort |
sort |
Trier les données |
|
attrib [+r|-r] [+a|-a] [+s|-s] [path\file] /s |
chmod |
Changer la permission des fichers |
|
attrib +h or -h |
mv fichier .fichier |
Changer le fichier à un fichier caché |
|
|
lpr |
Imprimer un fichier |
|
c |
sh script |
Exécuter un script de batch |
|
chdisk |
du -s |
Usage de disque |
|
ver |
uname -a
|
La version de shell ou OS |
|
hostname |
hostname |
Imprimer le nom d’hôte de l’ordinateur |
|
ping |
ping |
Envoyer les paquettes à un hôte |
|
reboot |
shutdown -r now |
Redémarrer le système |
Pour cette partie, en plus de maintes des liens et des lectures mis sur la page du PE, je vous conseille ces fichiers au-dessous :
- Initiation au Shell.
- Unix for the Beginning Mage.
- Bash Reference Manual 2010.
N’oublions pas que Bash n’est pas installé par défaut sur Windows. Moi, j’ai testé les deux logiciels Cygwin et Git Bash sur ma machine malgré que le premier ait été conseillé par professeur. Pour que la de mes codes ne diffèrent pas avec ceux du cours, je préfère aussi utiliser Cygwin. Juste oubliez pas de l’installer proprement pour utiliser les commandes qu’on en parle tout de suite.
Avant continuer la parole en expliquant les outils (c’est-à-dire les commandes nécessaires), on doit ajouter une bonne description sur le langage HTML.
Un peu de HTML
Publié le 1/10/2015 2:07, by - Groupe de la vie du mot LibertéHTML, HyperText Markup Language, comme est précisé est un langage de balisage ; c’est-à-dire tous ce que nous avons dans ce langage ont une balise spécifique à marcher. Ces balises s’appellent ‘tag’ sont mises entre les chevrons <> et sont les mots clés de ce langage :
<nomDeBalise>content</nomDeBalise>.
L’important à savoir tout d’abord est qu’il y a deux parties pour chaque programme HTML. La première partie est le header et le reste est le corps de programme. Donc :
En fait ce qu’on fait est de produire ces codes pas manuellement mais par programmation Bash, donc c’est nécessaire de savoir comment déclencher un programme HTML et utiliser ses instructions. Pour plus approfondir dans HTML, je vous conseille ce site utile : http://www.w3schools.com/html/default.asp .
Voilà les outils !
Publié le 1/10/2015 2:10, par - Groupe de la vie du mot Liberté** wget **
« Wget est un programme en ligne de commande non interactif de téléchargement de fichiers depuis le Web. Il supporte les protocoles HTTP, HTTPS et FTP ainsi que le téléchargements à travers des proxies HTTP.
Wget peut travailler en arrière-plan et ainsi vous permettre de lancer un téléchargement et de vous déconnecter du système ! Utile car il ne requiert d'action de l'utilisateur et vous permet d'effectuer ses tâches en arrière-plan, ce qui peut être très utile pour les téléchargements de données nombreuses et lourdes. Vous pouvez ainsi changer de session et laisser Wget finir le travail !
Ce logiciel libre permet le simple téléchargement d'un fichier mais aussi la recopie en local de tout ou une partie d'un site qui sera par la suite consultable hors-ligne. Point fort appréciable, Wget vous permet de reprendre un téléchargement échoué suite à divers problèmes (connexions instables ou très lentes etc…). Les nombreuses options de Wget en font un outil de téléchargement très puissant ! » (Source).
Dans le Bash on peut utiliser cette commande dans cette forme : wget [options] [url]. Il y a plusieurs autres facilités qui sont couvertes en utilisant les arguments optionnels de cette commande :
-V –> Renseigne sur la version de Wget.
-h –> Affiche toutes les options disponibles.
-i –> Lit les adresses depuis un fichier .txt.
-N –> (–timestamping) Active l'horodatage (time-stamping). Permet d'écraser les fichiers sur la destination s'ils existent
-t –> Définit le nombre de tentatives, 0 ou inf pour un nombre illimité de tentatives. Par défaut 20 tentatives sont effectuées, à moins qu'une erreur fatale apparaisse.
-c –> Reprend un téléchargement interrompu.
-S –> Affiche les messages envoyés par les serveurs FTP ou HTTP.
-Y –> on/off active ou désactive le support proxy.
-nd –> Si cette option est utilisée les fichiers sauvegardés le seront dans un seul et même répertoire.
-r –> Active le téléchargement récursif.
-l –> Indique la profondeur à utiliser lors d'un téléchargement récursif.
-k –> Convertit les liens pour être disponible en consultation locale.
-p –> Oblige Wget à télécharger tous les fichiers requis pour une consultation convenable d'une page HTML.
-m –> Active toutes les options convenables pour faire un miroir.
–follow-ftp –> Sans cette option tous les liens FTP donnés depuis un document HTML seront ignorés.
-H –> Autorise lors d'un téléchargement récursif le changement d'hôtes.
-np –> Ne remonte pas les répertoires parents.
-A –> Permet de ne télécharger que le type de fichier choisi.
-o –> Permet d'enregistrer tous les messages de Wget dans un fichier.
-a –> Idem que -o sauf que les messages sont ajoutés à la suite du fichier empêchant ainsi d'écraser l'ancien fichier.
–user-agent=Sina –>S'identifier sous le nom paul pour le serveur HTTP. Permet de falsifier la valeur de user-agent envoyé par Wget, ceci n'est pas recommandé à moins de vraiment savoir ce que vous faites
–limit-rate=30K –> Permet de limiter le débit, ici à 30 ko/s.
-q –> Évite l'affichage des messages du wget.
Exemples d'utilisation :
Télécharger les URL contenues dans un fichier :
wget -i fichier
Télécharge récursivement le site (-r) et enregistre les messages dans le fichier wgetlog (-o) en limitant le débit du téléchargement à 30 Ko/s (–limite-rate=30k) :
wget -r --limit-rate=30k http//www.site.org/ -o wgetlog
Téléchargement avec une profondeur de 4 (-l4) et en enregistrant les messages à la suite du fichier wgetlog déjà créé (-awgetlog) :
wget -r -l4 unSite.unDomaine/ -awgetlog
Dans ce cas seul les fichiers de type .txt seront téléchargés (-A.txt) :
wget -r -l3 -A.txt ftp://serveur.org/
Ici seul les fichiers .jpg seront téléchargés (-A.jpeg), les messages seront inscrit à la suite du fichier wgetlog (-awgetlog) et Wget téléchargera à partir des adresses indiqués dans le fichier maliste.txt (-imaliste) :
wget -r -A.jpg -awgetlog -imaliste.txt
Télécharger le site récursivement avec une profondeur infinie (-linf), convertit les liens pour une consultation en local (-k), rapatrie tous les fichiers nécessaires à l'affichage convenable d'une page HTML (-p) et renomme toutes les pages HTML avec l'extension .html (-E) :
** lynx **
Lynx est un navigateur Web en mode texte utilisable via une console ou un terminal. La navigation se fait entièrement au clavier et les différents éléments des pages Web (par exemple: les liens hypertexte) sont mis en évidence grâce à une coloration syntaxique. Il est très populaire en tant que navigateur adapté aux déficiences visuelles car son interface est facile à mettre en œuvre avec un synthétiseur vocal.
** egrep **
Par cette commande on peut chercher pour les lignes qui accordent une expression régulière. egrep est en fait ‘extended grep’ qui est l’acronyme de 'Globally Search for RE and print it' et a cette syntaxe : egrep [options] 'PATTERN' files ... . Etant que les commande egrep et grep -E se comportent de façon identique, il s'agit d'ailleurs généralement du même exécutable.
Quelques options importantes :
-i, --ignore-case : Ignore la casse du motif pour la correspondance.
-v : Affiche les lignes ne contenant pas le motif.
-B N, --before-context=N : Affiche aussi les N lignes au-dessus de la correspondance.
-A N, --after-context=N : L'inverse de -B: affiche les N lignes après la correspondance.
-c : affiche un décompte des lignes comprenant le motif cherché.
-n : chaque ligne qui contient le motif est précédée de son numéro dans le fichier.
-A nbx, -B nby : pour récupérer nbx lignes de contexte après (AFTER), et nby lignes de contexte avant (BEFORE).
N’oublions pas les problèmes posés pour ceux qui ont le système d’exploitation de Windows. Chaque fois qu’on a voulu utilisé une nouvelle commande (egrep, lynx et etc.), on aura du réinstallé le programme de Cygwin (Pour ajouter les nouveau packages) ! C’était une vraie besogne mais grâce à Mr. Jean Michel Daube, on a pu mettre les codes en voie.