Script étape par étape
troisième script
<
Lors de la troisième étape, nous avons abandonné les URLs qui n’avaient pas été aspirées comme escompté. Nous avons essayé de mettre en place un procédé qui nous permette la détection de l’encodage dans un premier temps puis d’effectuer la conversion en UTF8 si nécessaire. Pour ce troisième script, nous avons utilisé les commandes file, iconv, lynx, egrep.
Au regard de nos langues de travail, nous nous attendions à rencontrer des difficultés. Nous avons dû nous y reprendre à plusieurs fois, le schéma que nous avons réalisé, reprends le déroulement du script de façon synthétique.
Le décodage de l’encodage, à savoir trouvé un moyen d’automatisé autant que possible les opérations n’a pas été chose facile. Nous avons été confrontées à de multiples cas de figures. Nous avons dû vérifier manuellement nos URL pour voir si ce qui par exemple avait été détecté comme de l’UTF8 était bien de l’UTF8 ou non.
