traiter plusieurs fichiers d'URLs

Nous avons modifié notre script pour traiter plusieurs fichiers d'ulrs en même temps. Cela permet de ne lancer le srcipt qu'une seule fois pour toutes les langues et tous les sens.

Le programme demande d'abord dans quel répertoire se trouve les fichiers d'urls
echo "Donnez le nom du répertoire contenant les fichiers des URLs : " ;
read REP ;

Ensuite, il traite en boucle chaque url de chaque fichier
for fic in `ls $REP`
{
    for nom in `cat $REP/$fic`
    {
      }
 }

Il met  les résultats dans un unique fichier html constitué de plusieurs tableaux.

echo "<table align=\"center\" border=\"1\"><tr><td colspan=\"3\" align=\"center\" bgcolor=\"black\"><font color=\"white\"><b>Tableau ${fic%.*}</b></font></td></tr>" >> $tablo; 

Pour organiser et éviter tout écrasement de données, nous procédons à la création de répertoires en réutilisant les noms des fichiers d'urls pour stocker les résultats.

mkdir ./ PAGES-ASPIREES / ${fic%.*}
mkdir ./ DUMP-TEXT / ${fic%.*}