web-dev-qa-db-fra.com

Téléchargeur HTTP multithread

Je recherche un outil de ligne de commande capable de télécharger plusieurs URL avec plusieurs threads, par exemple.

wget2 -n 5 http://stackoverflow.com/ http://askubuntu.com/ http://bobo.com/

Où -n = number of threads. J'ai rencontré Axel, mais lorsque je lui donne plusieurs URL, il n'en télécharge qu'une.

Je téléchargerai des fichiers HTML.

downloadswgetdownload-managerdownloaders
3
Kohjah Breese

Toutes les suggestions ci-dessus et liées ne prennent pas deux URL uniques. Ils ne prennent que les URL qui sont des miroirs du même fichier.

J'ai trouvé quelques programmes qui font ceci:

Le meilleur est puf (apt-get install puf), utilisez puf url1 url2 etc.

Ensuite, il y a HTTRACK, qui nécessite beaucoup de bricolage et a des limites que je ne peux pas dépasser (limites de vitesse et de connexion)

DownThemAll pour Firefox est très bon si vous n'avez pas besoin d'une application en ligne de commande.

UPDATE

Depuis, j'ai trouvé que puf avait tendance à tomber en panne. La meilleure solution consiste à créer un fichier .txt avec des URL sur de nouvelles lignes, par exemple.

http://google.com/
http://yahoo.com/

Enregistrez les fichiers urls.txt (par exemple), puis exécutez la commande suivante:

cat urls.txt | xargs -n 1 -P 10 wget -q

-n spécifie de sélectionner chaque ligne du fichier

-p spécifie le nombre d'URL que vous souhaitez télécharger en parallèle.

1
Kohjah Breese

Aria2 est la meilleure solution pour cela si vous voulez CLI. Aria2 prend en charge plusieurs connexions, plusieurs threads et plusieurs sources.

Un autre avantage de Aria2 est qu’il fonctionne comme un plugin pour uGet afin que vous puissiez utiliser la puissance d’Aria2 avec une interface graphique conviviale et conviviale.

Aria2 - CLI - http://aria2.sourceforge.net/

uGet - GUI - http://ugetdm.com

  • plusieurs connexions sont ajustables dans l'interface graphique lors de l'ajout d'un téléchargement.

Mise à jour: en fonction des besoins du lot d'OP

uGet prend en charge les téléchargements par lots via .txt, .html, le presse-papiers et bien d'autres méthodes. Bien que certes pas CLI, je pense que cela résout assez bien le problème. J'ai créé n didacticiel vidéo pour expliquer les différentes méthodes. L'interface graphique a changé depuis cet enregistrement, mais la fonctionnalité est toujours pertinente.

6
Michael Tunnell