web-dev-qa-db-fra.com

Y a-t-il des wget parallèles? Quelque chose comme fonger mais seulement pour le téléchargement?

Je n'ai trouvé que PUF (Fetcher Parallel URL) mais je ne pouvais pas l'obtenir pour lire des URL à partir d'un fichier; quelque chose comme

 puf < urls.txt

ne fonctionne pas non plus.

Le système d'exploitation installé sur le serveur est Ubuntu.

ubuntuwgetparallelism
15
Moonwalker

aria2 fait ceci.

http://sourceforge.net/apps/trac/aria2/wiki/usageExample#downloadfilesListedinafilecurement

Exemple: Aria2C http://example.org/mylinux.iso

6
user17591

Cela fonctionne, et ne sera pas DOS local ou distant, avec des ajustements appropriés:

(bandwidth=5000 jobs=8; \
 parallel      \
   --round     \
   -P $jobs    \
   --Nice +5   \
   --delay 2   \
   --pipepart  \
   --cat       \
   -a urls.txt \
     wget                                \
       --limit-rate=$((bandwidth/jobs))k \
       -w 1                              \
       -nv                               \
       -i {}                             \
)
2
dhchdhd

Une partie de GNU Page de l'homme de parallèle contient un exemple d'un wget récursif parallèle.

https://www.gnu.org/software/parallel/man.html#example:-breadth-first-parallel-web-crawler-mirorer

HTML est téléchargé deux fois: une fois pour avoir extrait des liens et une fois pour le téléchargement sur disque. L'autre contenu est uniquement téléchargé une fois.

Si vous n'avez pas besoin de la réponse de la récursivité de l'éphémient semble évident.

1
Ole Tange