Comment puis-je télécharger un site web entier?
Comment puis-je télécharger toutes les pages d'un site Web?
Toute plate-forme va bien.
HTTRACK fonctionne comme un champion pour copier le contenu d'un site entier. Cet outil peut même récupérer les éléments nécessaires pour créer un site Web avec un contenu de code actif hors ligne. Je suis émerveillé par les choses qu'il peut reproduire hors ligne.
Ce programme fera tout ce dont vous avez besoin.
Bonne chasse!
Wget est un outil classique en ligne de commande pour ce type de tâche. Il est livré avec la plupart des systèmes Unix/Linux, et vous pouvez l’obtenir pour Windows aussi. Sur un Mac, Homebrew est le moyen le plus simple de l’installer (brew install wget).
Vous feriez quelque chose comme:
wget -r --no-parent http://site.com/songs/
Pour plus de détails, voir Manuel Wget et ses exemples , ou par ex. celles-ci:
Utilisez wget:
wget -m -p -E -k www.example.com
Les options expliquées:
-m, --mirror Turns on recursion and time-stamping, sets infinite
recursion depth, and keeps FTP directory listings.
-p, --page-requisites Get all images, etc. needed to display HTML page.
-E, --adjust-extension Save HTML/CSS files with .html/.css extensions.
-k, --convert-links Make links in downloaded HTML point to local files.
Internet Download Manager a un utilitaire Site Grabber avec beaucoup d’options - qui vous permet de télécharger complètement n’importe quel site Web, comme vous le souhaitez.
Vous pouvez définir la limite de taille des pages/fichiers à télécharger
Vous pouvez définir le nombre de sites de succursales à visiter.
Vous pouvez changer le comportement des scripts/popups/doublons
Vous pouvez spécifier un domaine. Sous ce domaine, toutes les pages/tous les fichiers répondant aux paramètres requis seront téléchargés.
Les liens peuvent être convertis en liens hors connexion pour la navigation
Vous avez des modèles qui vous permettent de choisir les paramètres ci-dessus pour vous
Le logiciel n’est cependant pas gratuit - voyez si cela répond à vos besoins, utilisez la version d’évaluation.
Vous devriez jeter un oeil à ScrapBook , une extension de Firefox. Il a un mode de capture en profondeur .
itsucks- c'est le nom du programme!
Je vais aborder la mise en mémoire tampon en ligne que les navigateurs utilisent ...
Généralement, la plupart des navigateurs utilisent un cache de navigation pour conserver les fichiers téléchargés depuis un site Web pendant un moment, de sorte que vous n'ayez pas à télécharger des images statiques et du contenu encore et encore. Cela peut accélérer les choses un peu dans certaines circonstances. En règle générale, la plupart des caches de navigateur sont limités à une taille fixe. Lorsque cette limite est atteinte, les fichiers les plus anciens sont supprimés.
Les FAI ont généralement des serveurs de mise en cache qui conservent des copies des sites Web les plus consultés, tels que ESPN et CNN. Cela leur évite d'avoir à visionner ces sites chaque fois que quelqu'un sur leur réseau y va. Cela peut représenter une économie importante sur le nombre de demandes dupliquées adressées à des sites externes au fournisseur de services Internet.
J'aime Offline Explorer .
C'est un shareware, mais il est très bon et facile à utiliser.
Je ne l'ai pas fait depuis de nombreuses années, mais il existe encore quelques services publics. Vous voudrez peut-être essayer Web Snake . Je crois que je l'ai utilisé il y a des années. Je me suis tout de suite rappelé le nom quand j'ai lu votre question.
Je suis d'accord avec Stecy. S'il vous plaît ne pas marteler leur site. Très mauvais.
WebZip est également un bon produit.
Pour Linux et OS X: j’ai écrit grab-site pour l’archivage de sites Web complets dans des fichiers WARC . Ces fichiers WARC peuvent être parcourus ou extraits. grab-site vous permet de contrôler les URL à ignorer à l'aide d'expressions régulières, qui peuvent être modifiées lorsque l'analyse est en cours d'exécution. Il est également livré avec un vaste { ensemble de valeurs par défaut } _ pour ignorer les URL indésirables.
Il existe un tableau de bord Web pour surveiller les analyses, ainsi que des options supplémentaires pour ignorer le contenu vidéo ou les réponses dépassant une certaine taille.
DownThemAll est un module complémentaire de Firefox qui téléchargera tout le contenu (fichiers audio ou vidéo, par exemple) d'une page Web donnée en un seul clic. Cela ne télécharge pas l’ensemble du site, mais c’est peut-être ce que la question cherchait.
Teleport Pro est une autre solution gratuite qui permet de copier tous les fichiers de la cible (a également une version payante qui vous permettra d’extraire plus de pages de contenu).
Essayez Navigateur BackStreet .
C'est un navigateur hors ligne puissant et gratuit. Programme de téléchargement et de visualisation de sites Web haute vitesse multithreading. En effectuant plusieurs requêtes de serveur simultanément, BackStreet Browser peut télécharger rapidement un site Web entier ou une partie d’un site, y compris HTML, des graphiques, des applets Java, des fichiers audio et d’autres fichiers définissables par l’utilisateur, et enregistre tous les fichiers de votre disque dur, dans leur format ou en tant que fichier Zip compressé et voir hors connexion.
Le vénérableFreeDownloadManager.orga aussi cette fonctionnalité.
Free Download Manager est disponible sous deux formes: Site Explorer et Site Spider :
Site Explorer
Site Explorer vous permet d’afficher la structure des dossiers d’un site Web et de télécharger facilement les fichiers ou les dossiers nécessaires.
HTML Spider
Vous pouvez télécharger des pages Web entières ou même des sites Web entiers avec HTML Spider. L'outil peut être ajusté pour télécharger des fichiers avec des extensions spécifiées uniquement.
Je trouve que Site Explorer est utile pour voir quels dossiers inclure/exclure avant de tenter de télécharger tout le site - en particulier lorsqu'un forum entier se cache dans le site que vous ne souhaitez pas télécharger par exemple.
Power wget
Bien que wget ait déjà été mentionné, cette ressource et la ligne de commande étaient si transparentes que je pensais qu'elle méritait d'être mentionnée: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/