Wget est un utilitaire de ligne de commande permettant de télécharger presque tout ce qui est disponible sur Internet. Le problème, c'est qu'il devrait être disponible via les protocoles HTTP, HTTPS ou FTP; sinon, Wget ne pourra pas le télécharger. Wget peut être utilisé de différentes manières. Vous pouvez par exemple utiliser Wget pour télécharger chaque image sur un site Web ou télécharger un fichier unique. Wget est même capable de reprendre les téléchargements, lorsque cela est possible. Donc, si vous vous demandez comment fonctionne Wget et ce qu’il peut faire pour vous, voici comment utiliser Wget :
Installation de Wget
1. Installer Wget sur macOS Sierra
Avant de commencer à utiliser Wget, nous devrons l'installer sur notre système. Heureusement, la plupart des distributions Linux sont livrées avec Wget pré-installé, vous n’aurez donc pas à faire de travail supplémentaire. Cependant, si vous êtes sur un Mac, vous devrez installer Wget. Cela peut être fait facilement en utilisant Homebrew (téléchargement). Si vous avez besoin d’aide, voici les étapes à suivre:
- Tout d'abord, vous devrez installer Homebrew sur votre Mac pour pouvoir télécharger Wget. Pour ce faire, lancez simplement le terminal et tapez la commande suivante:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Une fois la commande terminée, Homebrew sera installé sur votre système. Vous pouvez maintenant utiliser Homebrew pour installer des packages, tels que Wget. Dans le terminal, exécutez simplement la commande suivante:
brasser installer wget
- Homebrew commencera automatiquement à télécharger, décompresser et installer Wget sur votre système. Cette étape peut prendre un certain temps, en fonction de la vitesse de votre réseau. Soyez donc patient. Une fois la commande terminée, vous devriez pouvoir utiliser Wget sur votre Mac. Pour vérifier s'il a été installé, utilisez simplement la commande suivante:
wget -V
2. Installation de Wget sous Windows
L'installation de Wget sous Windows demande un peu plus d'effort, mais cela peut être facilement fait. Si vous souhaitez installer Wget sur votre PC Windows, suivez les étapes ci-dessous:
- Tout d’abord, téléchargez Cygwin, puis exécutez le fichier d’installation téléchargé .
- Lorsqu'il vous demande la source de téléchargement par défaut, choisissez l'option « Installer à partir d'Internet », puis cliquez sur «Suivant».
- Choisissez un répertoire d'installation pour Cygwin, ainsi qu'un répertoire dans lequel seront sauvegardés les fichiers de package pour l'installation des utilitaires.
- Dans l'écran suivant, vous devez sélectionner votre connexion Internet. Si vous utilisez un proxy, choisissez son type et remplissez les détails. Pour la plupart des utilisateurs, toutefois, le choix serait « Connexion directe ».
- Une liste de miroirs s’affichera. Choisissez-en un pour télécharger Cygwin. Si le téléchargement échoue, vous pouvez réessayer avec un miroir différent.
- Dans la fenêtre suivante, recherchez «wget», puis cliquez sur le signe plus à côté de «web» dans la liste qui s’affiche. Ici, la case à cocher à côté de « wget » sera automatiquement sélectionnée. Cliquez simplement sur «Suivant».
- L'écran suivant vous montrera les paquets à télécharger. Cliquez simplement sur «Suivant».
- Une fois l’installation terminée, il vous sera demandé si vous souhaitez créer une icône de bureau et / ou ajouter une entrée dans le menu Démarrer . C’est une question de préférence personnelle, mais je vous conseillerais au moins de l’ajouter au menu Démarrer, pour que vous puissiez la trouver facilement.
C'est tout. Wget est maintenant installé sur votre PC Windows. Cependant, vous ne pourrez pas l'exécuter à partir de l'invite de commande. Au lieu de cela, vous devrez lancer le terminal Cygwin et utiliser Wget à partir de là .
Comment utiliser Wget
Maintenant que Wget est opérationnel et que nous fonctionnons sur notre système, explorons toutes les façons amusantes dont nous pouvons utiliser Wget pour télécharger des fichiers, des dossiers et même des sites Web entiers à partir d'Internet. Voici quelques choses intéressantes que vous pouvez faire avec Wget sur votre système.
Remarque : J'utilise Wget sur un MacBook Air équipé de macOS Sierra 10.12.3 beta. Cependant, étant donné que l'utilitaire que nous utilisons est le même (Wget), les commandes seront les mêmes sur tous les systèmes d'exploitation sur lesquels vous utilisez éventuellement Wget.
1. Utilisez Wget pour télécharger des fichiers
Vous pouvez utiliser Wget pour télécharger facilement des fichiers sur Internet. Il suffit d'utiliser la commande suivante
wget
- Téléchargez un fichier et enregistrez-le avec un nom de fichier spécifique
Les fichiers sur les serveurs portent parfois les noms les plus étranges. Vous pouvez télécharger le fichier et demander à Wget de le renommer automatiquement en quelque chose de plus logique. Pour ce faire, utilisez simplement la commande suivante
wget -o
- Télécharger uniquement des types de fichiers spécifiques
Un serveur Web peut héberger un certain nombre de fichiers différents. Alors, que se passe-t-il si vous souhaitez uniquement télécharger tous les fichiers PDF sur le serveur, ou peut-être tous les fichiers GIF? Utilisez simplement la commande suivante:
wget -r -A pdf
Cette commande particulière a été mise à profit par Mark Zuckerberg dans son dortoir de Harvard pour télécharger toutes les images en une seule commande et créer le site Web tristement célèbre «facesmash.com».
wget -r -A jpg, jpeg, png, bmp
2. Télécharger des fichiers à partir de plusieurs URL avec Wget
Supposons que vous deviez télécharger des fichiers à partir de différents endroits sur Internet. Il peut y avoir un fichier PDF sur url1, un fichier ZIP important sur url2 et autre chose dans url3 . Si vous avez utilisé Wget de manière traditionnelle, vous devrez l'exécuter trois fois. Cependant, il existe un moyen beaucoup plus simple de le faire.
- Commencez par créer un fichier avec toutes les URL dont vous avez besoin pour télécharger des données. Assurez-vous de conserver chaque URL dans sa propre ligne . Enregistrez le fichier et assurez-vous de vous rappeler le nom.
- Dans Terminal, utilisez la commande suivante pour télécharger des fichiers à partir de toutes les URL:
wget -i
où " nom_fichier " est le nom du fichier que vous avez créé avec toutes les URL dont vous avez besoin pour télécharger des éléments.
3. Télécharger un site Web complet avec Wget
Oui, tu l'as bien lu. Vous pouvez également utiliser Wget pour télécharger le contenu d’un site Web entier. De toute évidence, si le site Web est trop volumineux, cette commande prendra beaucoup de temps, sans compter que cela occupera beaucoup d'espace sur votre système. Cela dit, si vous souhaitez utiliser Wget pour télécharger un site Web entier, utilisez simplement la commande suivante:
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
Cela téléchargera le site Web entier dans un dossier « LOCAL-DIR » dans votre répertoire de travail. Les fichiers du site Web seront stockés dans un dossier portant le même nom que le site Web, grâce à “ URL DU SITE WEB “.
4. Utiliser Wget comme un Web Spider
Vous pouvez également faire en sorte que Wget agisse comme un robot Web (ou une araignée Web). Ceci est utile lorsque vous souhaitez vérifier que l'URL du fichier que vous souhaitez télécharger est valide . Pour utiliser Wget en tant que Web spider et vérifier la validité des URL, utilisez simplement la commande suivante:
wget --spider
Cela vérifiera si l'URL que vous avez mentionnée existe et vous obtiendrez une réponse vous indiquant les résultats de la vérification.
- Réponse positive:
- Réponse négative:
5. Continuer les téléchargements incomplets
C'est une autre chose vraiment cool que Wget peut faire. Supposons que vous téléchargiez un fichier avec Wget, mais pour une raison quelconque, vous avez dû éteindre votre ordinateur portable. La prochaine fois que vous voudrez essayer de télécharger le même fichier, Wget pourra continuer le téléchargement pour vous. Vous devez simplement vous assurer que vous vous trouvez dans le même dossier que celui où vous avez téléchargé le fichier la dernière fois, puis utilisez la commande suivante:
wget -c
Lorsque Wget s'aperçoit qu'une partie du fichier est déjà présente sur votre système, le téléchargement se poursuit automatiquement.
Remarque : Si le fichier sur le serveur a été modifié depuis la dernière fois que vous avez essayé de le télécharger, vous ne devez pas utiliser cette commande, car cela entraînerait la corruption du fichier que vous ne pourrez pas lire.
De plus, si le serveur n'autorise pas les téléchargements continus, Wget refusera de démarrer le téléchargement à partir de zéro. Si vous souhaitez démarrer le téléchargement à partir de zéro, vous devez d'abord supprimer le fichier partiellement téléchargé de votre système .
Il existe certaines conditions supplémentaires pour utiliser cet argument et vous pouvez en savoir plus à ce sujet sur la page de manuel de Wget.
6. Limiter la vitesse de téléchargement
Si vous utilisez Wget pour télécharger des fichiers et naviguez sur Internet à côté, vous ne voudriez probablement pas que toute votre bande passante soit utilisée par Wget. Heureusement, Wget inclut un argument que vous pouvez utiliser pour limiter la quantité de bande passante que Wget peut utiliser pour télécharger des fichiers sur votre système:
wget --limit-rate =
Remarque : N'oubliez pas que la vitesse est indiquée en octets et non en bits. Ainsi, si vous utilisez Wget –limit-rate = 20k, l'utilisation de la bande passante sera limitée à 20 Ko et non à 20 Ko.
7. Utilisez Wget pour télécharger des fichiers à partir de serveurs FTP
Si vous devez télécharger un fichier depuis un serveur FTP, vous pouvez également le faire avec Wget. Utilisez simplement la commande suivante pour télécharger des fichiers à partir de serveurs FTP:
wget
- Télécharger des fichiers de serveurs FTP avec Login
SI votre serveur FTP nécessite une connexion pour permettre le téléchargement de fichiers, vous pouvez également simplement passer les informations d'identification avec Wget. Utilisez simplement la commande suivante:
wget --ftp-username = USERNAME --ftp-password = PASSWORD
Utilisez facilement Wget pour télécharger des fichiers sur Internet
Vous pouvez utiliser Wget pour télécharger des fichiers depuis n’importe où sur Internet. Cependant, bien que Wget fonctionne presque toujours, certains serveurs empêchent l'accès à Wget. Dans ce cas, vous pouvez essayer de modifier l'agent –user-agent pour votre commande Wget. Cependant, ce n'est pas un plan d'action recommandé, à moins que vous ne sachiez absolument ce que vous faites. Pour la plupart, Wget vous permettra de télécharger n’importe quel fichier d’Internet, tant que vous y avez accès, ainsi que son URL.
Alors, avez-vous déjà utilisé Wget pour télécharger des fichiers sur Internet? Faites-nous savoir si vous utilisez Wget pour télécharger des fichiers via les protocoles HTTP, HTTPS et FTP. De même, si vous connaissez d'autres utilisations de Wget qui, selon vous, méritent de figurer sur cette liste, veuillez nous en informer dans la section commentaires ci-dessous.
