La page d'accueil de mon site Web contient des images d'utilisateurs. Je veux savoir si je peux arrêter l'exploration de ces images avec robots.txt.
Disallow: /img/users
Ma question est que je veux savoir si cela peut faire une différence du point de vue du référencement en bloquant ces images avec le fichier robots.
Bien sûr, vous pouvez bloquer et il n'y aura pas de problème avec le référencement du site. Peut-être que ces images généraient du trafic, dans ce cas, c'est la seule chose que vous allez perdre.
Assurez-vous d'utiliser le bon ser-agent :
En spécifiant Googlebot-Image en tant qu'agent utilisateur, les images seront exclues de Google Image Search. Cela empêchera également le rognage de l'image pour l'affichage dans Mobile Image Search, car l'image sera complètement supprimée de l'index des images de Google. Si vous souhaitez exclure les images de toutes les recherches Google (y compris la recherche Web Google et Google Images), spécifiez Agent utilisateur Googlebot.
User-agent: Googlebot
Disallow: /mg/users/
S'ils sont déjà indexés, l'utilisation de robots.txt disallow
prendra trop de temps pour les faire disparaître des serps. Vous pouvez supprimer manuellement ou les bloquer via la configuration du serveur.
Je l'arrête avec la protection hotlink. cela se trouve dans la plupart des panneaux de contrôle de site Web, mais si vous utilisez ceci depuis un serveur privé, dans .htaccess, vous écrirez:
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)example.com/.*$ [NC]
RewriteRule \.(gif|jpg|jpeg|bmp|Zip|rar|mp3|flv|swf|xml|php|png|css|pdf)$ - [F]
Selon le document de spécification Robots , la meilleure façon de le gérer consiste à utiliser la technique d’en-tête HTTP X-Robots-Tag, dans laquelle vous pouvez spécifier un noindex
pour n’importe quelle URL, notamment des dossiers:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Pour citer directement la documentation:
Vous pouvez utiliser X-Robots-Tag pour des fichiers non HTML, tels que des fichiers image, lorsque l'utilisation de balises méta de robots n'est pas possible. Voici un exemple d’ajout d’une directive noindex X-Robots-Tag aux fichiers d’images (.png, .jpeg, .jpg, .gif) d’un site entier:
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
Ou bien utilisez le noimageindex
pour empêcher l'exploration des images dans cette page dans le balisage. Si vous aviez quelque chose comme un répertoire utilisateur dans lequel tous les utilisateurs avaient leurs images listées, cette technique pourrait être utile.