web-dev-qa-db-fra.com

Comment éviter à Google de supprimer et d’analyser une URL en texte brut sur une page?

Problème

J'ai un site Web avec une documentation qui comprend des exemples avec des URL en texte brut. L’autre jour, j’ai remarqué que le Webmaster de Google me disait que l’une de ces URL avait généré une erreur page non trouvée.

Question

Quel est le meilleur moyen d'empêcher Google de supprimer de telles URL en texte brut? (autre que d'utiliser example.com parce que j'utilise mon nom de domaine dans ces exemples d'URL, ce qui est plus logique, à mon avis.)

Masquer la solution de répertoire

Notez que j'ai découvert que je pouvais ajouter un dossier, dans mon cas /api, au robots.txt et au moins toutes ces URL étaient ignorées.

User-agent: *
Disallow: /api

Cependant, toutes les URL de mes documentations ne concernent pas uniquement l'API REST et j'ai toujours le problème avec certaines autres pages que je ne peux tout simplement pas ajouter à robots.txt (du moins, cela me n'a pas de sens, en ajoutant chaque page individuellement à robots.txt, quand ces pages n'existent pas en premier lieu ?!)

Cela dit, je ne suis pas sûr que ce soit une bonne solution en ce qui concerne le référencement puisque ces pages génèrent toujours une erreur Internal Link 404 (ou peut-être est-ce considéré comme un 403?).

urlgooglebot
2
Alexis Wilke

Générez le texte avec une simple fonction javascript, afin que le littéral souhaité apparaisse à la lecture, mais pas à la casse.

dans l'en-tête quelque chose comme

<script>function hide(str)
{   
    document.write('http://example.com'+str);
}
</script>

En ligne quelque chose comme

<script>hide("/foo/bar.html")</script>
2
ddyer

(vous voudrez peut-être confirmer si les pages sont en HTML ou en texte - je devine le HTML à partir de votre réponse à la requête JavaScript)

Vous pouvez modifier les liens avec ref = "nofollow" en tant que paramètre. Conformément à https://support.google.com/webmasters/answer/96569?hl=fr , Google le préconise.

0
davidgo