Est-il normal que l'URL se fait ramener sur la grenouille de la grenouille, ils ont toujours une balise sans suivi et sans index sur eux
Je reçois beaucoup d'URL dans la grenouille de crier où les URL ne suivent aucun index de non-suival, mais ils sont encore rampés dans la grenouille. Est-ce bien ou devrais-je changer quoi que ce soit?
Ce que vous décrivez est normal. Ni noindex _ ni nofollow devraient empêcher les robinets tels que la grenouille de critique ou Googlebot de ramper ces pages.
Lorsque vous criez la grenouille de grenouille une page nofollow, il n'ajoutera pas les liens sur cette page à sa file d'attente de sanitaire. nofollow _ n'empêche pas que la page elle-même d'être rampée. Screaming Frog prend en charge une option de configuration appelée " suivez interne ou externe 'nofollow' " qui lui causerait de ramper tous les liens sur nofollow pages. Cependant, cette option de configuration n'est pas activée par défaut.
Screaming Frog est ne crée pas d'index de recherche, alors noindex _ ne serait normalement pas applicable à celui-ci. Screaming Frog prend en charge une option de configuration appelée " respect noindex " qui provoque la grenouille de grenouille de ne pas inclure noindex URL dans ses rapports. Notez que cela n'empêcherait pas de crier de creuser les URL, cela ne les signalera tout simplement pas. Cela serait similaire à la manière dont GoogleBot peut annuler les URL, tout simplement pas les inclure dans son indice de recherche. Vous pouvez activer cette configuration si vous le souhaitez.