web-dev-qa-db-fra.com

Le robot d'index Yandex est redirigé lors de la demande de ce site. Le fichier robots.txt ne sera donc pas utilisé. Quelle est la solution?

Nous avons un site Web: www.example.com qui redirige vers https://www.example.com.

Par conséquent, lorsque vous tapez www.example.com/robots.txt, vous êtes redirigé vers https://www.example.com/robots.txt.

Autre point à noter: le miroir principal dans Yandex sera décidé par le robot, cela ne nous permettra pas de définir www.example.com ou de définir https://www.example.com comme miroir principal.

S'il vous plaît noter: Cette erreur que je reçois

The Yandex index robot is redirected when requesting this site so the robots.txt file will not be used provient de cette page: https://webmaster.yandex.com/robots.xml

Mise à jour:

Nous avons mis à jour notre fichier Robots.txt comme suit après les réponses.

    User-agent: Yandex
    Sitemap: https://www.example.com/sitemap.xml
    Disallow: /some_pages/
    Host: https://www.example.com

    User-agent: *
    Sitemap: https://www.example.com/sitemap.xml
    Disallow: /some_pages/
redirectshttpssitemaprobots.txtyandex
1
CP3O

Vous pouvez définir un miroir principal dans Yandex. Je pense que vous avez besoin de quelque chose comme ça:

Host: myhost.ru # uses

User-agent: *
Disallow: /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin
Host: www.myhost.ru # is not used

ou même:

# domen.myhost.com is the main mirror
# www.domen.myhost.com, is the correct use of 
# the Host Host directive:User-Agent: *
Disallow:Host: domen.myhost.com

La directive Host doit contenir:

An HTTPS protocol indication if the mirror is only available via a protected channel (Host: https://myhost.com).

One concrete domain name that corresponds to RFC 952 and is not an IP-address.

The port number, if necessary (Host: myhost.com:8080).

Plus d'informations: https://yandex.com/support/webmaster/controlling-robot/robots-txt.xml

1
knif3r