Откуда Google Search Console берет файл robots.txt?

Как исправить проблему с индексированием сайта, если файл robots.txt показывает не тот, который вы прописывали.
  • 16 мая 2024 г. 10:20
Ответы на вопрос 2
Google Search Console берет файл robots.txt из корневой директории вашего сайта. 

Чтобы исправить проблему с индексированием сайта, если файл robots.txt показывает не тот, который вы прописывали, вам следует проверить, что файл robots.txt находится в корневой директории вашего сайта и содержит правильные директивы. 

Если вы обнаружите какие-то ошибки или несоответствия в файле robots.txt, внесите необходимые изменения и затем обновите этот файл на сервере. После этого вы можете запросить повторную индексацию вашего сайта через Google Search Console, чтобы убедиться, что правильная версия файла robots.txt используется для индексации вашего сайта Google.
Настройте редиректы на главное зеркало, сейчас все зеркала отдают 200. 
Во-вторых, у вас robots.txt выглядит вот так:
User-agent: * Disallow: *.epub Disallow: *.djvu Disallow: /404.php Disallow: *?* Disallow: *menu*.shtml Disallow: /bot.shtml Disallow: /?* Disallow: *rmp.shtml Disallow: *txt1.shtml Disallow: *txt2.shtml Disallow: /rus/ Disallow: /eng/train-ticket/ Disallow: /eng/russia/trans-siberian-railway/ Disallow: /eng/mongolia/fishing/ Disallow: /eng/mongolia/text/ Disallow: /eng/mongolia/informations/ Disallow: /eng/mongolia/ub/ Disallow: /eng/mongolia/ulaanbaatar/ Disallow: /forum/ Disallow: /eng/mongolia/tour/index.shtml Disallow: /eng/mongolia/pictures/foto.shtml Sitemap: https://legendtour.mn/sitemap_mn.xml
Почему сайтмап указывает на неглавное зеркало? Что с форматированием?
Ну и в третьих - всё в порядке с индексом в Гугле, что значит не появляется в поиске?
Похожие вопросы