Как исключить страницы с URL, содержащим /xfsearch/, из индексации?

Как правильно настроить robots.txt для блокировки индексации раздела /xfsearch/, но при этом разрешить индексацию подраздела /xfsearch/year/ на сайте https://site.ru/?
  • 20 декабря 2023 г. 0:27
Ответы на вопрос 2
Для исключения страниц с URL, содержащим "/xfsearch/" из индексации, вам нужно создать файл robots.txt и добавить следующее правило:

User-agent: *
Disallow: /xfsearch/

Это запретит поисковым роботам индексировать любые страницы, где содержится "/xfsearch/".

Однако, если вы хотите разрешить индексацию подраздела "/xfsearch/year/" на сайте https://site.ru/ и блокировать только основной раздел "/xfsearch/", то правило в файле robots.txt будет выглядеть следующим образом:

User-agent: *
Disallow: /xfsearch/
Allow: /xfsearch/year/

Таким образом, поисковые роботы будут запрещены индексировать основной раздел "/xfsearch/", но разрешается индексация подраздела "/xfsearch/year/".
Disallow: /product/ 
Allow: /product/*

Вот так сделайте
Похожие вопросы