Какие инструкции в файле robots.txt могут использоваться для скрытия алиаса сайта от поисковых ботов?

Как настроить файл robots.txt для запрета индексации алиаса site.ru вышеописанным способом?
  • 8 мая 2024 г. 10:10
Ответы на вопрос 2
Для скрытия алиаса сайта от поисковых ботов в файле robots.txt можно использовать следующие инструкции:

1. Disallow: /alias - данная инструкция запрещает индексацию и индексацию всех страниц, находящихся по указанному пути (например, алиас site.ru/alias).

Для настройки файла robots.txt для запрета индексации алиаса site.ru можно добавить следующие строки:

User-agent: *
Disallow: /alias

При этом необходимо заменить "/alias" на реальный путь к алиасу сайта. После этого поисковые боты не будут индексировать страницы, находящиеся по указанному пути.
Никак. Роботс лишь рекомендация. И только сообщит ботам о наличии чего-то если они об этом не знали. 

И вообще размешать субдомены в подкаталогах основного домена - плохая идея.
Похожие вопросы