Для создания файлов robots.txt и sitemap.xml для сайта на нескольких языках, необходимо следовать определенным правилам:
1. Для robots.txt:
- Создайте отдельные инструкции для каждой версии языка сайта, указывая разные директивы для разных разделов сайта.
- В каждой инструкции укажите путь к файлам sitemap.xml для соответствующей версии языка.
Пример robots.txt для сайта на двух языках:
User-agent: *
Disallow: /by/ # Запретить индексацию для версии сайта на белорусском языке
Sitemap: http://site.com/sitemap-ru.xml # Карта сайта для русской версии
Sitemap: http://site.com/by/sitemap-by.xml # Карта сайта для белорусской версии
2. Для sitemap.xml:
- Создайте отдельные карты сайта для каждой версии языка, где будут указаны URL-адреса соответствующих страниц и разделов сайта.
- Укажите в каждом sitemap.xml ссылки на страницы в соответствующей версии языка.
Пример sitemap.xml для сайта на двух языках:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://site.com/</loc>
</url>
<url>
<loc>http://site.com/about/</loc>
</url>
...
</urlset>
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://site.com/by/</loc>
</url>
<url>
<loc>http://site.com/by/about/</loc>
</url>
...
</urlset>
После создания файлов robots.txt и sitemap.xml необходимо загрузить их на сервер и прописать соответствующие ссылки в метатеге <link rel="alternate" hreflang="x" href="URL"> на страницах сайта для указания наличия альтернативных версий языка.