Для предотвращения индексации повторяющихся страниц, таких как index.html и /?, можно использовать файл robots.txt и мета-тег canonical.
1. Файл robots.txt: Создайте файл robots.txt на корневом уровне вашего сайта (например, example.com/robots.txt) и добавьте следующую запись:
User-agent: *
Disallow: /index.html
Disallow: /?
Это указывает поисковым роботам не индексировать страницы index.html и /?.
2. Мета-тег canonical: Добавьте мета-тег canonical на страницы index.html и /?. Внутри тега <head> добавьте следующую строку:
<link rel="canonical" href="https://example.com/">
Замените "https://example.com/" на ваш основной URL.
Этот мета-тег указывает поисковым роботам, что основной URL - это ссылка, указанная в атрибуте href.
Использование обоих методов (robots.txt и мета-тег canonical) поможет гарантировать, что только основной URL будет индексироваться, а повторяющиеся страницы будут исключены.