Страницы, закрытые тегом "robots" и "robots.txt", иногда могут быть все же индексированы по следующим причинам:
1. Ошибки в реализации: Возможно, на странице присутствуют ошибки в коде, которые препятствуют правильной обработке директив robots.
2. Обновление индекса: Поисковые системы индексируют страницы регулярно, и если страница находилась в индексе до того, как была помечена тегом "noindex", то ее все равно могут продолжать индексировать, пока не произойдет очередное обновление индекса.
3. Несовпадение данных: Если контент страницы был обновлен после последнего сканирования поисковой системой, то она может проиндексировать новую версию страницы, которая отличается от той, которая была закрыта для индексирования.
Для исправления проблемы с индексацией страниц с GET параметрами, можно использовать следующие подходы:
1. Использовать канонические ссылки: Установите каноническую ссылку для страницы, указывающую на основную версию страницы без GET параметров. Это поможет поисковым системам понять, какая версия страницы является основной и предотвратить индексацию дубликатов.
2. Использовать мета-тег "noindex": Добавьте мета-тег "noindex" на страницу, чтобы явно указать поисковым системам не индексировать ее.
3. Правильно настроить robots.txt: Проверьте файл robots.txt и убедитесь, что правильно заданы директивы индексирования и сканирования для страниц с GET параметрами. Может потребоваться уточнение правил, чтобы поисковой системе было более ясно, какие страницы не должны быть индексированы.
Удаление запрета на сканирование в файле robots.txt не является разумным решением, если страницы должны быть закрыты для индексации. Вместо этого, следует использовать правильные методы, описанные выше, чтобы предотвратить индексацию таких страниц.