Для удаления ненужных ссылок из индекса поисковых систем можно воспользоваться следующими методами:
1. Используйте файл robots.txt: Создайте файл robots.txt на вашем сайте и добавьте директиву "Disallow" для страниц, которые вы хотите исключить из индекса. Это не гарантированно удалит ссылки из индекса, но поисковые системы будут обращать внимание на указанные директивы и, скорее всего, исключат эти страницы из результатов поиска.
2. Используйте мета-тег "noindex": Добавьте мета-тег "noindex" на страницы, которые вы хотите исключить из индекса. Этот тег указывает поисковым системам не индексировать страницу и не включать ее в результаты поиска. Например, вы можете добавить следующий мета-тег в секцию <head> страницы HTML:
<meta name="robots" content="noindex">
3. Проверьте наличие дублирующихся ссылок и решите проблему с дублированием страниц с помощью канонических ссылок (canonical): Если у вас есть страницы сайта, содержащие идентичное содержимое из-за использования GET-параметров, вы можете добавить элемент link с атрибутом rel="canonical" в <head> страницы. Это указывает поисковым системам на основную (каноническую) версию контента и помогает избежать дублирования индексации.
<link rel="canonical" href="https://example.com/page">
4. Используйте инструменты поисковых систем: Большинство поисковых систем предоставляют веб-интерфейсы и инструменты для веб-мастеров, которые позволяют управлять индексацией страниц и удалением нежелательных ссылок из результатов поиска. Например, Google Search Console и Yandex.Webmaster позволяют добавлять и проверять сайты, отправлять карты сайта, запросы на удаление страниц и т. д.
Если правила в файле robots.txt и использование clean-param не решили проблему с дублированием страниц, рекомендуется применить другие методы, такие как использование мета-тега "noindex" или канонических ссылок. Если проблема не решается, возможно, стоит обратиться к специалистам по SEO или воспользоваться инструментами поисковых систем для получения дополнительной помощи и рекомендаций.