У меня интернет‑магазин с более чем 10 000 товаров, но в наличии постоянно около 2 000 (так с 2023 года). Около 8 000 товаров скрыты от посетителей, но их страницы возвращают HTTP 200 и доступны для роботов. Я не удалял эти товары — иногда некоторые из них снова появлялись. Недавно сменил поставщика и выяснил, что примерно 5 000 таких «мертвых душ» вряд ли вернутся в ассортимент, их буду удалять постепенно. Что делать с оставшимися примерно 5 000 товаров, которые сейчас дают код 200, но потенциально могут появиться в будущем: полностью удалить их (чтобы они возвращали 404) или оставить и пометить для робота как noindex? И как массовое удаление такого количества товаров может повлиять на ранжирование — как поисковые системы обычно реагируют на массовое удаление страниц?
Короткий ответ — это зависит от двух вещей: 1) планируете ли конкретный товар возвращать в ассортимент когда‑нибудь, и 2) есть ли у страницы ценность для SEO (органический трафик, входящие ссылки, поведенческие сигналы). Ниже — практическая стратегия и объяснение последствий массовых удалений. Основные принципы - Если товар окончательно ушёл и не будет возвращён — удаляйте страницу с сервера (404/410) или делайте 301‑редирект на релевантную страницу (аналог/категория). Это быстрее убирает низкокаченые URL из индекса и экономит краул‑бюджет. - Если товар временно отсутствует, но может вернуться — лучше оставить страницу доступной (HTTP 200) с понятным сообщением «нет в наличии», опцией подписки на поступление, предложениями альтернатив и разметкой availability=OutOfStock. Это сохраняет SEO‑сигналы и позволяет легко вернуть страницу в продажу. - Не используйте robots.txt, чтобы «скрыть» страницы, которые вы хотите убрать из индекса — блокировка мешает поисковику увидеть meta noindex и обработать редиректы/410, что вызывает путаницу в индексе. - Если вы хотите временно убрать страницы из индекса, используйте meta robots noindex (страница остаётся доступна для бота и для вас, но исчезает из результатов поиска). Помните: при повторном возврате товара надо убрать noindex и заново проиндексировать. Что сделать с 5 000 окончательно не вернувшихся товаров 1. Пробейте наличие трафика/ссылок: через Google Search Console, Analytics, Ahrefs/SEMrush. Для страниц с явной ценностью — сделайте 301 на релевантную категорию/замену или сохраните как «архив» с предложениями альтернатив. 2. Для страниц без трафика и без обратных ссылок: отдавайте 410 (или 404). 410 сигнализирует о постоянном удалении быстрее. Удалите их из sitemap. 3. Выполняйте удаление поэтапно (несколько сотен/тысяч в неделю), отслеживайте GSC Coverage и органический трафик — так вы увидите и исправите неожиданные побочки. Что сделать с 5 000 потенциально возвращаемых товаров Варианты: - Рекомендованный (обычно лучший): оставить страницу в 200, показать статус «нет в наличии», предложить альтернативы и подписку на поступление, оставить структурную разметку. Это сохраняет ссылочный вес и историю страницы, минимизирует риски при возврате товара. - Если вы явно не хотите, чтобы такие страницы индексировались пока их нет в наличии: добавить meta noindex, но не блокировать через robots.txt. Помните, при noindex страница не будет в поиске и вы будете терять органические показы; при возвращении товара нужно убрать noindex и переиндексировать URL. - Если на такие страницы есть трафик/ссылки — лучше не ставить noindex и не удалять, держать живыми или делать редирект на подходящую страницу. Как массовое удаление повлияет на ранжирование - Негативный эффект возможен, если вы удаляете страницы, которые приносили трафик или имели обратные ссылки — вы потеряете трафик и потенциально часть релевантности разделов сайта. Поэтому для таких страниц делайте редиректы на релевантные страницы. - При корректной обработке (редиректы на релевантные страницы или 410 для реально мёртвых URL, обновление sitemap) поисковые системы нормально воспринимают массовые удаления. Может быть временная флуктуация в выдаче, но в долгой перспективе эффект минимален. - Удаление большого числа низкокачественных/пустых страниц часто помогает улучшить качество сайта в глазах роботов (меньше мусора, ниже нагрузка краулера), что может положительно сказаться на ранжировании «живых» страниц. Пошаговый план действий (практически) 1. Сканируйте и выделите группы: имеющие трафик/входящие ссылки / без трафика / потенциально возвращаемые. 2. Для ценных URL (трафик/ссылки): 301 → релевантный товар/категория либо сохранить страницу с сообщением и альтернативами. 3. Для окончательно удаляемых и невостребованных URL: отдавайте 410 (или 404), удаляйте из sitemap. Делайте это партиями. 4. Для потенциально возвращаемых: оставьте 200 + UX (подписка на поступление, альтернативы) или временно noindex (если точно не хотите показа в поиске). Не блокируйте robots.txt. 5. Мониторьте GSC (Coverage, Removal, URL Inspection), лог‑файлы сервера (как часто бот ходит), и органический трафик. Корректируйте стратегию по результатам. Короткие рекомендации - Не рубите всё сразу. Проводите аудит и удаляйте/редиректите по приоритету. - Сохраняйте живыми страницы с SEO‑ценностью. - Для окончательно мёртвых — 410/удаление + убрать из sitemap. - Для временно отсутствующих — лучше держать 200 с понятным UX; noindex — только если вы готовы потерять видимость и потом восстанавливать её вручную. - Не блокируйте pages через robots.txt, если хотите, чтобы Google корректно обработал их удаление или noindex. Если хотите, могу: - предложить план поэтапного удаления (разбить 5 000 на пакеты и расписать график), - помочь сформировать правила для автоматической обработки (когда ставить 410, когда редирект, когда noindex), - или проанализировать метрики (GSC/Analytics) и выделить приоритетные страницы.
Универсального решения, как по мне, нет. Надо учитывать несколько переменных. <br/> а) Трафик. Пример из жизни: каталог одним днём потерял более 2/3 трафика (было 1700 визитов в день, стало 500). Причина: две товарные карточки из большого каталога свалились с первой позиции в Гугл на 10. Оцените, дают ли эти карточки трафик. Чаще всего - нет, и если так - можно сносить смело. На практике-то сейчас там может быть вообще много добра, давно выкинутого из индекса. <br/> б) Конверсионная цепочка. Мёртвая карточка может быть промежуточным звеном в этой самой цепочке. Снёс "мусор" - потерял переходы на аналоги. Если там есть какое-то шевеление и в принципе не самый бесполезный контент - надо думать про редиректы или внутренние ссылки на актуальные версии или аналогичные товары. <br/> в) Ассортимент. BM25 никто не отменял, и если категория резко теряет объём листинга ниже критического параметра - посыплется вся категория. Тут надо точечно оценивать минимальный объём, и если чистка выглядит проблемной - проще повесить форму "Подпишитесь, чтобы узнать о поступлении" или типа такого. <br/> В ряде случаев стоит просто добавить сортировку (чтобы отсутствующие товары выводились где-нибудь на страницах пагинации и не портили людям впечатление. <br/> А если товар исчез наглухо и спроса на него нет - можно сносить смело, это уже web-decay, такое только на пользу.
Лучше не выбирать один способ для всех товаров, а разделить их на 3 группы. <br/> <br/> 1. Товары, которые точно не вернутся <br/> 410, если товар окончательно снят и нет точной замены. Это нормальный сигнал для Яндекса и Google: страница удалена и не должна индексироваться. Яндекс прямо рекомендует для удаленных страниц 410, а Google — 410, если страницы больше нет и нет похожей замены. <br/> <br/> Если есть реальный аналог или новая модель, делайте 301, но не на главную, а только на максимально релевантную замену или, в крайнем случае, на релевантную категорию. Массово редиректить все удаленные товары на главную не стоит — это может быть расценено поисковиками как soft 404. Google отдельно пишет, что soft 404 — это ситуация, когда несуществующая страница отдает не 404/410, а, например, 200, и это может мешать обходу качественных страниц. <br/> <br/> Что сделать дополнительно: убрать эти URL из XML Sitemap, фидов, внутренней перелинковки и поиска по сайту; на 404-странице показать категории, поиск и похожие товары. <br/> <br/> 2. Товары, которые реально могут вернуться <br/> Их не удалять и не закрывать noindex, если страница полезна пользователю: есть характеристики, фото, описание, отзывы, инструкции, аналоги, кнопка “сообщить о поступлении”, ожидаемая дата поставки или блок “похожие товары в наличии”. <br/> <br/> Для таких страниц лучше оставить 200 OK + “нет в наличии”, но сделать страницу полезной. Google для временно недоступных товаров рекомендует сохранять страницы доступными, ограничивать возможность покупки, обновлять структурированные данные и фиды; отдельно говорит, что не стоит удалять out-of-stock товары из поиска, лучше оставить страницу и пометить товар как недоступный. <br/> <br/> В микроразметке укажите актуальный статус, например: <br/> "availability": " <a href="https://schema.org/OutOfStock" rel="nofollow">https://schema.org/OutOfStock</a> " <br/> Google поддерживает значения OutOfStock, BackOrder, PreOrder, Discontinued и другие для свойства availability. Яндекс тоже использует разметку Product / Offer, а при указании отсутствия товара в availability цена в сниппете не отображается. <br/> <br/> 3. Товары “может быть когда-нибудь”, но сейчас страница слабая <br/> Вот здесь можно использовать noindex, но не как основной способ для всех товаров, а как временную меру для страниц, которые сейчас не дают ценности: шаблонное описание, нет цены, нет аналогов, нет спроса, нет перспективы поставки. <br/> Важно: если ставите noindex, не закрывайте URL в robots.txt, иначе робот может не увидеть директиву. Google прямо пишет, что noindex должен быть доступен для обхода, а robots.txt не является надежным способом убрать страницу из Google; Яндекс также указывает, что для noindex страницу не нужно ограничивать в robots.txt, чтобы робот увидел указание. <br/> <br/> Повлияет ли массовое удаление на ранжирование? <br/> Сам факт, что на сайте появятся тысячи 404/410, не должен обрушить ранжирование всего сайта, если это действительно удаленные товары и остальные важные страницы доступны. Google прямо говорит, что можно иметь столько 404/410, сколько нужно: они не влияют на обход сайта в целом; также Google ранее пояснял, что 404/410 на удаленных URL не ухудшают работу остальных URL с 200 в поиске. <br/> <br/> Для Яндекса опаснее не сами 404/410, а обратная ситуация: когда несуществующие или удаленные страницы продолжают отдавать 200 OK. В документации Яндекса сказано, что из-за этого робот считает страницы существующими, они могут дублироваться, увеличивать нагрузку на сервер и замедлять индексирование. <br/> <br/> Я бы сделал так: <br/> 5 тыс. окончательно снятых товаров — 410/404, удалить из sitemap, фидов и внутренней перелинковки; 301 только на точную замену. <br/> Товары, которые могут вернуться и имеют спрос/контент — оставить 200, не ставить noindex, честно показать “нет в наличии”, добавить аналоги, подписку на поступление, актуальную микроразметку OutOfStock / BackOrder. <br/> Слабые “замороженные” карточки без пользы — временно noindex, убрать из sitemap и меню, но не блокировать robots.txt. <br/> Постепенно мониторить в Яндекс.Вебмастере и Search Console: исключенные страницы, soft 404, 404/410, индексацию товарных URL, органику по категориям. <br/> <br/> Главное: не надо держать тысячи товарных страниц с кодом 200 только “на всякий случай”, если они уже не существуют как полезные посадочные страницы. Но и удалять все отсутствующие товары тоже не нужно, если товар временно недоступен и страница полезна, лучше сохранить ее в индексе и правильно показать статус. <br/> <br/> 410 - страницы будут быстрее удалены из индекса поисковиков, чем 404.
Для мёртвых — удаляй, 404 нормально, поисковики вычистят за пару месяцев. Если есть внешние ссылки — 301 на категорию, иначе вес теряешь. <br/> <br/> Для тех, кто может вернуться — если хочешь сохранить трафик, лучше оставить 200 с пометкой «нет в наличии» и OutOfStock в schema.org. noindex выкинет их из поиска, и потом придётся ждать переобхода. <br/> <br/> Массовое удаление ранжирование не роняет. Краулинговый бюджет немного жрёт пока боты ходят по 404-м, но ничего критичного.
Те товары в которых вы уверены, - не будет их больше нужно удалять, Вы ведь сами ответили на этот вопрос))) <br/> <br/> а те которые возможно вернутся - лучше оставить страницу с кодом 200, явно показать «нет в наличии» и добавить микроразметку Schema.org availability: OutOfStock. Так поисковики сами поймут статус и не выкинут URL из индекса навсегда. <br/> <br/> Так же советую сделать механизм отдачи кода 304, когда страничка не менялась она должна отдавать 304 not modified. <br/> <br/> <blockquote>HTTP-код 304 Not Modified означает, что запрашиваемый ресурс не изменился с момента последнего обращения к нему. Это сигнал для клиента (например, браузера) о том, что можно использовать кэшированную версию ресурса без повторной загрузки данных.</blockquote> <br/> <br/> Во первых это экономит трафик Вашего сайта (и нагрузку на него), но самое главное это даёт более лучшее отношение поисковиков к Вашему ресурсу, когда краулеры не тратят впустую краулинговый бюджет - они это приветствуют - что сказывается на скорости реакции на изменения на Вашем сайте. <br/> <br/> А так же коллега выше сказал делать 301 редиректы - это очень крутой совет, который многие упускают.