Коротко — ничего криминального, но объяснение и несколько рекомендаций.
Почему Yandex (iframe-tasks) заходит на эти URL
- iframe-tasks.yandex — это автоматизированный набор запросов Яндекса, который рендерит страницы в iframe для разных целей: проверка выдачи/сниппетов, получение превью/скриншотов, проверка микроразметки и состояния товара, оценки качества страниц и т.п. Это не обязательно связано с Яндекс.Маркетом.
- Если страница при обращении возвращает HTTP 200, Яндекс считает её существующей и может периодически её проверять, даже если в пользовательском интерфейсе товар «скрыт». Микроразметка OutOfStock — это семантический сигнал, но он не эквивалент статуса ресурса (200/404/410) и не запрещает обход.
- То есть поведение объяснимо: страницы доступны по URL + возвращают 200 → бот их рендерит и проверяет микроразметку/контент.
Как сделать так, чтобы Яндекс перестал «видеть» эти страницы (варианты в зависимости от цели)
1. Если товары окончательно удалены и вы хотите, чтобы они исчезли из индекса — возвращайте 404 или 410. Это самый корректный способ для удаления из индекса.
2. Если товар временно отсутствует, но страницу нужно держать вообще невидимой в поиске — добавьте meta robots noindex (или X-Robots-Tag: noindex в HTTP‑заголовке). Важно: noindex должен быть доступен для бота (страницу нельзя одновременно запрещать в robots.txt, иначе бот не сможет прочитать noindex).
3. Если хотите хранить страницу в индексе, но обозначать отсутствие — оставляйте 200 + OutOfStock. Тогда проверки бота — нормальное явление (он смотрит, не вернулся ли товар в наличие).
4. Робот-файл (robots.txt): можно запретить обход, но учтите, что disallow предотвращает скачивание страницы, а не её индексацию полностью — URL всё ещё может попасть в индекс на основе внешних ссылок (без сниппета).
5. Удаление из sitemap/YML: удаление из YML и из sitemap помогает, но не мгновенно блокирует обход — бот всё равно может заходить по старым ссылкам.
Проверка, легитимный ли трафик
- Проверьте User‑Agent и IP-адреса запросов в логах. Легитимные сервисы Яндекса используют свои диапазоны IP и корректные заголовки; можно сделать обратный DNS lookup на IP и сверить с документацией Яндекса (в Яндекс.Webmaster есть подсказки по идентификации бота).
- Если сомневаетесь, пришлите пример строки лога (IP, User‑Agent, URL) — подскажу, как проверить.
Резюме и совет
- Поведение iframe-tasks ожидаемо: бот рендерит доступные по URL страницы, даже если товары помечены OutOfStock.
- Если не хотите, чтобы страницы так и дальше проверялись/индексировались — верните 404/410 для удалённых товаров или поставьте meta robots noindex (и уберите из sitemap). Для временно отсутствующих товаров лучше оставить 200 + OutOfStock и не переживать — это нормально.
Если хотите, могу помочь:
- проанализировать несколько строк логов (IP, UA) и сказать, действительно ли это Яндекс;
- предложить точный код/заголовок или пример meta для noindex/410.