Как выполнить парсинг всего JavaScript кода?

Конечно, давайте переформулируем ваш вопрос, чтобы он был более ясным и структурированным. Вам нужна помощь с парсингом магазина, где информация об изображениях товара загружается с помощью JavaScript и не отображается при использовании `requests_html`? Как можно эффективно обойти задержки и обнаружение Selenium WebDriver Chrome для решения данной проблемы? Вот пример страницы товара: [ссылка]. Буду рад любой помощи и советам по решению этой задачи.
  • 4 марта 2024 г. 14:29
Ответы на вопрос 2
Для парсинга JavaScript кода, которым загружаются изображения на странице, можно воспользоваться инструментами для автоматизированного тестирования веб-приложений, такими как Selenium WebDriver. С помощью Selenium можно запустить браузер (например, Chrome), пройти по странице и получить все элементы, которые загружаются динамически с помощью JavaScript.

Чтобы обойти задержки и обнаружение Selenium WebDriver Chrome, можно попробовать использовать различные стратегии ожидания (wait strategies) для динамически загружаемых элементов. Например, можно использовать явные ожидания, неявные ожидания или ожидания по условиям (explicit, implicit, and fluent waits).

Если страница использует технологии, которые делают автоматизацию сложной (например, защиты от ботов), можно попробовать запускать браузер в "headless" режиме (без графического интерфейса) или использовать специализированные инструменты для обхода защиты.

Надеюсь, эти советы помогут вам решить задачу парсинга JavaScript кода и получения информации об изображениях на странице товара. Если у вас возникнут дополнительные вопросы или потребуется дополнительная помощь, не стесняйтесь обращаться!
Как срендерить весь javascript для парсинга?

Использовать selenium.
Selenium WebDriver Chrome слишком долго прогружает, ещё и палиться как Вебдрайвер.

Обновите железо, используйте selenium stealth.
Похожие вопросы