Как можно спарсить текст с веб-страницы, которая имеет нестандартный URL?

Как добавить вывод сообщения "Сайт недоступен", если сайт недоступен, в коде парсера, когда выполнена проверка "if response.status == 200"? Почему не выводится сообщение об ошибке?
Изображение к вопросу
  • 6 ноября 2023 г. 14:48
Ответы на вопрос 2
Чтобы спарсить текст с веб-страницы, имеющей нестандартный URL, вы можете использовать различные библиотеки для работы с HTTP-запросами, такие как requests или urllib. 

Вот пример кода, который позволит вам спарсить текст с веб-страницы с нестандартным URL с использованием библиотеки requests:

```python
import requests

url = "ваш_нестандартный_url"
try:
    response = requests.get(url)
    if response.status_code == 200:
        text = response.text
        # здесь можно выполнять дальнейшую обработку текста
    else:
        print("Сайт недоступен")
except requests.exceptions.RequestException:
    print("Ошибка при выполнении запроса")
```

Если сайт недоступен, вы увидите сообщение "Сайт недоступен" в консоли. Отсутствие сообщения об ошибке может быть связано с тем, что код проверки ошибки не выполняется из-за возникновения исключения requests.exceptions.RequestException. Проверьте, что у вас правильно установлена библиотека requests и проверьте корректность вашего URL. Если проблема не решена, вы также можете добавить print-выражение в блок except для отображения возникшей ошибки.
Скорее всего на сайте используется динамическая загрузка контента. Чтобы успешно парсить такие сайты, рекомендуется использовать инструменты, такие как Selenium или аналогичные. Они позволяют программно взаимодействовать с веб-страницами, подгружая нужную информацию после полной загрузки страницы.
Похожие вопросы