Существует несколько возможных причин, почему данные в ответе на запрос появляются только после загрузки сайта. Одна из причин может быть тем, что сайт выполняет динамическую загрузку контента с использованием JavaScript или AJAX запросов. В этом случае, чтобы получить данные, необходимо дождаться полной загрузки страницы после выполнения всех скриптов.
Когда вы используете библиотеку Requests для отправки запроса, она не обрабатывает выполнение JavaScript на странице, как веб-браузер, а просто делает HTTP запрос. Поэтому, если сайт использует JavaScript для загрузки данных, то запрос может вернуть пустой ответ, так как данные еще не были загружены.
Для решения этой проблемы вы можете воспользоваться библиотекой, которая умеет обрабатывать выполнение JavaScript на странице, например, Selenium. Или же, если вы знаете, какие конкретно запросы отсылает сайт для получения данных, то вы можете напрямую отправить эти запросы, минуя загрузку всей страницы.
Также, убедитесь, что ваши заголовки и куки переданы правильно и нет ошибок в их формате или значениях. Проверьте также, что вы учитываете все необходимые параметры для успешного выполнения запроса на сайте.