Если вы получаете ошибку 401 при получении данных, указывающую на необходимость авторизации, хотя сайт не требует авторизации для доступа к запрашиваемым данным, может быть несколько причин:
1. Авторизация необходима, но это не явно указано на сайте. В таком случае, вам придется выполнить авторизацию перед запросом данных. Это может потребовать передачи правильных заголовков авторизации, отправку Cookie или других параметров. Если вы знаете, какие данные необходимо отправить, вы можете добавить их в запрос, чтобы пройти авторизацию.
2. Возможно, сайт требует наличие правильных заголовков referrer или user-agent для доступа к данным. В таком случае добавление этих заголовков в запрос может помочь.
3. Запрос отправляется на URL, отличный от того, на который отправляется форма на сайте. Если форма отправляется на другой URL, вы должны отправить запрос туда, а не на URL, указанный в коде. Для этого вы можете просмотреть действия при отправке формы на сайте и указать тот URL, на который форма отправляет данные.
4. Возможно, на сервере есть баг или проблема с авторизацией, что вызывает ошибку 401 независимо от того, была авторизация или нет. В таком случае, вам может потребоваться связаться с администратором сайта или разработчиком API, чтобы узнать, как правильно получить доступ к данным.
Однако парсинг с использованием Selenium не является оптимальным решением из-за его медленной скорости работы. Вместо этого вы можете попробовать использовать библиотеки, такие как Requests или Scrapy, для отправки запросов и получения данных с сайта. Возможно, это поможет устранить ошибку 401 и ускорит процесс парсинга.