Увеличение скорости выполнения GET запросов в секунду можно достичь следующими способами:
1. Использование кэширования: хранение полученных данных в кэше позволяет избежать повторных запросов к серверу и ускоряет обработку запросов.
2. Оптимизация сетевых настроек: настройка сетевых параметров, таких как увеличение максимального количества одновременных соединений или оптимизация маршрутизации данных, может увеличить скорость выполнения запросов.
3. Использование более быстрых вычислительных ресурсов: повышение производительности сервера, на котором запускается приложение, или использование более мощной сетевой инфраструктуры может увеличить скорость выполнения запросов.
Что касается получения titles и descriptions со страниц с учетом ограничения в 30-40 запросов в секунду, то можно попробовать следующие методы для увеличения скорости:
1. Масштабирование сетевой инфраструктуры: использование более широкополосного интернет-соединения или увеличение количества параллельных сетевых соединений может увеличить скорость обработки запросов.
2. Оптимизация запросов: уменьшение объема передаваемых данных или оптимизация запросов (например, использование сжатия данных) может уменьшить задержки при передаче данных.
3. Использование распределенной инфраструктуры: распределение запросов между несколькими серверами или использование CDN может увеличить скорость получения данных.
4. Оптимизация программного обеспечения: использование асинхронных методов, параллельной обработки запросов и оптимизация кода приложения может увеличить скорость обработки запросов.
Что касается скорости интернета для обработки хотя бы 100 запросов в секунду, то здесь многое зависит от характеристик самих запросов, объема передаваемых данных, архитектуры сетевой инфраструктуры и многих других факторов. Однако, для обработки такого объема запросов требуется высокоскоростное интернет-соединение с высокой пропускной способностью и низкой задержкой.