Что лучше использовать для парсинга большого количества страниц

[Kwuuuwh]

Добрый день, не подскажите что лучше использовать для парсинга более 200к страниц? Пробовал requests, но там нет возможности получать лишь часть страницы, с данными которые мне нужны. А так же selenium, но в нём нет возможности создания асинхронный работы. В заранее спасибо.

Работаю с:
Linux Ubuntu 22.04
Python 3.10.6

 

[robisho]

а зачем вам получать только часть страницы? получите всю и возьмите, что нужно.