scraper

  1. Z

    Как найти значение ключа в <html>

    Паршу сайт и пытаюсь достать данные из class='tab-pane active', но парсер не видит этот класс, в чем может быть проблема? <div class="tab-content"> <div class="tab-pane show" id="overview">...<div> <div class="tab-pane active" id="markets">...<div> <div> result = soup.find('div'...
  2. R

    Цикл в парсинге

    Как можно проходить по списку items с прокси в цикле в асинхронном парсинге? Вот код: proxies = [proxy1, proxy2] result = [] async def x_get(session, t: str): url = f'...={t}' async with session.get(url, ssl=False) as resp: resp_json = await resp.json()...
  3. Z

    Как делать sleep после определенного кол-ва циклов / запросов?

    Я паршу сайт, на котором стоит ограничение 60 запросов в секунду. Как можно засыпать на секунду после 60 запросов / циклов? item = ['FFF', 'GGG', ...] result = [] for t in item: response = requests.get(url=f'https://...{t}') result.append(response.json()) После 60 запросов выдает...
  4. Z

    Ошибка Expecting value: line 1 column 1 (char 0) при парсинге сайта

    Я паршу сайт, но (скорее всего) из-за частоты запросов, мне постоянно выдает ошибку: Expecting value: line 1 column 1 (char 0) Вот код: result = [] async def x_get(session, t: str): url = f'...={t}' async with session.get(url, ssl=False) as resp: resp_json = await...

Форум IT Специалистов