Win7x64, python 3.8
в парсере перебираются urls в цикле for, бывает так, что сайт разрывает коннект, нужно при возникновении такого явления вернуться на тот url, который парсился и начать парсинг его заново, конечно, после sleep.
понимаю приблизительно, как это должно быть, но вот реализовать как-то не получается...
примерно так вижу реализацию, но проблема в том, что я не могу специально вызвать ConnectionError у сайта, чтобы проверить свой цикл. менял урл на неверный, но сайт отдает 404 пагу и except не срабатывает.
в парсере перебираются urls в цикле for, бывает так, что сайт разрывает коннект, нужно при возникновении такого явления вернуться на тот url, который парсился и начать парсинг его заново, конечно, после sleep.
понимаю приблизительно, как это должно быть, но вот реализовать как-то не получается...
Python:
for i, url in enumerate(urls):
start = urls[i]
while True:
try:
sleep(1)
for img_url in get_img_urls(session, url):
save_img(session, img_url, folder) # здесь сохранение img в файл
break
except Exception as err:
print('Ошибка', err)
print('Ждем 60 сек')
sleep(60)
url = start
continue
примерно так вижу реализацию, но проблема в том, что я не могу специально вызвать ConnectionError у сайта, чтобы проверить свой цикл. менял урл на неверный, но сайт отдает 404 пагу и except не срабатывает.