Random выдает ошибку

[serot]

Всем привет!
Пытаюсь найти артикулы input1.txt в базе на 1000 страниц. Страницы перебираю рандомом.
Подскажите в чем может быть проблема. Модуль random выдает ошибку.

import requests
import random

filenames_ = 'input1.txt'

def run():
    try:
        while 5 > 1:
            browser = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ' +\
                'AppleWebKit/537.36 (KHTML, like Gecko) ' +\
                'Chrome/71.0.3578.98 Safari/537.36'
            headers = {'User-Agent': browser}
            pageNum = random.randrange(1,1000)
            fullurl = 'http://localhost/'+str(pageNum)

            for url in fullurl:
                html = requests.get(url=url, headers=headers).text
                for filename in filenames:
                    with open(filename) as f:
                        for line in f:
                            if line.rstrip() in html:
                                print(f'Нашёл строку "{line}" на странице {url}')


    except:
        run()
        
run()

 

[Vlad_SD]

Здравствуйте, прикрепите к коду сообщение об ошибке. Ссылка формируется вроде правильно.

 

[serot]

 

[serot]

Изначально было так:

import requests


urls_ = ['http://localhost/1', 'http://localhost/2']
filenames_ = ['input1.txt', 'input2.txt']
 
 
def func(urls, filenames):
    browser = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ' +\
        'AppleWebKit/537.36 (KHTML, like Gecko) ' +\
        'Chrome/71.0.3578.98 Safari/537.36'
    headers = {'User-Agent': browser}
    for url in urls:
        html = requests.get(url=url, headers=headers).text
        for filename in filenames:
            with open(filename) as f:
                for line in f:
                    if line.rstrip() in html:
                        print(f'Нашёл строку "{line}" на странице {url}')
                        return
                        
func(urls_, filenames_)

Чтобы не вписывать страницы вручную (т.к. их 1000), решил дописать, чтобы страницы перебирались через Random.

 

[root]

Ничего зашкварнее рандома придумать не мог? :с

 

[Xagler]

почему бы просто не перебрать их по порядку?

f.open('your_file.txt')
for line in f.readlines():
    line = line.rstrip() # избавляемся от \n
    # твой код

 

[serot]

Ничего зашкварнее рандома придумать не мог? :с

Есть идеи как такой объем обработать?

почему бы просто не перебрать их по порядку?

Слишком большой объем данных, артикулов в txt фале около 500 и страниц в базе 1000.

 

[Xagler]

Есть идеи как такой объем обработать?


Слишком большой объем данных, артикулов в txt фале около 500 и страниц в базе 1000.

не слишком то это и много, но хозяин барин)

 

[MaksimD]

Посмотреть вложение 207

Чел, да у тебя тупо память закончилась и стек переполнился. У тебя в коде в блоке try зацыкливается на функцию run() - так не пишут. Сделай так:

    except (ValueError):
        print("Что-то пошло не так..")

 

[MaksimD]

def run(): try: while 5 > 1:

и переделай while на что-то такое:
while i >1:

 

[stud_55]

Всем привет!
Пытаюсь найти артикулы input1.txt в базе на 1000 страниц. Страницы перебираю рандомом.
Подскажите в чем может быть проблема. Модуль random выдает ошибку.

Вам уже подсказали что ошибка происходит из-за переполнения стека. Попробуйте просто перебирать файлы в цикле и искать по ним последовательно. Вот пример:

import requests


def run(filename):
    lines = []
    # чтобы не открывать файл много раз
    with open(filename, 'r', encoding='utf-8') as f:
        # записываем его в список lines
        lines = list(f)

    browser = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ' +\
                'AppleWebKit/537.36 (KHTML, like Gecko) ' +\
                'Chrome/71.0.3578.98 Safari/537.36'
    headers = {'User-Agent': browser}

    for i in range(1, 1000):
        url = 'http://localhost/' + str(i)
        try:
            html = requests.get(url=url, headers=headers).text
        except:
            print(f'Ошибка на странице {url}')
        else:
            for line in lines:
                if line.strip() in html:
                    print(f'Нашёл строку "{line}" на странице {url}')
    
    
filenames = 'input1.txt'

for filename in filenames:
    run(filename)

 

[serot]

Вам уже подсказали что ошибка происходит из-за переполнения стека. Попробуйте просто перебирать файлы в цикле и искать по ним последовательно. Вот пример:

Выдает ошибку:

 

[stud_55]

Выдает ошибку:
Посмотреть вложение 209

Эту строку
filenames = 'input1.txt'
нужно заменить на такую
filenames =['input1.txt']
Вместо списка строку написал по ошибке.

 

[root]

Слишком большой объем данных, артикулов в txt фале около 500 и страниц в базе 1000.

Шутишь так? У тебя гораздо больше времени уйдет на всякие рандомы, чем на простой перебор. Да и не много это, в один поток справишься)

 

[serot]

Шутишь так? У тебя гораздо больше времени уйдет на всякие рандомы, чем на простой перебор. Да и не много это, в один поток справишься)

А как добавить несколько потоков?