Ошибка 404 при обращении к сайту через requests

lolipop404

Новичок
Пользователь
Апр 27, 2020
4
2
3
Приветствую, имеется код, который берет ссылки из csv файла и обращается к сайту через requests, но почему то выдает ошибку <Response [404]>. Если эту же ссылку записать как URL = 'ссылка', и подставить этот URL (Вместо URL[num] ), то все работает. Как починить, подскажите пожалуйста?
Python:
import requests
import csv

HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',
    'accept': '*/*'}



file = open('Links.csv', 'r')
data = file.readline()
URL = [ ]
for i in open('Links.csv'):
    URL.append(i)


    
def get_html(url, params=None):
    r = requests.get(url, headers=HEADERS, params=params)
    return r


def req():
    num = int(1)
    while num <= 1:
        print(URL[num])
        html = get_html(URL[num])
        print(html)
        num += 1
req()
 
Последнее редактирование:
  • Мне нравится
Реакции: Student

Vlad_SD

Активный пользователь
Пользователь
Апр 7, 2020
91
45
18
Python:
import requests
import csv

HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
    AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',
    'accept': '*/*'
}


def get_file(file_name):
    # открываем файл для чтения через контекстный менеджер, так он сам своевременно закроется
    with open(file_name, encoding='utf-8') as fl:
        reader = csv.reader(fl)
        # создаём список из значений (в моём csv это были просто неоскльо сайтов через запятую)
        url = [i for i in reader]
        # вернули списком все url
        return url[0]


def get_reqst_url(url_list):
    # подставляет каждый url в get
    for current_url in url_list:
        r = requests.get(current_url, headers=HEADERS, params=None)
        if r.status_code == 200:
            print('Success!')
        elif r.status_code == 404:
            print('Not Found.')


file = 'Links.csv'
url_to_list = get_file(file)
get_reqst_url(url_to_list)

нужную информацию нашёл здесь:

много примеров есть здесь
 
  • Мне нравится
Реакции: lolipop404 и Student

lolipop404

Новичок
Пользователь
Апр 27, 2020
4
2
3
Спасибо! Немного посидел, понял в чем косяк моего кода. Кому интересно, надо добавить " rstrip('\n') " в блоке с открытием файла URL.append(i.rstrip('\n'))
 
  • Мне нравится
Реакции: Vlad_SD

Форум IT Специалистов