вопросу по парсингу

Slava-vlasenko

Новичок
Пользователь
Май 27, 2022
12
1
3
Доброго всем времени суток, и интересных проектов! Решил попробовать парсить и в качестве первого проекта решил запарсить скидки из магнита, но, не могу заставить скрипт выбрать город не Москву (ссылка от города не зависит, в гет запросах тоже не нашел указания города, только в HTML но заставлять скрипт менять HTML это же ввроде не то, да и врятли поможет) подскажите плз
 

Vershitel_sudeb

Vershitel sudeb
Команда форума
Модератор
Мар 17, 2021
971
219
43
20
Москва
Открываешь сайт магнита, потом инструменты разработчика (ctrl + shift + i), вкладка сеть, ставишь галочку "сохранять журнал", выбираешь в магните другой город, появляется похожая запись
1654866361563.png
этот номер тебе и нужен, это id твоего города, он хранится в куках, куда его и надо запихнуть

Пример кода:
Python:
import requests as req
from bs4 import BeautifulSoup as bs

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.51 Safari/537.36'
}
ses = req.Session()
ses.headers = headers
url = "https://magnit.ru/journals/"

# Получаем страницу
data = bs(ses.get(url).text, 'lxml')
# Печатаем доступные каталоги
print(len(data.select('.magazine-card__content')))
# Меняем город
ses.cookies.set('mg_geo_id', '12852')
# Снова получаем страницу
data = bs(ses.get(url).text, 'lxml')
# Печатаем доступные каталоги
print(len(data.select('.magazine-card__content')))
 

Slava-vlasenko

Новичок
Пользователь
Май 27, 2022
12
1
3
Спасибо
 
  • Мне нравится
Реакции: Vershitel_sudeb

Форум IT Специалистов