Доброго времени суток. Недавно начал изучать Пайтон. В качестве практики решил написать простой парсер выдачи Bing. Но столкнулся с проблемой.
Итак, мой код выглядит вот так:
Открываю сессию. В цикле получаю выдачу для каждого из трех ключей и с помощью xpath забираю ТОП-1 выдачи. После этого печатаю результат в консоль.
При этом получаю вот такой результат:
Результата по запросу “как сделать бумажный самолетик” нет. Остальные запросы - ОК.
Если распечатать в файл весь html код страницы, которую парсер получает по первому запросу (файл прилагается) в h1 находиться фраза “Не удалось найти ни одного результата для как сделать бумажный самолетик”.
При этом если зайти по этому адресу из браузера, все в порядке. Результаты показываются.
Вопрос: почему по одному и тому же адресу - https://www.bing.com/search?q=как+сделать+бумажный+самолетик - браузер получает один html код, а python совершенно другой?
Итак, мой код выглядит вот так:
Python:
from requests_html import HTMLSession
keywords = [
'как сделать бумажный самолетик',
'как сделать бумажный кораблик',
'как сделать бумажного журавля'
]
session = HTMLSession()
for key in keywords:
resp = session.get(f'https://www.bing.com/search?q={key}')
title = resp.html.xpath('//li[@class="b_algo"][1]//h2//text()')
print(title)Открываю сессию. В цикле получаю выдачу для каждого из трех ключей и с помощью xpath забираю ТОП-1 выдачи. После этого печатаю результат в консоль.
При этом получаю вот такой результат:
Python:
[]
['6 лучших схем бумажных корабликов - Поделки из бумаги']
['Как сложить бумажного журавлика (с иллюстрациями)']Результата по запросу “как сделать бумажный самолетик” нет. Остальные запросы - ОК.
Если распечатать в файл весь html код страницы, которую парсер получает по первому запросу (файл прилагается) в h1 находиться фраза “Не удалось найти ни одного результата для как сделать бумажный самолетик”.
При этом если зайти по этому адресу из браузера, все в порядке. Результаты показываются.
Вопрос: почему по одному и тому же адресу - https://www.bing.com/search?q=как+сделать+бумажный+самолетик - браузер получает один html код, а python совершенно другой?
