Selenium + Aliexpress

[alexkorn]

Python 3.8
Необходимо спарсить с Aliexpress страницу со списком товаров. Страница с бесконечной прокруткой, поэтому BeautifulSoup, если я правильно понимаю не подойдет. Использую Selenium, но он загружает страницу с описанием товарами на английском языке и ценами в долларах, да и список товаров не тот, что на Али на русском. При этом интерфейс на русском.
Как заставить Selenium, загружать список товаров с русским описанием в рублях?

....
URL = 'https://flashdeals.aliexpress.com/ru.htm'
browser = webdriver.Chrome()
browser.get(URL)
html = browser.page_source
print(html)
....

 

[woshibide]

проще простого

1. прикажи селениуму кликнуть в правом верхнем углу на бокс "Доставка в .... / USD"
2. потом кликнуть на dropdown menu с валютой
3. там ему прикажи ВЫБРАТЬ нужную валюту
4. кликнуть на сохранить
страница загрузится как тебе надо

а еще, с бесконечной прокруткой не только selenium справляется, можно через requests
@ открываешь страницу
@ правой кнопкой клик, inspect element
@ там выбираешь network
@ clear - стираешь все записи
@ прокручиваешь страницу
@ увидишь что после того как ты крутанул в конец страницы - отправился запрос на сервер. это тригер загрузки нового контента

подробнее про этот метод у вот этого индуса в серии видосов 'hidden api'

 

[alexkorn]

проще простого

1. прикажи селениуму кликнуть в правом верхнем углу на бокс "Доставка в .... / USD"
2. потом кликнуть на dropdown menu с валютой
3. там ему прикажи ВЫБРАТЬ нужную валюту
4. кликнуть на сохранить
страница загрузится как тебе надо

а еще, с бесконечной прокруткой не только selenium справляется, можно через requests
@ открываешь страницу
@ правой кнопкой клик, inspect element
@ там выбираешь network
@ clear - стираешь все записи
@ прокручиваешь страницу
@ увидишь что после того как ты крутанул в конец страницы - отправился запрос на сервер. это тригер загрузки нового контента

подробнее про этот метод у вот этого индуса в серии видосов 'hidden api'

С selenium вроде разобрался, подсказали подменить cooki от Али. Но решил что он сам все таки костыль, а копаться в коде нет желания, да и мало чего я там понимаю. Решил попробовать Scarpy для получения кода страницы. Вот только при установке выдается ошибка, не сразу но выдается:

ERROR: Command errored out with exit status 1: 'F:\Python38\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"'; __file__='"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\ccc\AppData\Local\Temp\pip-record-rgt32hb0\install-record.txt' --single-version-externally-managed --user --prefix= --compile --install-headers 'C:\Users\ccc\AppData\Roaming\Python\Python38\Include\Twisted' Check the logs for full command output.

Что это значит и как это исправить?

 

[woshibide]

С selenium вроде разобрался, подсказали подменить cooki от Али. Но решил что он сам все таки костыль, а копаться в коде нет желания, да и мало чего я там понимаю. Решил попробовать Scarpy для получения кода страницы. Вот только при установке выдается ошибка, не сразу но выдается:

ERROR: Command errored out with exit status 1: 'F:\Python38\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"'; __file__='"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\ccc\AppData\Local\Temp\pip-record-rgt32hb0\install-record.txt' --single-version-externally-managed --user --prefix= --compile --install-headers 'C:\Users\ccc\AppData\Roaming\Python\Python38\Include\Twisted' Check the logs for full command output.

Что это значит и как это исправить?

С этим тебе уже не помогу, сам только знакомлюсь с питоном
Но я попробовал провернуть операцию ранее предоженную мною и все вышло, после нескольких кликов через селениум все высветилось с рублями

 

[alexkorn]

С этим тебе уже не помогу, сам только знакомлюсь с питоном
Но я попробовал провернуть операцию ранее предоженную мною и все вышло, после нескольких кликов через селениум все высветилось с рублями

Тоже только изучаю. С селениумом решил вопрос подменой куки файлов алиэкспресса. Проблема в том, что на работу селениума есть ограничения на бесплатном хостинге.