Как заставить Selenium грузить русский Aliexpress?

Question

[MihaSerg]

Python 3.8
Необходимо спарсить с Aliexpress страницу со списком товаров. Страница с бесконечной прокруткой, поэтому BeautifulSoup, если я правильно понимаю не подойдет. Использую Selenium, но он загружает страницу с описанием товарами на английском языке и ценами в долларах, да и список товаров не тот, что на Али на русском. При этом интерфейс на русском.
Как заставить Selenium, загружать список товаров с русским описанием в рублях?

....
URL = 'https://flashdeals.aliexpress.com/ru.htm'
browser = webdriver.Chrome()
browser.get(URL)
html = browser.page_source
print(html)
....

Answer 1

[soremix]

Регион, область, город определяется в куке "aep_usuc_f"

driver.get('https://flashdeals.aliexpress.com/ru.htm')
cookie = {'name': 'aep_usuc_f', 'value': 'isfm=y&site=rus&c_tp=RUB&isb=y&region=RU&b_locale=ru_RU', 'domain': '.aliexpress.com'}
driver.add_cookie(cookie)
driver.get('https://flashdeals.aliexpress.com/ru.htm')

ps: с помощью requests и BS4 все таки сделать можно, нужно просто посмотреть, откуда загружаются новые товары. F12 -> Network, проскролить вниз, чтобы товары прогрузились и посмотреть какой браузер отправил запрос. Там уже остается разобраться как он построен, делать свои и слать их, получая информацию

Comments

[MihaSerg]

Понятно, спасибо. А как формируется список товаров на странице, он тоже от куки зависит?

[soremix]

MihaSerg, куки могут влиять, но уже другие. Там обычно выше поднимаются рекомендуемые товары, если пользователь интересовался похожим

[MihaSerg]

SoreMix, Решение с selenium в целом понятно, но решил, что сам selenium это все же костыль. Я пока на бесплатном хостинге, а там ограничения. Ставлю Scrapy, если он пойдет там. Но тут ошибка

ERROR: Command errored out with exit status 1: 'F:\Python38\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"'; __file__='"'"'C:\\Users\\ccc\\AppData\\Local\\Temp\\pip-install-ngotb8u1\\Twisted\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\ccc\AppData\Local\Temp\pip-record-rgt32hb0\install-record.txt' --single-version-externally-managed --user --prefix= --compile --install-headers 'C:\Users\ccc\AppData\Roaming\Python\Python38\Include\Twisted' Check the logs for full command output.

Что это значит и как это исправить? И где посмотреть логи?

[soremix]

MihaSerg, не работаю со scrapy

Answer 2

[Robur]

куча людей мучаются с тем как заставит алиэкспресс выдавать товары на английском и в баксах.
Поэтому предположение такое - попробуйте залогиниться сначала в аккаунт у которого страна россия.