Как парсить товар на Алиэкспресс python?

Question

[Алексей Фобиус]

Нужно пропарсить страничку с товарами на алике, попробовал достать через requests.get.

Достал оттуда текст странички, зашел на сам сайт по этой же ссылке , и в коде элемента начал искать список всех товаров

все товары лежат в <ul class="list-items">, попробовал пропарсить его через суп , а именно:

soup = BeautifulSoup(r.text)

items=soup.find('ul', {'class' : 'list-items'})

print(items)

в ответ на что получил : None

в чем может быть ошибка? или может быть делаю что-то не так?

К слову пробовал еще записать весь текст полученный из requests в txt-шник, и затем самому через ctrl + f поискать этот <ul class="list-items">, но ничего так и не нашел.

Не понимаю почему так происходит

Comments

[Алан Гибизов]

А может, поможет вот это?

Answer 1

[Сергей Карбивничий]

Потому что нужно использовать Selenium. А в нем, возможно еще пройти капчу или проверку браузера.

Comments

[Алексей Фобиус]

есть какие-то документации на этот счет на питоне?

[Сергей Горностаев]

Алексей Фобиус, полный интернет, включая сам сайт селениума.

Answer 2

[Сергей Горностаев]

Добро пожаловать в Web 2.0, в котором вот уже 15 лет бó‎льшая часть контента на странице формируется фронтом.

Answer 3

[12rbah]

Если не стоит задачи написать прям свой парсер, то можно попробовать использовать https://pypi.org/project/aliexpress-page-parser/

Или можете вбить в гугл "aliexpress page parser", т.к. на все большие ресурсы есть отдельные инструменты для парсинга или api.

Answer 4

[Семён]

Советую сразу учить либу Playwright на python (есть ещё на js) от microsoft, т.к. она весьма свежая и как по мне удобнее всех прочих