Как обойти верификацию при парсинге Алиэкпресс?

Question

[lolipop444]

Приветствую, необходимо спарсить товары с алиэкпресса, но при переходе парсера на страницу алиэкпресс тот требует пройти верификацию и в итоге парсер выдает пустой список:

Success!
https://aliexpress.ru/af/category/202000054.html?trafficChannel=af&catName=cellphones-telecommunications&CatId=202000054&ltype=affiliate&SortType=total_tranpro_desc&groupsort=1&isrefine=y&page=1
[]

Сам код:

import requests
from bs4 import BeautifulSoup
import csv

URL = 'https://aliexpress.ru/af/category/202000054.html?trafficChannel=af&catName=cellphones-telecommunications&CatId=202000054&ltype=affiliate&SortType=total_tranpro_desc&groupsort=1&isrefine=y&page=1'
HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36', 'accept': '*/*'}

def get_html(url, params=None):
    r = requests.get(url, headers=HEADERS, params=params)
    return r


def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('li', class_='list-item')
    ali = []
    for item in items:
        ali.append({
            'Test': item.find('a', class_='item-title').get_text(strip=True),
        })
    print(ali)



def parse():
    html = get_html(URL)
    if html.status_code == 200:
        print("Success!")
        print(URL)
        get_content(html.text)
    else:
        print(":(")
parse()

Как это дело обойти? Спасибо

Answer 1

[soremix]

А где класс то

Comments

[lolipop444]

[Сергей Миронов]

lolipop444, привет, как нибудь решил проблему?