Как пофиксить проблему с парсингом фотографий товара с WildBerries?

Question

[Антон Ершов]

Задача заключается в том, чтобы имея ссылку на товар в WildBerries, автоматически парсить фотографии товара и сохранять их в определенную папку. У меня же по какой-то причине загружается html код в html не страницы товара, а сраницы загрузки, и я не понимаю, как этого избежать, кто шарит, прошу помощи...

Моя попытка спарсить:

links = []
mg = []
if not os.path.exists(f'imgs/{message.chat.id}'):
    os.mkdir(f'imgs/{message.chat.id}')
url = requests.get(message.text).text
html = BS(url, 'lxml')
#print(html)
#print(url)
main_block = html.find('div', {"class":"swiper-container swiper-container-initialized swiper-container-horizontal"})
block = main_block.find('div', {"class":'swiper-wrapper'})
all_images = block.find_all('div', {"class":'swiper-slide img-plug'})
for image in all_images:
    image_link = 'https:' + image.get('data-zoom-image')
    links.append(image_link)
for i in range(len(links)):
    p = requests.get(links[i])
    out = open(f"imgs/{message.chat.id}/file_{i}.jpg", "wb")
    out.write(p.content)
    mg.append(f"imgs/{message.chat.id}/file_{i}.jpg")
    out.close()

Comments

[Александр Дио]

Все дело в том что это js-сайт. Попробуй отключи js в панели разработчика и увидишь. Поэтому нужно использовать эмулятор браузера типа selenium.

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4, 3.6