• Почему не парсится Wildberries beautifulsoup4?

    @rPman
    потому что содержимое формируется в браузере на javascript
    открой браузер, нажми f12, закладка networks и походи по сайту, изучай запросы (там можно делать поиск по содержимому, можно сохранить дамп в .har json дамп), возможно сумеешь отреверсить их логику, но учти, компания борется с этим процессом и просто не будет

    многие плюют на это и используют реальный браузер и любой механизм его автоматизации, например selenium или инжект своих скриптов в страницы каким-нибудь плагином типа tempermonkey и симуляция действий пользователя
    Ответ написан
    Комментировать
  • Почему не парсится Wildberries beautifulsoup4?

    @dima20155
    you don't choose c++. It chooses you
    Контент этого сайта не статический и изменяется посредством исполнения скриптов, соответственно, тебе нужно получить веб страницу, на которой эти скрипты уже отработали (bs4 в твоем случае скачивает html страницу до того как скрипты отработали).
    Можно использовать Selenium , Pyppeteer , Playwright и Web Scraping API
    Возможно, есть другие способы.
    Ответ написан
    Комментировать