Как правильно отпарсить сайт?

Question

[Marty1337]

Парсю сайт, но когда открываю отпарсиный код в хроме получается вот такая картина

from bs4 import BeautifulSoup
import requests


def main():
    url = 'https://www.wildberries.ru/'
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
    }

    r = requests.get(url, headers=headers)
    src = r.text
    #src = src.encode('charmap')
    #print(src)
    with open('index.html', 'w', encoding='charmap') as file:
        file.write(src)



if __name__ == "__main__":
    main()

Comments

[Влад Григорьев]

потому что все такие сайты подгружают инфу динамически, выполняя запросы отдельно.
Надо смотреть что запрашивает сайт и эмулировать поведение

Answer 1

[kanyshev]

selenium здесь поможет, который является по сути оболочкой для управления браузером, позволяя обрабатывать запросы в JavaScript не копаясь глубоко в коде сайта, его апи