Как правильно парсить?

Question

[itsLegend]

Пытаюсь по этой ссылке: tiktok.com/?lang=ru-RU
Парсить ссылки на видео, пытаюсь сделать это таким кодом

post = requests.get('https://www.tiktok.com/?lang=ru-RU', headers=head)

        soup = BeautifulSoup(post.content, "html.parser")
        for link in soup.findAll('a'):
            print(link.get('href'))

Но я получаю лишь начальные ссылки, а сами ссылки из

Comments

[Влад Григорьев]

как как учить основы, и понимать что делаешь. или идти на фриланс

Answer 1

[Yupiter7575]

сначала нужно отправить запрос и получить коды страницы. Если ты используешь библиотеку requests то:
r = requests.get(url)
ты отправил запрос. теперь чтобы получить html разметку нужно написать r.text. Далее с html нужно работать, создаешь обьект soup и дальше ищешь что тебе в нем надо. В итоге получается как то так:

soup = BeautifulSoup(get(url).text, features='lxml') #сразу отправляем запрос и создаем суп
#пиши features='lxml' если не хочешь чтобы модуль ругался. Для этого должна быть установлена библиотека lxml
div = soup.find_all(attrs={'class':'wrapper'})[0] #ищем блок с классом wrapper и берез 0 по индексу
p = div.find('p') #ищем первый параграф
print(p.text) #выводим текст этого параграфа

а вообще почитай документацию здесь