Как получить результат из тега script?

Question

[Владимир Владимирович]

Всем привет!
Хотел спарсить ссылку из видео .
Ссылка находится в script, поискав в интернете что ее оттуда можно вытащить с помощью библиотеки json, и метода .loads() соотвественно.
Но почему то возникает ошибка:
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
Если кто-то сталкивался с такой проблемой,окажите помощь,если у вас есть свободное время,и желание.
Код прилагаю:

import requests
import json
from bs4 import BeautifulSoup

url = 'https://www.tiktok.com/@golden_men_6/video/6803237854542712070'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}


r = requests.get(url, headers=headers)

soup = BeautifulSoup(r.content, 'html.parser')
script = soup.find('script', attrs={'id': 'videoObject'})

data = json.loads(script.text)
video_url = data['contentUrl']
print(video_url)

P.S. извините если вопрос глупый,или тут банальная ошибка,в гугле провел уже много времени,но решения так и не нашел

Comments

[Владимир Владимирович]

Пашенька, заменил,но проблема осталась такая же.
и в правду не умею,я думал что это решение зависит от bs4 и парсинга в целом

Answer 1

[origami1024]

Код ОПа полностью рабочий если изменить одну букву

import requests
import json
from bs4 import BeautifulSoup

url = 'https://www.tiktok.com/@golden_men_6/video/6803237854542712070'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}


r = requests.get(url, headers=headers)

soup = BeautifulSoup(r.content, 'html.parser')
script = soup.find('script', attrs={'id': 'videoObject'})

data = json.loads(script.next)
video_url = data['contentUrl']
print(video_url)

spoiler

script.next вместо script.text

Comments

[Владимир Владимирович]

видели бы вы выражение моего лица в этот момент...
сколько времени,и все почему.....
Спасибо огромное Вам!

Answer 2

[dadasay]

import requests
import json
from bs4 import BeautifulSoup

url = 'https://www.tiktok.com/@golden_men_6/video/6803237...'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}

r = requests.get(url, headers=headers)

soup = BeautifulSoup(r.text, 'html.parser')
script = soup.find('script', attrs={'id': 'videoObject'})

data = json.loads(str(script.contents[0]))
video_url = data['contentUrl']
print(video_url)

Comments

[dadasay]

Pycharm прекрасное IDE, можно даже не знать методы и атрибуты экземпляра класса и в дебагере узнать что за что отвечает (ну лучше все таки доки почитать ;D ).

[Владимир Владимирович]

спасибо вам огромное!
если у вас есть минутка времени,можете обьяснить в чем была проблема?

[origami1024]

У меня это решение не работает, ошибка:

Traceback (most recent call last):
File "D:/Programs/Python/Python38/projs/bs4try1.py", line 14, in
data = json.loads(str(script.contents[0]))
AttributeError: 'NoneType' object has no attribute 'contents'

[Владимир Владимирович]

origami1024, обратите внимание на ссылку

[origami1024]

DemchukAgry, на какую еще ссылку?

[dadasay]

DemchukAgry, вообще .text атрибут возвращал текст между тегами, но в этом случае он вернул пустую строку

[dadasay]

origami1024, он у тебя не нашел тег script

[Владимир Владимирович]

origami1024, ссылку на видео,которое вы копируете из данного решения,она не полная

[origami1024]

DemchukAgry, dadasay, а точно, дело в копировании, решение работает