Не могу вытащить информацию с тега script,что делать?

Question

[Владимир Владимирович]

Всем привет!
Хочу извлечь линки всех изображений с ссылки, но у меня возникла проблема с извлечением информации с тега script
Код вот:

import requests
import json
from bs4 import BeautifulSoup as BS
import re

# Ссылка на полную страницу
url = 'https://www.instagram.com/p/B5n2EXjF_1C/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}


r = requests.get(url, headers=headers, allow_redirects=True)

soup = BS(r.content, 'html.parser')
script = soup.find('script', attrs={'type':"text/javascript"}, text=re.compile('window._sharedData'))
data = json.loads(script.next)
image_url = data['display_url']

print(image_url)

Код ошибки тоже есть:
Traceback (most recent call last):
File "C:/Users/Desktop/test/venv/Test.py", line 19, in
data = json.loads(script.next)
File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads
return _default_decoder.decode(s)
File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Users\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
Не сильно умею работать с типами js, но если есть у кого-то желание и время помочь,буду вам очень признателен!

Comments

[Stanislav Pugachev]

наша любимая рубрика
"прочитайте за меня трейсбек"

[Владимир Владимирович]

Stanislav Pugachev, не поверите,но я уже искал решения такой ошибки в гугле,но ничего не нашел
Разве такие сайты созданы не для того чтобы помочь в данной ситуации?

[Stanislav Pugachev]

Владимир Владимирович
я не понимаю, а какую помощь вы ожидаете? поставьте себя на мое место
вот я смотрю на ваш трейсбек
очевидно что программа вылетает здесь
data = json.loads(script.next)
очевидно что функция json.loads() ожидает на вход валидный JSON
если вылетает - значит мы даем не JSON, логично?
может стоит распечатать значение переменной script.next и посмотреть, что именно мы передаем?

Answer 1

[Stalker_RED]

Вы пытаетесь его распарсить как JSON, но там не JSON. Там javascript.

Comments

[Владимир Владимирович]

А как парсить такой тип?

[Stalker_RED]

Владимир Владимирович, ANTLR или просто регулярками. Я не совсем понимаю что вы делаете, и зачем.

[Владимир Владимирович]

Stalker_RED, хочу спарсить все линки изображений что есть в одном посте в инстаграмме. НАпример, когда человек выкладывает пост, где есть 2 лии 3 фотографии,я хочу спарсить все линки этих изображений,чтобы в будущем сделать телеграм бота который по ссылке с инстаграма сможет отправлять все фотографии