Как правильно запарсить данные из bs4 ResultSet?

Question

[Jay Marlow]

Доброго времени суток.

Используя следующую строку я получаю ResultSet:

abc = soup.findAll('script', text = re.compile('Data'))

Сам получаемый ResultSet:

[<script type="text/javascript">
data = {"url":"haha.com", "id":"12345", "name":"haha",};
... function() {abc.devg....})'
...

Из всего этого цель извлечь параметры в data, а именно допустим значения url и id.
Как это сделать идей нет. Пробовал различные варианты парсинга с помощью супа и то что приведено выше - самый близкий к нужному вариант.

Буду благодарен за любые советы.

Answer 1

[Юрий]

Опробовать на 100% не успел, разрядился ноут. Дописываю с телефона.

import re
import json
from ast import literal_eval

pattern = re.compile(r'data[= ]+(?P<dict>.*);')
raw = pattern.search(s).groupdict()

# if валидый JSON
j = json.loads(raw['dict'])
print(j['id'], j['url'])
# запасной вариант
# elif похоже на валидный python-dict
d = literal_eval(raw['dict'])
print(d['id'], d['url'])

upd: ответ дополнен

Comments

[JRazor]

Только не eval, а json.loads.

[Юрий]

Лучше конечно json.loads(), но в данном конкретном случае, он при валидации матерится на последнюю запятую перед закрывающей фигурной скобкой. eval() пережевывает как словарь.
{"url":"haha.com", "id":"12345", "name":"haha",}
Погрузился в документацию и нашел ast.literal_eval который как раз подходит для таких ситуаций где из строки надо сделать python-объект.

Answer 2

[Dimonchik]

суп - лажа
юзай lxml

и конкретизируй задачи - поиск подстрок или что?

Comments

[Jay Marlow]

Задача проста - вытащить значения url и id из data любым способом. Вот попробовал классическим bs4. Не вышло. В resultset приведен кусок html кода в котором хранится нужная data.

[Berloga]

Jay Marlow: Дело в том, что это уже не HTML, а его содержимое. Для содержимого используйте, к примеру, регулярки.