Как достать данные, если div пустой, а на сайте в этом divе отображаются данные?

Question

[Тая]

Eсть сайт
Пытаюсь достать оттуда данные, из , там лежат название, телефон и тд, но когда нажимаю посмотреть код страницы, то в этом div-e ничего нет.
Следовательно спарсить ничего не могу.
Есть только большой script вида

({"cities":{"74858":{"name":"\u0420\u043e\u0441\u0441\u0438\u044f","code":"rossiya","id":"74858","title":"\u041c\u0430\u0433\u0430\u0437\u0438\u043d\u044b LIME \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 | \u041a\u0430\u0440\u0442\u0430","description":"LIME \u2014 \u043c\u0430\u0440\u043a\u0430 \u0431\u0440\u0435\u043d\u0434\u043e\u0432\u043e\u0439 \u0436\u0435\u043d\u0441\u043a\u043e\u0439 \u043e\u0434\u0435\u0436\u0434\u044b \u0438 \u0430\u043a\u0441\u0435\u0441\u0441\u0443\u0430\u0440\u043e\u0432. \u041c\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043c\u043e\u0434\u043d\u044b\u0435 \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u0438 \u043f\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e\u0439 \u0446\u0435\u043d\u0435. \u041d\u0430\u0439\u0442\u0438 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u043c\u0430\u0433\u0430\u0437\u0438\u043d \u043d\u0430\u0448\u0435\u0439 \u0441\u0435\u0442\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430 \u043a\u0430\u0440\u0442\u0435, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0432 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435.","keywords":"\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b lime \u0440\u043e\u0441\u0441\u0438\u044f \u043a\u0430\u0440\u0442\u0430"

Получается, как получить данные ? Надо как-то из-под тега script регулярками доставать значения \u043e\u0441\u0441\u0438\u044f, а потом их переводить в читаемый вид ?

Comments

[Aleksandr]

Там не пусто

<div class="shops__place"><h2>ТРК «БУМ»</h2><div class="caption">ул. Перерва, 43 корпус 1<br>Телефон: <a href="tel:[phone]">8 [phone]</a><br><a href="http://bum-center.ru" target="_blank">bum-center.ru</a></div></div>

[Тая]

Aleksandr, а где вы это нашли ? чтото я не смогла

[Тая]

Aleksandr, вы видно через инспектор это взяли. а если парсить, то будет пусто.
в этом теге, если зайти через ctrl+u(o). то там пусто

[Aleksandr]

Тая, перешел по ссылке, ПКМ по любом названии магазина "Посмотреть код" и все открывается

[Тая]

Aleksandr,
вот так видно, а если так: через view-source:

Answer 1

[dodo512]

import requests
import json
import re

r = requests.get("https://lime-shop.ru/shops/moskva/")
a = json.loads(re.search("_shops\.init\((.*?)\);", r.text).group(1))

for shop in a['shops']:
    print(shop['caption'])

Answer 2

[Владимир Куц]

Навскидку:

import os
from selenium import webdriver

DRIVER_PATH = os.path.join('c:\\', 'utils', 'chromedriver.exe')

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('start-maximized')
options.add_argument('window-size=2048x5000')

browser = webdriver.Chrome(executable_path=DRIVER_PATH, options=options)

browser.get('https://lime-shop.ru/shops/moskva/')
browser.implicitly_wait(10)

for el in browser.find_elements_by_xpath("//div[@class='shops__place']"):
    print(el.text)
    print('-' * 30)

Answer 3

[hzzzzl]

не знаю про питон, яваскрипт сам переводит символы юникода типа \u0420\u043e\u0441\u0441\u0438\u044f в текст



в общем, если надо это только один раз сделать, то вот в консоли объект
https://codepen.io/anon/pen/vwzzmQ?editors=1010