Как получить текст элемента при помощи selenium в python?

Question

[BelBES]

Всем привет,

Пишу парсер для выдачи google на python при помощи selenium.
Мне нужно распарсить JSON вот такого элемента:

{"cl":12,"cr":3,"id":"JAoZEfikv3d7yM:","isu":"moistimidtran.blogspot.com","ity":"jpg","oh":334,"ou":"farm4.static.flickr.com/3239/2594001090_b5b9fb0ef6.jpg","ow":500,"pt":"moistimidtran: people walking down the street","rid":"Hu_70STTJA3k4M","ru":"moistimidtran.blogspot.com/2010/11/people-walking-...","s":"people walking down the street","th":183,"tu":"https://encrypted-tbn1.gstatic.com/images?q\u003dt...","tw":275}

Все такие элементы я выбираю при помощи:
e = browser.find_elements_by_class_name('rg_meta')

Потом бегу по списку всех найденых и вывожу текст:

for img in imgs:
    print img.text

но выводятся только пустые строки.
Пробовал добавлять .encode('utf-8') после text, но это не помогло.
Может кто-то сталкивался с такой проблемой и знает как её побороть? Заранее спасибо

Comments

[Evgeniy _]

Кода больше предоставьте. И не в таком обрывчатом виде, как сейчас.

Что вам нужно из этого словаря доставать?

[BelBES]

Evgeniy _: Пардон, парсер проглотил теги, вообще HTML-ка это просто исходник выдачи images.google.com (например как эта https://goo.gl/knrjOl ). ссылки на картинкив оригинальном разрешении там лежат в JSON, который можно вытянуть из элементов класса rg_meta, что и указано выше. Но selenium отдает text элемента в виде пустой(?) строки. Если сделать type(img.text), то питон говорит, что строчка в юникоде.

Answer 1

[Evgeniy _]

import ast
from selenium import webdriver

wd = webdriver.Firefox()
wd.get('https://goo.gl/knrjOl')
all_pics = wd.find_elements_by_xpath("//div[@class='rg_meta']")
try:
    for pic in all_pics:
        a = ast.literal_eval(wd.execute_script("return arguments[0].innerHTML", pic))
        if "ou" in a.keys():
            print a["ou"]
finally:
    wd.close()
    wd.quit()

Comments

[BelBES]

Большое спасибо!

Answer 2

[mipan]

Не знаю какой в python api. В java это выглядит так:
WebElement.getAttribute("textContent");

upd:
вот тут посмотрите - yizeng.me/2014/04/08/get-text-from-hidden-elements...