Чем в Python3 делать снимок ajax версии сайта?

Question

[Mikhail]

Что-бы в определённой папке лежал html-снимок ajax версии сайта?

Тут вроде пример Ruby:
habrahabr.ru/company/roundlake/blog/140291

Answer 1

[egorsmkv]

Для статической ajax-страницы Selenium + PhantomJS. Для динамической: selenium-python.readthedocs.org/en/latest/waits.ht...

Comments

[Mikhail]

Когда статическую делать, а когда динамическую?

[Mikhail]

И что на сервере тогда нужно устанавливать firefox?

[sim3x]

Mikhail: или хромиум

[egorsmkv]

Mikhail: Грубо говоря, PhantomJS, это браузер без интерфейса, поэтому его нужно устанавливать как и Firefox. Насчет использования: динамика, когда данные на странице подгружаются (при скроллинге), например, стена ВК, а статика, когда предыдущего - нет.

Почитайте про Selenium, в интернете много информации о нём.

[egorsmkv]

sim3x: Mikhail: PhantomJS работает быстрее, так как ему не требуется поднимать GUI. Хотя Firefox/Chromium удобно использовать, когда идет отладка скрипта и вы видите, что и как кликается на странице.

[Mikhail]

egorsmkv: что то вбиваю:
[тут урл]#blog/Backbone-js-pridaet-structuru
Получаю пустую страницу

JS не отренерился или что? Я сделал так:

from selenium import webdriver
import os

def take_screenshot(driver, name, save_location):
# Make sure the path exists.
path = os.path.abspath(save_location)
if not os.path.exists(path):
os.makedirs(path)
full_path = '%s/%s' % (path, name)
driver.get_screenshot_as_file(full_path)
return full_path

driver = webdriver.PhantomJS(executable_path='/home/mikhail/node_modules/phantomjs/lib/phantom/bin/phantomjs')
driver.get('127.0.0.1:5000/#blog/Backbone-js-pridaet-structuru')
take_screenshot(driver, 'google.png', '/mnt/webserver/pythonproject/testproject')
driver.quit()

[Mikhail]

ААА нужно сказать ему подождать? А откуда узнать время когда отработает скрипт?

[egorsmkv]

Mikhail: я ссылку в ответе давал на динамику. https://gist.github.com/anonymous/63728520f246de98980b Но, похоже, что у PhantomJS есть проблемы с динамической загрузкой, используйте Firefox, вместо него.

[Mikhail]

Да просто тут клик по тэгу везде в примерах рассматривается. А я хочу по хештегу получить даные. Во вторых сперва хочу получить картинку, а потому уже html. Изгуглил всё но ничего понял:

сделал так:
...
driver.implicitly_wait(10)
driver.get_screenshot_as_file(full_path)
...

И так:

...
wait = WebDriverWait(driver, 40)
wait.until(driver.get_screenshot_as_file(full_path))
...

Что то ничего не проходит...

[egorsmkv]

Mikhail: используйте implicitly_wait и Firefox. У PhantomJS, скорее всего, с динамической загрузкой страниц проблемы или её должным образом не реализовали.

[Mikhail]

egorsmkv: А есть возможность его использовать без GUI? Там где это мне нужно нет возможности может поднимать GUI ведь обычная VDS причём дешёвая...

[egorsmkv]

Mikhail: Firefox у меня на сервере тянул 120-150 MB. Это мало, если вызывать его не очень часто.

[Mikhail]

egorsmkv: Решил через time.sleep(5)