Как парсить AJAX страницу на Ruby?

Question

[raury]

Использую библиотеку curb для скачивания страницы и nokogiri для парсинга. Контент обновляется кнопкой “load more”, поэтому у меня появилась идея парсить текущий url, нажимать на кнопку, парсить новый url и тд пока кнопка не исчезнет. Проблема в том что используемые библиотеки нажимать не умеют, поэтому подскажите пожалуйста инструмент ну или может отличный от моего подход к решению. Спасибо.

Comments

[Never Ever]

Что мешает парсить, до тех пор пока запрос не вернет ничего?Все же урл подчиняется какой-то логики.

[raury]

Never Ever,
скрипт выглядит так:
url = “http://...” -ссылку вставляю руками
http = Curl.get(url)
...
И если я это зациклю, то парсится будет одна и таже страница. Обьясните пожалуйста поподробнее, что вы имеете ввиду.

[Never Ever]

raury, Ну смотри, когда мы нажимаем на эту кнопку то скорее всего идет GET запрос, который стучится на сервак, открой инстременты браузера и должен увидеть типо этого
https://...../page...=1 https://...../page...=2 , https://...../page...=3 и тд. Ну это в лучшем случае будет, если там не будут каких-то приколов. Твоя задача просто генерировать правильный урл.

[raury]

Never Ever, омг точно, спасибо

Answer 1

[oh_shi]

Чтобы нажимать кнопки нужен браузер, можете попробовать Capybara + PhantomJS. Либо смотрите какие запросы делает AJAX по кнопке и повторяйте до пустого ответа.

Comments

[raury]

Спасибо