@andreychumak
junior

Как поставить задержку во время парсинга?

Нужно вытащить данные из таблицы.
Но проблема в том, что таблица строится из soap-запроса и уже после того как страница загрузилась.
Т.е. грубо говоря, вся страница построилась и потом приходится ждать еще пару секунд, чтобы нужная мне таблица появилась.

url = "my_url" 
html = open(url) # запрос на удаленный сервер
# Вот в этом месте, как я понял, страница открывается но без нужной мне таблицы. метод sleep() не помогает.
doc = Nokogiri::HTML(html) # получаю код
doc.css('td[data-href]') # нужные мне данные из тадлицы


Помогите, в какую строну копать?
  • Вопрос задан
  • 313 просмотров
Пригласить эксперта
Ответы на вопрос 2
oh_shi
@oh_shi
Никак. Вы сделали запрос, получили ответ, распарсили. У вас видимо проблема, с тем что на странице еще есть js, который дополнительно что-то подгружает через ajax. Тут либо вытащить этот ajax запрос и парсить данные из него, либо использовать что-нибудь в духе Capybara + PhantomJS, чтоб имитировать поведение браузера.
Ответ написан
b0nn1e
@b0nn1e
Alcohol & Ruby on Rails
В сторону того как работает сайт, который вы парсите.
Смотрите куда идет запрос за данными из таблицы, и сразу оттуда забирайте.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы