oh_shi

Никак. Вы сделали запрос, получили ответ, распарсили. У вас видимо проблема, с тем что на странице еще есть js, который дополнительно что-то подгружает через ajax. Тут либо вытащить этот ajax запрос и парсить данные из него, либо использовать что-нибудь в духе Capybara + PhantomJS, чтоб имитировать поведение браузера.

Обратите внимание на библиотеки, которые используются в тестировании для имитации действий пользователя, что и требуется от бота. Capybara + PhantomJS, и если результат нужно распарсить то Nokogiri. Я написал больше сотни краулеров на этом стеке.

group :production do
  gem 'bar', git: 'https://github.com/foo/bar', branch: 'master'
end

group :staging do
  gem 'bar', git: 'https://github.com/foo/bar', branch: 'staging'
end

https://support.upwork.com/hc/en-us/articles/21106...