Как парсить сайт, который загружается по мере необходимости?

Question

[kolomiec_artiom]

Доброй ночи!

Я хочу спарсить с одного сайта новости. Проблема в том, что там не сразу загружается вся лента. Нужно домотать до конца и только тогда она загрузится. Как можно решить эту проблему?

К примеру:
Новость 1
Новость 2
Новость 3
Как только я их посмотрел - загружаются Новость 4 и Новость 5 и т.д

Ссылка на сайт остается неизменной

Answer 1

[coderisimo]

Нужно открыть dev tools , и посмотреть какой ajax запрос шлется для получения новостей. Вот этот запрос и нужно отправлять.

и не надо спешить использовать тяжеловесов типа selenium ! :)

Answer 2

[xmoonlight]

Находите последний в списке элемент (ноду): element и скролите к нему или чуть ниже (прибавив дополнительно к 'top' константу).

function scrollIt(element) {
  window.scrollTo({
    'behavior': 'smooth',
    'left': 0,
    'top': element.offsetTop
  });
}

(в любом случае - обработка на JS)