Здравствуйте.
Python3.6+Selenium (Firefox headless)
В ручном режиме: открываю страницу с результатами поиска по хэштэгу, листаю до конца вниз, как только загруженные посты заканчиваются, то страница автоматически подгружает в конце новые посты, следовательно количество постов на одной странице становится больше, если ещё раз до конца проскролить, то ещё подгрузятся и т. д.
Ту же логику реализовал на Python+selenium.
Вот с какой проблемой столкнулся: если заставить подгрузить страницу новые посты несколько раз, что бы например, на одной странице было 100 постов и заглянуть в исходный код, то будут видны в среднем 70 постов, как-будто последних 30 постов в исходном коде нет. Особенность в том, что можно прокрутить страницу вниз сколь угодно долго, но в исходном коде прокрученной страницы, будут видны только первые 70 постов. Такая ситуация, как в ручном режиме, так и в автоматическом. Как решить такую проблему?
