Почему зависает прокрутка в div блоке?

Question

[Nek1o]

Я с помощью Selenium пытаюсь прокрутить div блок с подписчиками сообщества в Instagram до самого конца (там более 4 тысяч записей), но на 2432 человеке прокрутка зависает, начинается бесконечная загрузка следующей пачки пользователей. Пробовал через Chrome и Firefox, пробовал устанавливать разные версии webdriver, но не помогло. Пишу на Python.

Прокрутка происходит с помощью двух этих строчек в цикле:
scr1 = browser.find_element_by_xpath('html/body/div/div[@role="dialog"]/div[2]')
browser.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scr1)

Также я пробовал, чтобы div не засорялся слишком большим объемом пользователей, удалять верхние записи (li теги) и прокручивать дальше, но не помогало. Стоит сказать, что прокрутка иногда зависает и раньше, но обычно именно на 2432 пользователе. Дальше точно не получается прогружать.
Я думаю, дело не в Selenium, поскольку я пробовал прокрутить этот этап, на котором происходит зависание, вручную, но оно так же зависло.

Быть может, это ограничение Instagram?

Comments

[AWEme]

Открой инспектор да посмотри, что отвечает инстаграм. Скорее всего 404 код и просьба не притворяться человеком, кому оно надо то, крутить 4к подписчиков.

Answer 1

[Ivan Yakushenko]

Status Code: 429

Answer 2

[Михаил]

Я тоже пытался сделать такую реализацию, даже с помощью JS делал прокрутку до конца, ждал появления и.т.д Но это плохая реализация, к тому же можно вообще закрашить браузер)