Как корректно парсить страницу с подгрузкой JS?

Question

[hacker_programer]

Всем здравствуйте. Написал скрипт на Python, который парсит Яндекс месенджер (парсит популярные каналы: )
А именно:
1. Название канала
2. Описание канала
3. Ссылка на канал
4. Количество подписчиков
5. Дата последней публикации
6. Количество публикаций
7. Суммарное количество просмотров
8. Суммарное количество реакций
Эти даные он засовывает в гугл таблицу (скриншот прикрепил)
Подскажите пожалуйста, возникает проблема в скорости.
Она слишком быстрая, количество публикаций, суммарное количество просмотров и суммарное количество реакций просто не успевают где-то обнулиться (пока прокручивается вверх) и выводят слишком большие числа (хотя там на много меньше).
А иногда не успевает загрузиться js и выводится 0 подписчиков (хотя там не 0).
Сам скрипт я прикрепил, комментариями в коде попытался всё максимально подробно описать.
Скажите пожалуйста, что лучше всего сделать?
Где-то time.sleep(3) написать (но тогда программа будет парсить очень долго)
или быть может нужно где-то дождаться загрузки js?
P.S. так как длина вопроса не может быть боле 10к, убрал ту часть, где добавляются данные в таблицу. Сейчас они просто выведутся в PyCharm

Код:

Так как на хабре нельзя прикладывать файл блокнота и публиковать вопросы длиною больше 10к, 
то полный код можно скопировать здесь:

https://ru.stackoverflow.com/questions/1138040/%d0...

Вывод в таблице:

Comments

[Андрей Антропов]

Можешь использовать таймер вместо time.sleep

[hacker_programer]

Sancei Laks, спасибо за ответ. А что это меняет?

[Андрей Антропов]

hacker_programer, программа не будет виснуть. Таймер запускает код в отдельном потоке

[hacker_programer]

Sancei Laks, написать везде таймер перед тем как спарсить инфу из html тега?

Answer 1

[Артем]

Здравствуйте, советую заменить time.sleep на implicitly_wait. Позволит дернуть код дальше, в случае, если условие будет выполнено. Тем самым вы уйдете от статичных ожиданий. И код будет отрабатывать гораздо эффективнее.
Так же рекомендую сделать проверку на получение реквест кода на запрос (позволит избавиться от ошибок 404 и так далее..) в случае, когда у Вас нет данных, думаю сервисы яндекса распознают в вас бота и откидывают запросы.
Далее, перед тем как кикнуть драйвер, требуется сделать по любоуу тайм слип. driver.quit() - после него требуется поставить driver.close(). На гит хабе селениума уже были схожие проблемы - скрипты не корректно завершали свою работу без driver.quit(), driver.close(). Разработчики советовали использовать эти два метода в связке

Comments

[hacker_programer]

Спасибо за то, что ответили. А куда вставлять implicitly_wait? Просто в коде time.sleep не использую. Может еще ошибка возникает в том, что прокручивая 200 раз они не успевают прогрузиться? Там скорость бешеная

[Артем]

hacker_programer, implicitly_wait - относится к неявным ожиданиям. Ставится вместо time.sleep, работает только с вебдрайвером. К примеру implicitly_wait(10)будет искать требуемый элемент на страннице, и если он его находит, код сразу идет дальше. А time.sleep (10) будет просто ждать 10 секунд и ничего не искать. Тем самым, implicitly_wait в вашем случае будет более правильное решение.
В общем, ставить в коде, в местах, где вы ищите какой нибудь элемент... Так же, один из советов - максимально уйти от циклов. И вообще, попробуйте уйти в сторону requests... Использование браузера в вашем примере не очень то и нужна. Selenium используют в большинстве случаев для автоматизации тестирования.

[hacker_programer]

Артем, selenium использую для нажатия кнопок и прокручивания вверх страницы. А просмотры и подписчиков парсю с помощью beautifulsoup

[hacker_programer]

Артем, и цикл for i in range(200) использую чтобы 200 раз прокрутиться вверх и одновременно брать html код уже ВСЕЙ страницы и спарсить количество публикаций и просмотры под каждой публикацией

[Артем]

hacker_programer, Дак можно же уйти в сторону post/get запросов. Считывайте запросы через режим разработчика в браузере и реализуйте их в коде.

[hacker_programer]

Артем, я бы с радостью, но я не знаю как это делать