Как сделать парсер с консольным js-кодом на Python?

Question

[Сергей Нижний Новгород]

Всем привет.

Задача: Написать парсер, который обходит список сайтов и проверяет - есть ли на нем модуль или нет. Сложность заключается в том, что 100% сказать - есть модуль или нет, можно лишь выполнив js-запрос в консоль и получив ответ.

Поэтому вопрос: какими инструментами и как это можно сделать js запрос и считать ответ из консоли?

Comments

[sim3x]

Расшифруй
"можно лишь выполнив js-запрос в консоль и получив ответ."

[Сергей Нижний Новгород]

sim3x: я могу 100% понять, что модуль стоит на сайте, если открою консоль и вобью туда апи ключ модуля. И если он там есть, мне консоль выдаст его номер, если его там нет, то я получаю ошибку. Вот мне как-то это нужно выполнить из парсера.

[sim3x]

Terras: что такое "консоль" и в каком виде вводится ключ?

[Сергей Нижний Новгород]

sim3x: обновил

Answer 1

[sim3x]

Если не разбираться во внутренностях того "модуля", то решения на ноде или селениум

stackoverflow.com/questions/7794087/running-javasc...

https://www.mkyong.com/selenium/how-to-execute-jav...

Comments

[Сергей Нижний Новгород]

А как можно забрать данные?

Если я делаю, что-то типа, например:

moron = driver.execute_script("document.getElementsByClassName('arsenal_title')")

То значение moron возвращается, как None

[sim3x]

Terras: должен возвращать значение