Какие есть эффективные либы у Kotlin и NodeJs для парсинга сайтов с ajax, авторизации c SCRF и переходами по страницам ЛК?

Question

[EVOSandru6]

Добрый день,

Каким образом можно скриптом на JS или Kotlin эмулировать действия пользователя в браузере на момент полной загрузки страницы. Необходимо иметь возможность:

1) авторизоваться в форме
2) ходить по страницам, закрытым для гостя
3) взаимодействовать с DOM элементми на данных страницах - кликнуть по кнопке
4) спарсить данные с блоков.

Рассматривал PhantomJS и CasperJS. Но не знаю, что из перечня они могут покрыть.
Для Kotlin как я понял - в этом плане достаточно сыро:
https://kotlinlang.org/api/latest/jvm/stdlib/org.w...

Посоветуйте пожалуйста, какой набор инструментов следует выбрать для данной задачи?

Answer 1

[Даниил Маслов]

PhantomJS однозначно может покрыть подобные кейсы.

Comments

[EVOSandru6]

Спасибо. Попробую. Насколько я понял - он deprecated - не поддерживается больше и в некоторых кейсах опрееляется как несуществующий браузер.

Answer 2

[Виталий]

https://github.com/puppeteer/puppeteer

Comments

[EVOSandru6]

Спасибо. А есть какие то преимущества данной либы против Каспера и Фантома?

[Виталий]

EVOSandru6, это гугловая библиотека, по сути мост между браузером и языком, если этого не достаточно, удачной боли с фантомом)

[EVOSandru6]

Виталий, Спасибо.

Answer 3

[Дмитрий Свиридов]

Рекомендую Selenium

Comments

[EVOSandru6]

Спасибо. Не подскажите - быстрее будет , если использовать вместе с Java или с Node?

[Дмитрий Свиридов]

EVOSandru6, вряд ли подскажу, т.к. я python/php/go разработчик. Но, мне кажется, в данном случае не столь важно, т.к. сайты надо парсить аккуратно, чтобы внезапно возросшую нагрузку не заметил. Даже рандомные таймауты ставить неплохо б. Долбать сайт в несколько потоков - верный путь к тому, чтобы владелец сайта это заметил и вас забанил.