Какой есть эмулятор браузера на nodejs?

Question

[Рамиль]

Привет. Понадобилось на одном сервере друга забрать данные с сайта. Api нет. Нужно сначало залогиниться на сайте, потом уже в залогиненном состояние перейти на другую страницу и забрать данные. На сервер используется защита от ботов. В скрытые инпут поля удаляет js скрипт. Если поля не удалены и форма отправляется то сервак думает что это бот. Так что нужно исполнение js кода.
Копал в сторону phantomjs.

var url = 'http://test.ru/user/login',
    page = new WebPage();
    


page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36';

page.open(url, function(status) {
    if (status !== 'success')
    {
      console.log('Unable to access network');
      phantom.exit();
      return;
    }
    else
    {
        page.viewportSize = {
            width: 1024,
            height: 1024
        };
        page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/2.0.0/jquery.min.js", function() {
            page.onLoadFinished = function(){
                page.url = 'http://t118437.test.ru/admin/templates';
                
                var title = page.evaluate(function(){
                    return document.title;
                });
                
                setTimeout(function(){
                    console.log('test', title);
                    page.render("nextPage.png");    
                }, 5000)
                
                phantom.exit();
            };
            page.evaluate(function() {
                login = '[e-mail]';
                pas = '123456';
                $('#user_mail').val(login);
                $('#user_pass').val(pas);

                $(".push-bottom").click();

            });
            
        });
    }
});

Вот этот код работает. Тоесть происходит вход в аккаунт и скрипт делает скриншот страницы аккаунта. Но мне еще после входа нужно перейти на другую страницу. Вот это я не смог сделать. Как на phantomjs реализовать навигацию по страницам. Документация phantomjs скудная очень.

Comments

[Мак Алексей]

casperjs.org

[kotofey]

С phantomjs не работал, но очевидно все дело в сессиях и, возможно, кукисах.

[Дмитрий Щ]

Как в итоге удалось решить данную задачу?

Answer 1

[Кирилл]

С phantomjs разбираться действительно сложно из за документации, могу посоветовать использовать обертку на nodejs - например navit. Она предназначена в первую для тестирования, но вам должна подойти.

Answer 2

[Dmitry Demin]

С phantomjs не сталкивался, но знаю, что задача спокойно решается при помощи electron'а. Он достаточно хорошо задокументирован, однако не факт, что он заработает на сервере, где нет графической оболочки.

Comments

[Рамиль]

Я запускаю скрипт только на локальной машине. Значит должен работать..

[Рамиль]

Мне нужно что бы из консоли мой скрип выполнялся как gulp задача. Просто еще нужно мониторить изменения файлов в файловой системе.

[Dmitry Demin]

Рамиль: ваша проблема решена?

[Рамиль]

Dmitry Demin: не решена. Как же я из консоли буду обращаться к приложения на electron ? С электроном все проще конечно и документация есть. Но мне нужно взаимодействовать с сайтом из консоли.

[Dmitry Demin]

Рамиль: electron, ровно как и node, запускается из консоли :\

[Рамиль]

Dmitry Demin: как же управлять из консоли js скриптом. Мне нужно эмулировать нажатие на кнопки и вводить текст в формы.

[Dmitry Demin]

Рамиль: зачем обращаться к нему из консоли когда можно прямо в electron'е инъектировать код в открытую страницу? https://github.com/atom/electron/blob/master/docs/...

[Рамиль]

Dmitry Demin: что то не понимаю. Я хочу с помощью gulp мониторить некторые файлы. И когда файл изменяется. Плагин логинется на сайте и сохраняет измененый файл. Каждый раз логиниться по новой это не хорошо.

[Dmitry Demin]

Рамиль: кукисы никуда не исчезнут, если их намеренно не стереть.