Как с консоли зайти на сайт, авторизоваться, выполнить все js-скрипты и получить DOM-дерево?

Question

[pcdesign]

Собственно сабж.
Допустим войти в личный кабинет через curl не проблема.
Далее получаем html и все js скрипты, которые там есть.
Но как их выполнить из консоли?

P.S. Расскажу зачем мне это нужно.
Есть сайт, у которого мне нужно получать баланс каждый день.
API у сайта нет.
А чтобы дернуть баланс, нужно зайти в личный кабинет.
Там выполняется 100500 js скриптов с POST и GET запросами, вот такого вида:

https://site.com/core/auth/account_list?callback=jQuery110205813025929261137_1441171203113&_=1441171203115

После чего через jquery.append подставляется значение баланса в html тэг.

Comments

[Everything_is_not_so_bad]

Дерево DOM - это представление узлов в памяти программы. Что дальше делается с этим деревом?

[pcdesign]

Роман: Обновил свой вопрос.

Answer 1

[Everything_is_not_so_bad]

По-моему, нужно ПО типа Selenium.
Нужно запрограммировать скрипт как найти нужный узел и как получить данные того узла.

Answer 2

[nonlux]

zombiejs, phantomjs.

Comments

[nonlux]

Знаешь php возьми behat + mink + zombiejs и напиши свои действия тупо на русском в behat feature

[pcdesign]

nonlux: Спасибо. Но я не понимаю с чего начать.
Вот я зашел в личный кабинет. Выкачал оттуда html и все js скрипты.
Что мне нужно сделать дальше?

[nonlux]

Нет )

Твой скрипты должен сам все сделать, пример:

Зайти на сайт по адрессу site/login
Заполнить форму авторизации
Кликнуть на кнопку войти
Перейти на страницу site/balance
Получить значение из div c id "money"
Ну а далее что хочешь сохраняй, выводи на экран и т.д

[pcdesign]

nonlux: Да, я естественно зашел с помощью скрипта в личный кабинет.
Авторизовался. Получил html страницу личного кабинета.
Там где должен быть баланс пустое поле, потому что его заполняет js, который выполняется после захода на страницу.

[nonlux]

Я тебе говорил об использовании тех инструментов, что я описал в ответе. Если будешь использовать zombiejs, например. Он сам выполнит все js на странице.

Answer 3

[PO6OT]

Поищите в JS ресурс, который запрашивается для получения баланса (ведь баланс подставляется JS'ом?) и запрашивайте его с куками через консоль.
Возможно, даже куки подставлять не придётся.
А ещё поговорите с разработчиком о создании API

Comments

[pcdesign]

Баланс запрашивается из js вот так:

https://site.com/core/auth/account_list?callback=jQuery110205813025929261137_1441171203113&_=1441171203115

Цифры все время разные.
А вот эта строка формируется в других js скриптах:
110205813025929261137_1441171203113&_=1441171203115
Каким образом - не понятно.

[Антон]

pcdesign: первый параметр - это имя функции, которую нужно будет вызвать с результатами скрипта, посмотрите в теле ответа, наверняка ответ начинается с чего-то типа jQuery110205813025929261137_1441171203113(. Оно вам не надо и может быть произвольным.
Второй параметр - это скорее всего антикэш банальный, очень похож на timestamp

[pcdesign]

Антон: Нигде в теле ответа нету jQuery110205....
Но обнаружил другой прикол.
Чтобы не написать в jQuery110205813025929261137_1441171203113&_=1441171203115.
Можно писать любую чушь, все равно все работает.
И баланс получается, я его в вижу в ответе jsona.
Поэтому вообще ничего не понятно :)

[PO6OT]

pcdesign: свяжитесь с разработчиком и договоритесь о создании API

Answer 4

[Emil Revencu]

На Windows я пользую VBS и объект Internetexplorer.Application

Comments

[pcdesign]

В этом преимущество Windows. С консоли линукс с этим сложнее.