Реально ли нажать на кнопку на сайте средствами баша и спарсить ответ из формы?

Question

[Кирилл Герасенков]

Здравствуйте, уважаемые гуру!

есть кнопка на сайте

<span class="b-form-button__content">
<span class="b-form-button__text">Проверить файл</span></span>

Можно каким-либо способом из баша вызвать нажатие кнопки, а потом из полученной формы спарсить ответ?

Answer 1

[Алексей Ямщиков]

Нужно проследить какая ссылка отсылается при нажатии на кнопку и какие параметры передаются в POST (скорее всего) запросе.
Расскажу на примере Google Chrome. Открываете консоль ctrl+shift+j
вкладка Network.
Жмём кнопку и после ищем по имени ссылки в левом столбце и щёлкаем нужную ссылку.
Открываем справа вкладочку Headers. Ищем строчку типа Form Data
там перечислены все заголовки переданные в POST запросе.

Если щёлкнуть ПКМ на имени ссылки и выбрать "Copy as cURL" - в буфер скопируется полный линк для curl который можно использовать в скрипте bash

Comments

[Кирилл Герасенков]

попробую firebug'ом выцепить,спасибо!

Answer 2

[Александр Аксентьев]

нельзя

Answer 3

[Александр Маджугин]

Если есть ответ, значит есть запрос, а если есть запрос, значит его можно послать, а если его послать, то прилетит ответ. Здесь и ответ на ваш вопрос - не нужно нажимать кнопку на сайте средствами баша, чтоб спарсить ответ из формы.

Comments

[Кирилл Герасенков]

ответ приходить после выполнения JS

[Александр Маджугин]

Ну и что? Да, запрос посылает js, но в чем сложность послать такой же запрос?

Answer 4

[bromzh]

Можно.
Есть такой проект под названием selenium. Он позволяет управлять браузером через RemoteDriver. Этот протокол реализуется через REST API.
Есть официальные драйверы от самого проекта для разных языков, есть неофициальные. Но ничто не мешает тебе реализовать работу с этим протоколом на баше, через curl, например.

Суть такая: запускаешь selenium-сервер, подключаешься к нему, делаешь правильные запросы, сохраняешь полученные данные. В твоём случае, нужно отправить запрос на создание сессии, сохранить полученный Id и использовать его для дальнейших запросов. Описание протокола я кинул, вникай.