Возможно ли взаимодействовать с сайтами у которых нет API?

Question

[daminik00]

Допустим я хочу что бы скрипт на сервере зашёл на сайт, нажал на кнопку, спарсил то что получилось при нажатие и вернул мне результат. Возможно ли такое?

Answer 1

[Максим Тимофеев]

Да. Кнопка это запрос. Post или Get, так что по сути все сводится к отправке запроса. Для этого есть в php - curl. А для парсинга есть библиотека simplehtmldom, или другие или просто регулярные выражения.

Comments

[daminik00]

А если кнопка вызывает какую либо функцию и не перезагружает страницу. Или это вообще Single page application. Например сайт магазина одежды

[Максим Тимофеев]

daminik00: Какая разница перегружает или нет? Какая разница Single page application или нет? В любом случае есть запрос, просто это может быть ajax запрос. Если нет запроса, значит инфа уже на странице, тогда вообще все просто и опять же curl и simplehtmldom.

Answer 2

[riot26]

Возможно будет интересно в дополнение к предыдущим ответам: https://wrapapi.com

Answer 3

[Rou1997]

Возможно, двумя основными способами - на уровне HTTP или полная имитация браузера - Selenium, Phantom.js, headless-браузеры.

А если кнопка вызывает какую либо функцию и не перезагружает страницу. Или это вообще Single page application. Например сайт магазина одежды

В браузере все взаимодействие с сервером в конечном итоге основано на XMLHttpRequest, гораздо реже WebSocket или такие протоколы, как RTMP (во Flash), на более низком уровне любое сетевое взаимодействие основано на TCP или гораздо реже UDP и другие протоколы для особых случаев, в общем среда является недоверенной, все что отправляется на сервер или поступает с него можно перехватить при анализе и после этого симитировать своим приложением, есть несколько уровней и способов, которыми это можно сделать.

Answer 4

[Nik Gubin]

Максим Тимофеев уже ответил, что возможно, но я хотел бы уточнить Если разработчики сайта позаботились о безопасности, то они могли добавить токены в каждую форму, которые обновляются у простых пользователей каждый раз, в каждый запрос к серверу (csrf). В таком случае Вам будет сложнее отправлять форму через свой скрипт и необходимо будет находить решение этой проблемы.

Comments

[Максим Тимофеев]

Ну не только токены, много может быть защит.

[DevMan]

получить токен со страницы и отправить его кагбе совсем не проблема.

[Nik Gubin]

DevMan: я не писал, что это будет невозможно.

[DevMan]

gubin_niko: разумеется. я лишь написал, что csrf не представляет никакой сложности.

[Nik Gubin]

DevMan: с этим не поспорю)