Как взаимодействовать с сайтом через парсер?

Question

[Lici]

Хочу спарсить данные, для этого нужно:

1) Получать страницу
2) Выбирать на ней нужные пункты из select
3) Отправлять данные в определенное поле
4) Нажимать кнопку отправить
5) Выкачивать результат

Во время всего этого дела URL не меняется, так что я не могу передать данные через строку браузера. С получением кода разобрался быстро, а какие вообще слова гуглить чтоб вот это делать заполнение форм и отправку? Как это называется?

Comments

[Lici]

Самый простой пример - сделать скрипт-парсер, который сможет что-то загуглить в гугле и передать мне ответ. Например, первые 10 ссылок.

Answer 1

[entermix]

Для начала нужно понимать то, как работают HTML-формы:
php.net/manual/ru/language.variables.external.php

Answer 2

[Exploding]

А можно узнать немного подробнее, какого характера данные Вы хотите "выкачивать" парсером? Возможно они уже лежат в публичном доступе, только вы о них не знаете...

Очень похоже на список стран/областей/городов...

Comments

[Lici]

Да типа того, я скорее это делаю так как хочу научиться-разобраться так что хочу именно на php именно получить данные.

Самый простой пример - сделать скрипт-парсер, который сможет что-то загуглить в гугле и передать мне ответ. Например, первые 10 ссылок.

[Exploding]

Lici: ну если для тренировки просто, и без фреймворков, то чтобы понять что куда делайте так:
- curl-ом именно, не file_get_contents! берете посмотреть страницу
- если вообще хардово можете потренироваться для понимания, и попробовать распарсить с помощью explode, substr, регулярок и т.д.
- а потом уже скачать ту же simpleHtmlDOM или Nokogiri, и сравнить удобность двух способов)

ЗЫ. Если будете заимствовать страницы curl-ом, не забудьте отключить параметр CURLOPT_SSL_VERIFYHOST

Ну вот и все. Теперь вы почти готовы вступить ...... в это г-но)))

Answer 3

[Александр Х]

если только для одной конкретной формы - то:

выбираете данные в селекте руками, откоываете Консоль/Сеть в браузере, жмете Отправить, изучаете запрос, который отправлен на сервер и ответ сервера.

дальше пишете скрипт, который отправляет curl-ом серию таких же POST(?) запросов с разными данными (поочередно подкидывая данные из опшенов) и разбирает ответы.

ну т.е. суть в том, что не надо имитировать выбор из селекта и клики по кнопкам. достаточно имитировать http-запросы, которыми фронт общается с бэком.

Comments

[Lici]

а вот это интересно, сейчас посмотрим

Answer 4

[Александр Петров]

Вам нужна программа ZennoPoster

Comments

[Lici]

Хочу именно на php сделать чтоб была возможность хоть с телефона в любой момент

[Александр Петров]

Lici: просто если вам надо взаимодействовать с страницей, то вам нужен js, а для этого вам надо симулировать поведение из браузера. Что проще всего сделать зеннопостером (на мой взгляд).

Если через php, то парсите страницу, получаете url формы, собираете данные формы и curl-ом отправляете данные и получаете в результат в переменную и работаете с ней.

Answer 5

[Алексей Шашенков]

Если знакомы с nodejs. Есть хорошее решение в виде nightmarejs. это по сути безголовый браузер. Можно вытаскивать данные, или взаимодействовать с сайтом.

Answer 6

[Игорь Русинов]

Если нужно именно эмулировать поведение пользователя и именно с php, советую присмотреться к Codeсeption с его PhpBrowser (https://www.toptal.com/php/php-testing-with-codeception - по ссылке есть пример с заполнением и отправкой формы).