Как спарсить страницы с помощью PHP (адрес страниц один и тот же, но содержимое разное в зависимости от введённого логина)?

Question

[Николай Шепелев]

Кратко суть:
Есть список номеров зачеток студентов, по которым осуществляется вход на сайт с их результатами учёбы. Эти результаты надо спарсить, объединить и предоставить в удобном виде, на одной странице.
Теперь всё по частям:

1. Есть список номеров зачёток для входа на сайт.
   
2. Есть страница, где осуществляется вход на сайт только по номеру зачётки (домен/sign_in/). Дальше страница с которой нам надо парсить данные (домен/archive/), доступна, естественно, только после входа, для каждого номера свои данные;
   
3. Парсим данные, объединяем, выводим на нашем сайте в удобном виде.
   

Теперь вопросы:

1. Как реализовать вход на сайт?
   
2. Как дальше "перейти" на страницу с данными?
   
3. И собственно, главный, как реализовать парсинг, какие инструменты/библиотеки использовать?
   

Всё с помощью php(!)

Структуры страницы, думаю описывать глупо, лучше, если Вы посмотрите всё сами.
Страница входа - goo.gl/2RFrN9
Страница с данными - goo.gl/jTQzhd (доступна после входа)
Номер - 13048050

P. S. В этом деле я новичок, c PHP знаком поверхностно (можно сказать, что совсем не знаю). Главный вопрос - как сделать вход, и парсинг?

Answer 1

[Stalker_RED]

Авторизоваться можно через curl, например.

curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_POSTFIELDS, "a=4&b=7");

А парсить при помощи Zend\Dom. Его можно как отдельный модуль взять, там всего три файлика.

$doc = new Zend\Dom\Query($html, 'utf-8');
        $links = $doc->execute('ul.menu a');
        foreach ($links as $link) {
            $url = $link->getAttribute('href');
        ...

Comments

[Николай Шепелев]

Спасибо! В интернете подобные решения находил, но без авторизации. Думаю, разберусь.

Answer 2

[Денис Котляров]

Ого, во вы умеете описывать вопросы:)
Вот не хитрая функция

function result_site($domain){
//Создаем курл
$curl = curl_init();
//если надо то оставляем, время через которое соединение будет сброшено если ответ не пришел (1 тоесть 1 секунда!)
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 1);
//
//Ссылка
curl_setopt($curl,CURLOPT_URL, $domain);
//Мы желаем получить ответ
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
//Мини бонус, отправка post запроса, не нужен, стираем
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_POSTFIELDS, "type=statistic");
//
//получаем ответ
$response = curl_exec($curl);
//Закрываем курл(
curl_close($curl);
//

return $response;
}

Answer 3

[Muhammad]

Парсить можно через это: https://github.com/imangazaliev/didom, проще и быстрее

Answer 4

[Баха Рустамов]

1. Авторизовать и сохранить куки.
2. file_get_contents(''); или curl вывести и вырезать то что надо.