Как правильно парсить разные страницы на сайте с авторизацией?

Question

[Андрей]

Здравствуйте.

Есть необходимость распарсить некоторые данные в своём аккаунте одного сервиса. Для авторизации использую cURL, авторизоваться получилось хорошо, но возникло затруднение на стадии, когда надо ходить по нескольким категориям, в каждой категории есть пэйджер, где может быть ещё десяток страниц. Получается, что file_get_contents() использовать я не могу, а для каждой следующей страницы открывать новую сессия curl - на мой взгляд слишком жирно и по коду в том числе... Как аккуратно решить мою задачу? Как вообще люди поступают в таком случае? Может я какой-то момент упустил? Можете ли вы показать пример, как это сделать?

UPD:
Я надеялся, просто, что есть какая-то возможность авторизоваться, закрыть сессию cURL и далее уже обрабатывать данные, брать другие страницы и так далее вне сессии...

Comments

[AIY]

Добрый день, я знаю прошло достаточно много времени. Я столкнулся с такой же проблемой, но у меня еще не авторизуется, на других страницах. Как ты решил проблему авторизацией на разных страницах, при парсинге ?

[Андрей]

AIY, сейчас, при авторизации, я просто беру куки из заголовка, сохранить их, а затем передаю в запросе страницы через заголовки, и так с каждым запросом

Answer 1

[Антон Шаманов]

зачем file_get_contents когда ты используешь curl? не закрывая сессию просто открываешь другую страницу

$handle = curl_init();
curl_setopt($handle, CURLOPT_URL, 'fantasyland.ru/login.php');
curl_setopt($handle, CURLOPT_POST, 1);
curl_setopt($handle, CURLOPT_POSTFIELDS, 'login=ххх&password=ххх');
curl_setopt($handle, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($handle, CURLOPT_HEADER, 0);
curl_setopt($handle, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($handle, CURLOPT_COOKIEFILE, 'cookie.txt');
curl_setopt($handle, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_exec($handle);

curl_setopt($handle, CURLOPT_URL, 'fantasyland.ru/cgi/v_trade_load_all.php');
$page = curl_exec($handle);

Comments

[Андрей]

То есть, как я понял всю логику... Я отдельно в массив собираю мне нужные страницы (например в цикле), закрываю сессию и далее уже работаю с контентом? Мне, получается, в любом случае придётся ещё обрабатывать данные внутри открытой сессии cURL, является ли это хорошим тоном?

Я надеялся, просто, что есть какая-то возможность авторизоваться, закрыть сессию cURL и далее уже обрабатывать данные, брать другие страницы и так далее вне сессии...

[Антон Шаманов]

ntzch: является ли это хорошим тоном? - дело тут не в тоне, а в скорости обработки сторонним сервером запросов, он может тупо заблочить соединение при слишком высокой частоте обращений, поэтому чем реже ты будешь получать новую страницу тем лучше

[Антон Шаманов]

ntzch: ты можешь вначале скопировать контент к себе на сервер, разорвать соединение, а потом уже их обрабатывать, но какая практическая польза от такого подхода я не очень понимаю

Answer 2

[entermix]

а для каждой следующей страницы открывать новую сессия curl - на мой взгляд слишком жирно

Обычные пользователи тоже открывают и закрывают сессию постоянно...

Вывод: делайте это с определенной периодичностью, чтобы имитировать действия обычного пользователя