Как получать информацию?

Question

[hrvasiliy]

Я хотел бы узнать как получить информацию с двух сайтов и сравнить ее? Подробнее: Есть два сайта, мне надо получить информацию и с одного, и с другого сайта, и сравнить ее, и моментально вывести уже на моем сайте(имеется в виду, людям, которые заходят на мой сайт, не требуется его обновлять, он сам все расчитывает и показывает новые сравнения, по сути, они заходят и смотрят - все), при этом информация на сайтах-донорах постоянно обновляется + необходима авторизация, для получения информации. Апи нет.

Answer 1

[vdem]

Если авторизация на сайтах достаточно простая (просто форма с логином и паролем, без капчи и всяких JS/AJAX наворотов), авторизоваться раз через curl (с куками и всем что положено), потом раз в минуту, скажем, читать нужную информацию, запоминать у себя в БД (откуда и выдавать ее клиентам). Если происходит ошибка - пытаться авторизоваться снова. Если авторизация навороченная (с капчей) - хз, пробовать вручную авторизоваться, запомнить куки с ид сессии и использовать их в curl-запросах. В общем почти все зависит от того, что там за авторизация.

Comments

[hrvasiliy]

$curl = curl_init(); 
$url = 'ссылочка авторизации ';
curl_setopt($curl, CURLOPT_URL, $url);  
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);  
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 30);  
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');
curl_setopt($curl, CURLOPT_COOKIEFILE,  dirname(__FILE__).'/cookie.txt');
curl_setopt($curl, CURLOPT_POST, 1); 
curl_setopt($curl, CURLOPT_POSTFIELDS, "login&password");
$str = curl_exec($curl);  
curl_close($curl);  
$data = str_get_html($str);
echo $data; //Ну выводим нашу страничку полученную

Вот что у меня получилось, действовал как вы сказали, но не понимаю как на следующий запрос передать мои сохраненные куки, не буду же я парсить страницу авторизации :)

[vdem]

@hrvasiliy Ну дальше посмотрите, действительно ли авторизация происходит. Что там в $data? А как там через curl куки передавать - это уже другой вопрос :) Не помню, надо смотреть.

[vdem]

@hrvasiliy Очевидно их надо передавать в headerе запроса.

[hrvasiliy]

@vdem не знаю как передать тот файлик что создался с куками:(

[vdem]

@hrvasiliy набираем в гугле "php curl send cookie" и удивляемся, как много знает он

[hrvasiliy]

@vdem если все так просто, покажите мне на моем кода пожалуйста, как их отправить:/

[vdem]

@hrvasiliy В коде у вас все правильно, вы их и пытаетесь отправить из файла cookie.txt. Вам сначала их нужно принять (они в headerе будут). Т.е. первый curl запрос должен быть к странице логина, с тем чтобы принять кук с ид сессии (и прочие какие будут), второй запрос, уже с этими принятыми куками - POST формы с логином и паролем. Больше объяснять нет времени, пора на встречу.

[vdem]

@hrvasiliy P.S. и третий запрос, опять же с куками, к той странице, откуда вам надо считать инфу.

[hrvasiliy]

@vdem спасибо вам. Но если бы вы написали этот самый небольшой кусок кода был бы очень благодарен

[hrvasiliy]

@vdem или же был бы так же благодарен ссылочка на эту реализацию... Не могу найти :(

[vdem]

curl_setopt($ch, CURLOPT_HEADER, 1);
Потом из $str = curl_exec($curl);
вытаскиваете куки:

preg_match('/^Set-Cookie:\s*([^;]*)/mi', $str, $cookies);

[hrvasiliy]

$curl = curl_init(); 
	$url = 'http://cabinet.alitrack.ru/login.html';
	$url_page = 'http://alitrack.ru/';
	
	curl_setopt($curl, CURLOPT_URL, $url);  
	curl_setopt($curl, CURLOPT_HEADER, 1);
	curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);  
	curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 30);  
	curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
	curl_setopt($curl, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');
	curl_setopt($curl, CURLOPT_COOKIEFILE,  dirname(__FILE__).'/cookie.txt');
	curl_setopt($curl, CURLOPT_POST, 1); 
	curl_setopt($curl, CURLOPT_POSTFIELDS, "loginpass");
	
	$str = curl_exec($curl);  
	preg_match('/^Set-Cookie:\s*([^;]*)/mi', $str, $cookies);
	curl_close($curl);  
	//
	$curl2 = curl_init();
	curl_setopt($curl2, CURLOPT_URL, $url_page); 
	curl_setopt($curl2, CURLOPT_POST, 1); 
	curl_setopt($curl2, CURLOPT_COOKIEFILE, $cookies);
	curl_close($curl2);
	//
	$data = str_get_html($str2);
	echo $data; //Ну выводим нашу страничку полученную

Не работает не понимаю =/

[vdem]

$cookies надо таки в файл записать, как вы думаете? ;)

[hrvasiliy]

@vdem извините, но я сильно туплю. Вы не могли бы показать где-нибудь реализованный пример? (Полный, с авторизацией и переходом на другие страницы)

[vdem]

ЕЩЕ РАЗ. В первом запросе вам не надо никакие куки посылать, т.к. их НЕТУ ПОКА. ЗАДАЧА В ТОМ, ЧТОБЫ ПОЛУЧИТЬ ИХ. Вот в этой строке

preg_match('/^Set-Cookie:\s*([^;]*)/mi', $str, $cookies);

вы их получаете. То, что тупите, очевидно: curl_setopt($curl2, CURLOPT_COOKIEFILE, $cookies); - $cookies - это массив, а не файл.

[vdem]

@hrvasiliy Понимаете ли, у меня своя работа. И с моей точки зрения я вам и так уже помог достаточно, просто вы думать не хочете. А массив в файл затолкайте, и потом его путь уже в curl передавайте. Только формат файла узнать надо, надеюсь справитесь.

[smanioso]

@vdem надо было сразу отсылать на фрилансим ))))

[vdem]

@smanioso Та вижу :) Одно дело - спросить совет, или мнение, или как задача решается в общих чертах, ну или где именно в алгоритме искать ошибку. Ну это же несерьезно - просить написать готовый код. Что мне его, вслепую писать? Я алгоритм описал, что еще нужно программисту? :)

[smanioso]

@vdem 0 лайков, не помечено как решение... наплевательское отношение к чужому времени со стороны вопрошающих. С такими пользователями тостер станет вопросами от мэйлрушечки, а не русским SO

[vdem]

@smanioso О да, вопросы от mail.ru это что-то! :D А здесь я вообще вопросы не задаю, хватает гугла, просто прибрел недавно и иногда в ответах нахожу интересные решения, подходы или приемы, о которых не знал.

[smanioso]

@vdem аналогично ))) проще потратить 5 минут на то, чтобы составить грамотный поисковый запрос, чем задавать его на тостере... В разделе по obj-c вопросы до суток без единого ответа могут висеть.

Answer 2

[Viktor Vsk]

Уберите эту строчку:

Я хотел бы узнать как получить информацию с двух сайтов и сравнить ее?

И скопируйте на freelansim.ru, fl.ru и т.д.
Эту будет первым шагом решения такой задачи.

Answer 3

[Иван]

В общем случае парсить, конкретнее ответят только если расскажите о задаче чуть подробнее.

Comments

[hrvasiliy]

А что именно не понятно? Давайте расскажу :)

Answer 4

[smanioso]

PhantomJS > PNG > Binary Diff

Вывод результата для клиента через веб-сокеты.
Как-то так.