Почему на rutracker.org не удается спарсить результаты поиска по разделу?

Question

[Алексей Соловьев]

Например вот такой поиск rutracker.org/forum/tracker.php?f=189. Парсинг через curl. Я могу получить первую страницу результатов отдельно. Могу получить любую другую страницу результатов (3, 7-ю и т.п.), но только отдельно. Когда я начинаю брать их подряд, через любой таймаут, то корректно возвращается только первая страница в очереди, а потом все время сбрасывает на первую страницу результатов поиска.

Не пойму в чем причина. По идее что-то не так в curl. Перепробовал все варианты и виды настроек curl. Пролистал весь github по слову rutracker.

Все сделано как у всех и все равно никак.

П.С.
Разумеется все в порядке с простыми вещами типа авторизации, куками, search_id и т.п.

В чем может быть причина?

Comments

[Александр Зеленин]

что-то с глазами. не вижу код, используемый вами.

[Алексей Соловьев]

Не в коде ж дело, пусть будет обычный curl

$ch = curl_init('http://rutracker.org/forum/tracker.php?f=189');
    curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0");
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_POSTFIELDS, 'tm=7');        
    curl_setopt($ch, CURLOPT_COOKIEJAR, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_COOKIEFILE, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);

Вот этот выдает все верно, а вот когда делаешь второй запрос, на следующую страницу результатов:

$ch = curl_init('http://rutracker.org/forum/tracker.php?search_id=yZszkF1dEs5E&start=50');
    curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0");
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);    
    curl_setopt($ch, CURLOPT_COOKIEJAR, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_COOKIEFILE, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);

Все равно выдается первая страница результатов поиска.
Если же вот этот второй запрос отправить отдельно, одним, то выдастся нужная страница. Но если после этого брать следующую страницу (rutracker.org/forum/tracker.php?search_id=yZszkF1d...), то все равно выдастся первая страница результатов поиска.

Тут дело не в коде, либо в рутрекере, либо в curl, не могу понять где именно.

[Алексей Соловьев]

Самое обидное, что у всех сделано примерно так же.

Answer 1

[Алексей Соловьев]

Приношу всем извинения, проблема решилась банальным html_entity_decode. В ссылке на следующую страницу амперсанд был прописан как &

Comments

[Александр Зеленин]

>> Не в коде ж дело

Answer 2

[Степан]

Курл инициализируйте только раз. А дальше только давайте ексек на получение нужного урла.

А вообще, советую использовать pear http client. С ним это займет несколько строчек. И никаких заморочек с кукисами.

Comments

[Алексей Соловьев]

@L3n1n
Вы имеете в виду что-то типа:

$ch = curl_init();
...
curl_setopt($ch, CURLOPT_URL, $url1);
$res = curl_exec($ch);
...
curl_setopt($ch, CURLOPT_URL, $url2);
$res = curl_exec($ch);

curl_close($ch);

К сожалению тот же результат. Отдельно запросы работают и выдают то, что надо, но в очереди - второй запрос всегда ведет на первую страницу поиска.