Как передать post запрос fl.ru на php?

Question

[Кирилл Горелов]

Всем привет. Хочу распарсить fl.ru.
Но не получается передать нужные мне параметры для сортировки заданий.
Сейчас мне показывает 403 Forbidden

$url = "https://www.fl.ru/projects/";
$post_data = array (
    "pf_keywords" => "php" // где php это слово для поиска
);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// указываем, что у нас POST запрос
curl_setopt($ch, CURLOPT_POST, 1);
// добавляем переменные
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
$output = curl_exec($ch);
curl_close($ch);
echo $output;

Что я делаю не так?

Answer 1

[Егор]

Посмотри какие заголовки отправляет браузер, и также их отправляйте.

Comments

[Кирилл Горелов]

Привет. Я тут переделал, не подскажешь в чем проблема может быть?

$uagent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0';

function postRequest($url, $post = 0){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url ); // отправляем на
curl_setopt($ch, CURLOPT_HEADER, 0); // пустые заголовки
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // возвратить то что вернул сервер
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // следовать за редиректами
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);// таймаут4
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_USERAGENT, $uagent); // useragent
curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt'); // сохранять куки в файл
curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt');
curl_setopt($ch, CURLOPT_POST, $post!==0 ); // использовать данные в post
if($post)
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}
$data = postRequest('https://www.fl.ru/projects/', array("action" => "postfilter",
"kind" => "5",
"pf_category" => "",
"pf_subcategory" => "",
"comboe_columns[1]" => "0",
"comboe_columns[0]" => "0",
"comboe_column_id" => "0",
"comboe_db_id" => "0",
"comboe" => "Все+специализации",
"location_columns[1]" => "0",
"location_columns[0]" => "0",
"location_column_id" => "0",
"location_db_id" => "0",
"location" => "Все+страны",
"pf_cost_from" => "",
"currency_text_columns[1]" => "0",
"currency_text_columns[0]" => "2",
"currency_text_column_id" => "0",
"currency_text_db_id" => "2",
"pf_currency" => "0",
"currency" => "2",
"currency_text" => "Руб",
"pf_keywords" => "рассылка",
"u_token_key" => "5b433521a32460190af62eca0a877337"));
print_r($data);

[Егор]

$uagent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0';

нужно перенести во внутрь (в тело) функции, поскольку область видимости функции не позволяет знать, что есть такая переменная $uagent.

[Егор]

а вообще используй IDE с подсветкой синтаксиса, таких проблем не будет, например PHPStrom.

Answer 2

[Anton B]

FL не дураки писали, думаю от подобных ботов у них есть защита.
Вы попробуйте представиться браузером, примите сессионную куку, передайте useragent, посмотрите что кроме pf_keywords отправляется в POST (с помощью хрома).

Comments

[Виталий]

Как символично, человек на фриланс не может что-то оттуда вытащить и задает вопрос почему))))) наверное надо просто купить про аккаунт))))