Как распарсить сайт по определенным критериям?

Question

[Кирилл Горелов]

Всем привет.
Как распарсить сайт по определенным критериям?
К примеру есть сайт fl.ru, выбирая нужные поля, в get параметрах ничего не отображается.
И таких сайтов тоже много.
Как распарсить такие сайты, если нету get параметров?

Answer 1

[Егор]

Для парсинга нужно:
а) получить нужную страницу
б) извлечь из нее искомые данные
в) сделать что-то с этими данными, например сохранить в бд.

А при чем здесь get поля ( и вообще что это такое)?
Берите ссылку, скачайте ее себе в файл. В этом файле извлеките данные, и сделайте с ними что необходимо.

Answer 2

[TheInvisible]

Судя по вопросу, используется Ajax погрузка.
Открываете например firebug в Mozilla, смотрите куда пошли запросы, при кликах на сайте по чекбоксам, или другим элементам.
Берете полученные урл адреса, и парсите.

Comments

[Кирилл Горелов]

Егор TheInvisible, ребят я понимаю, что нужно получит ссылку и ее распарсить. У меня с этим и есть проблема. Открываю firefox, далее "сеть" (prntscr.com/bikvmp) и я не понимаю, куда идет запрос. Следовательно не знаю, что парсить нужно.

[Егор]

Запрос идет сюда: www.fl.ru/projects/ . Именно эту ссылку и качай.

[TheInvisible]

В пост параметрах все prntscr.com/bikze3

[TheInvisible]

готовите post параметры фильтра, и на ссылку fl.ru/projects/ передаете, это конкретно для fl.ru

[Кирилл Горелов]

TheInvisible: воо теперь другое дело, понятно. Пост я передаю через curl?

[TheInvisible]

Ну это уже сами решаете как парсить, если php то можно через curl, можно библиотеку guzzle подключить

[Кирилл Горелов]

TheInvisible: А вот еще вопрос. Я пытаюсь сделать таким образом https://www.fl.ru/projects/?pf_keywords=php, это исключительно ради интереса, это не работает, почему, такое в принципе не будет работать или как?

[TheInvisible]

Прочтите про post и get запросы, в данном случае fl принимает только post

[Кирилл Горелов]

TheInvisible: подскажи, пожалуйста, что я делаю не так?
Сейчас мне показывает 403 Forbidden

$url = "https://www.fl.ru/projects/";
$post_data = array (
    "pf_keywords" => "php"
);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// указываем, что у нас POST запрос
curl_setopt($ch, CURLOPT_POST, 1);
// добавляем переменные
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
$output = curl_exec($ch);
curl_close($ch);
echo $output;