Как спарсить сайт olx?

Question

[Kotaro Hiba]

Здравствуйте, столкнулась с одной проблемой, нужно написать парсер, при парсинге выдает нулевые массивы
Ссылка на сайт
Вот пример кода

$url = file_get_html('https://www.olx.ua/nedvizhimost/kharkov/?currency=USD');
 $findtest = $url->find('div.innerLayout');
echo $url;

Библиотеки которыми пыталась парсить: simple dom html, phpQuery -> результат одинаковый


.

Comments

[Дмитрий]

Добрый вечер.
Используйте cUrl для получения данных с сайта.

[OVK2015]

Если с php парсером не выйдет,- в ноде есть puppeteer от гугла. Парсит вме. Но доолго)

Answer 1

[Evgen]

Очевидно, сайт не хочет чтобы его парсили. Нужно притворяться пользователем, использовать хорошие заголовки, User-Agent, ip etc...

Comments

[Kotaro Hiba]

Подскажите пожалуйся, что значит притворяться пользователем? Из ваших слов я поняла, что нужно написать бота который будет эмулировать реального человека?

[Сергей Горностаев]

Алина Федотова, Как парсить без бана?

Answer 2

[Stalker_RED]

Они чувствуют, что это бот, и отдают ему заглушку. Придется вам научиться быть более человечным)

Answer 3

[Ihor Bratukh]

puppeteer

Answer 4

[irishmann]

CURL

Answer 5

[astronotius]

Puppeteer. Но не простой, а с набором антиопределителей

• useragent
  
• languages
  
• plugins
  
• notifications
  
• fingerprint
  
• etc
  

Пример работы Puppeteer в режиме headless: false