Как сделать парсер доски объявлений?

Question

[tester]

Хочу сделать парсер объявлений в виде таблицы.
Собираюсь делать это с помощью Datacol, всё ок, но есть одна проблемка - не получается спарсировать номер телефона, т.к. он появляется только после клика по нему.

Сам сайт - https://krisha.kz/

Comments

[Gip]

1. телефон подгружается ajax-запросом https://krisha.kz/a/ajaxPhones?id=49133210
2. кроссдоменные запросы запрещены.
не знаю что такое Datacol, но если он умеет имитировать клик по ссылке - то это единственный верный путь.

[tester]

Giperoglif, имитация клика есть, но в итоге Datacol возвращает пустое поле

[Dmitry Bay]

tokmaganbet, поиграйтесь с заголовками, там много любопытных отсылаются.

Answer 1

[Дмитрий Ким]

Заходите на страницу с объявлением и ищите это:

<span class="show-phones" id="tm-telephone-body" data-url="/a/ajaxPhones?id=28104015" data-id="28104015">
  Показать телефон
</span>

Далее берёте ссылку из атрибута data-url и выполняете запрос с заголовком XMLHttpRequest:

curl -X GET \
  'https://krisha.kz/a/ajaxPhones?id=28104015' \
  -H 'x-requested-with: XMLHttpRequest'

В ответ получаете:
["[phone]"]

Answer 2

[АртемЪ]

Как сделать парсер доски объявлений?

Как обычно - взять и написать.

не получается спарсировать номер телефона, т.к. он появляется только после клика по нему.

Это специально сделано, чтобы усложнить парсинг.
Решается следующими методами -

• Разобраться в JS скрипте подтягивающем телефон и исполнять его самостоятельно.
  
• Парсить с помощью браузера - например обычный фаерфокс под управлением webdriver от selenium