Как спарсить hhru?

Question

[Vladislav]

Цель: https://stats.hh.ru/ufa

Уже весь сайт расковырял, не могу найти откуда подгружаются данные. А точнее как они обрабатываются.

Данные на странице совпадают с данными отсюда:
https://stats.hh.ru/_api/data/data.json?u9lg7r
Но там просто цифры,цифры,цифры и все.
Ни одного слова которое может идентифицировать конкретный блок с информацией.

А если просто получать html код страницы приходит такие значения {{ salary.diffCompensation }} которые посредством JS видимо подменяются.

Answer 1

[Inviz Custos]

https://github.com/puppeteer/puppeteer

Comments

[Vladislav]

Это hh ru используют у себя на сайте ?

[Vladislav]

а все я понял. это хром без gui

[Inviz Custos]

Владислав, ага. Если планируете активно парсить HH, то этот сервис тоже пригодится https://luminati.io/

[nokimaro]

Владислав, и на PHP аналогичная обёртка https://github.com/chrome-php/headless-chromium-php
В data.json есть все нужные данные, но тут реально проще через chrome открыть страницу, отрендерить, и сохранить итоговый html в файл для парсинга уже обычными средствами (поиск внутри html)

[Vladislav]

nokimaro, суть в том что мне нужно по всем городам спарсить данные. А не только по /ufa
если вы что нибудь понимаете в том что data.json вернул. Объясните. Может так будет проще чем каждую страницу открывать через хром

[Inviz Custos]

nokimaro, https://github.com/nesk/puphpeteer - PHP'шная обертка над puppeteer

[Vladislav]

nokimaro, Если я правильно понимаю, то первый ключ это ID города. Которые беруться от сюда.
https://api.hh.ru/salary_statistics/dictionaries/s...
далее ключ avarageCompensation - средняя зп
и далее опять цифры. Это я так понял месяца и там два параметра 1 и 2
первый за 19 год и второй за 20 год. т.к
при ключе 5 в первом есть данные а во втором нету. так как май же у нас еще не наступил и данных там тоже нет

Answer 2

[Sanes]

https://dev.hh.ru/ а так?

Comments

[Vladislav]

там нету методов для работы с stats.hh.ru