Как спарсить все точки с google карты на сайте padi.com?

Question

[miron258]

Добрый день, необходимо сделать парсер с сайта padi.com.
Мне нужна база данных дайв шопов. Идеально в EXEL. Колонки такие:
Название дайв шопа
URL
Email
Телефон
Имя человека (если есть)
В первую очередь США, Канада, Германия, Швейцария, Австрия, Англия. Потом поговорим за другие страны.
США и Канада совсем в первую очередь
Источники:
padi.com в меню – find a diveshop, выскакивает карта с отмеченными дайв шопами
__________________________
Как мне разом получить json со всеми шопами с данного сайта а именно точки с карты GOOGLE, в данный момент загрузка происходит через AJAX динамическая и точки подгружаются по мере пролистывания карты (ответ отдается в JSON но лишь для точек которые входят в область видимости карты). Подскажите как спарсить все точки разом с данной карты. Вот конкретная ссылка https://apps.padi.com/scuba-diving/dive-shop-locat... Заранее спасибо. Очень жду ответа. Хотя бы подскажите реализуемо это или нет?

Answer 1

[Александр Новиков]

Не вижу особых препятствий:

Eсть URL

POST https://apps.padi.com/scuba-diving/dive-shop-locator/Dsl/GetDiveShops

Принимает json параметры

cLat:33.638802
cLong:-117.603366
courseIds:""
distanceMeters:1000000
eLng:-117.1913786953125
levelIds:"3,2"
mapSize:"smaller"
nLat:33.99591887201719
offeringIds:""
sLat:33.280197932608054
searchString:""
specialtyId:-1
storeNumber:-1
wLng:-118.0153533046875

Нужно провести ревес инженириг (читай, потестить с разными параметрами) на что влияют Lang/Lng/Lat параметры, и написать просто цикл запросов который бы для всех участков карты запросил с сервера результаты.
В тестах поможет ответ - там как раз границы указаны. (массив SearchRecords - результаты поиска, Bounds - границы участка поиска)
По сути задача
1) понять какие входные параметры запроса возвращают какой участок карты в Bounds)
2) подобрать массив входных параметров чтобы перебрать все участки карты последовательно
3) запустить цикл и спарсить ответы из SearchRecords в одно хранилище
4) убрать дубликаты
5) преобразовать в желаемый формат (csv для excel)

Comments

[miron258]

Спасибо, пробовал такой вариант уже. Запрос отсылать на сервер через CURL или AJAX кроссдоменно думаю только первым вариантом (им и делал до этого) или есть еще какие то решения, я пробовал через CURL, но ничего не отдает.

[Александр Новиков]

miron258,

curl 'https://apps.padi.com/scuba-diving/dive-shop-locator/Dsl/GetDiveShops' -H 'Pragma: no-cache' -H 'X-NewRelic-ID: VQQBUVFQCxABV1ZaDwIAUg==' -H 'Origin: https://apps.padi.com' -H 'Accept-Encoding: gzip, deflate, br' -H 'Accept-Language: en-US,en;q=0.9,ru;q=0.8,uk;q=0.7' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' -H 'Content-Type: application/json; charset=UTF-8' -H 'Accept: application/json, text/javascript, */*; q=0.01' -H 'Cache-Control: no-cache' -H 'X-Requested-With: XMLHttpRequest' -H 'Cookie: LanguageId=5' -H 'Connection: keep-alive' -H 'Referer: https://apps.padi.com/scuba-diving/dive-shop-locator/?mapsize=larger.' --data-binary '{"cLat":33.638802,"cLong":-117.603366,"sLat":33.280197932608054,"nLat":33.99591887201719,"wLng":-118.0153533046875,"eLng":-117.1913786953125,"searchString":"","distanceMeters":1000000,"mapSize":"smaller","levelIds":"3,2","courseIds":"","offeringIds":"","specialtyId":-1,"storeNumber":-1}' --compressed

Так curl точно отвечает. Достаточно скопировать в браузере из Network через Copy as Curl

[miron258]

Спасибо огромное не ожидал что так просто, вроде писал и большие проекты но до парсеров и таких задачей как-то не доходило. ПАРСЕР ГОТОВ.

[Дмитрий]

miron258, а почему тогда не отметили ответ решением?

[Дмитрий]

Александр Новиков, а откуда взялась эта часть адреса "Dsl/GetDiveShops"?

[Александр Новиков]

slo_nik, понятия не имею, вопрос к авторам сайта) Я просто открыл Network и смотрел, какие запросы улетают и какие ответы возвращаются.
Но вообще по сути у ребят сайт на ASP.NET MVC 5.2, но они попросту не стали разделять в роутере как-то визуально эндпоинты самого сайта и API для Ajax
Т.е

/scuba-diving/dive-shop-locator/ - роут рендерящий страницу с картой и тд в text/html формате

/scuba-diving/dive-shop-locator/Dsl/GetDiveShops - роут отдающий данные поиска в application/json формате

Сами URL судя по отсутствию единого стиля построения придумывали от балды

[Дмитрий]

Александр Новиков, спасибо, посмотрю ещё раз внимательней.