Как правильно парсить страницу, на которой надо выбрать производителя?

Question

[Дмитрий Морозов]

Есть задача получить данные по странице хттпс://www.emex.ru/f?detailNum=NPLPO3135&brandId=-2807 (например). При первом заходе на страницу, сайт спрашивает производителя. Не смотря на то, что мы GET передаем бренд-ID. Если еще раз зайти по этому урлу, то сразу показывает данные на выбранного производителя. Но в куках ничего нет. Куда сохраняет не понятно. Как быть? Подскажите как написать скрипт для выбора нужного бренда. Заранее благодарен

Для парсинга использую phantomJS.

Answer 1

[Ilya]

Есть хорошая новость и плохая.

Хорошая:
Перед обращением по URL вы можете вручную выставить cookie isBestLocationDetected = true и у вас не будет экрана запроса производителя.

Плохая:
Если будете активно обращаться к серверу, то получаете капчу.

Если же финт с cookie не устраивает, то при парсинге просто определяете что именно сейчас получил парсер - страницу с данными о товаре или выбор производителя. Если производителя, то phantomJS умеет в click(), так что проблем быть не должно. Но, я думаю, cookie должно хватить.

Comments

[Дмитрий Морозов]

О, спасибо. А как выставить cookie через phantomjs?

[Дмитрий Морозов]

Капчу уже ловил. Но благо запросов крайне мало. И прокси помогают.

[Ilya]

Дмитрий Морозов: Я давненько phantomJS не юзал, но дока phantomjs.org/api/phantom/method/add-cookie.html говорит, что есть метод addCookie(). Там пример очень понятный.

[Дмитрий Морозов]

Ilya: Спасибо. Попробовал подсунуть куку через браузер - i.imgur.com/2hbRnwW.png и не помогло. Обновляю страницу, все равно бренд выбрать предлагает

[Ilya]

Дмитрий Морозов: Берем Chrome. Открываем вашу ссылку. Удаляем все куки для домена exex.ru и при обновлении страницы получаем список производителей. Открываем консоль и пишем document.cookie="isBestLocationDetected=true". Жмем F5 и видим уже нужную страницу. Если уже здесь удалить этут куку и обновить страницу, то снова увидим список производителей. У меня именно так это и сработало.

[Ilya]

Ilya: *домена emex.ru

[Дмитрий Морозов]

Ilya: куки прописываются, но не помогает. Вот возврат от фантома. в шапке куки текущие выводятся, а ниже контент. все равно выводит производителей https://www.dropbox.com/s/ykdel7sfzynynza/NPLPO313...

[Дмитрий Морозов]

Ilya: что интересно, куки продублированы current-location например

[Ilya]

Дмитрий Морозов: Вы правы, ему нужны еще куки best-location и current-location

[Дмитрий Морозов]

Ilya: ну да, и они ведь там есть. Даже в двух экземплярах (я скриптом задаю, но почему то дублируются)

[Ilya]

Дмитрий Морозов: в Хроме посмотрите какое значение вам выставится для best-location, current-location и current-region-long-lat. Потом перед заходом по URL удалите эти куки, если они есть, и выставьте свои куки, чтобы в итоге не было дублирования. Всего перед заходом по адресу должно быть установлено 4 куки.

[Ilya]

Дмитрий Морозов: Или выставьте те best-location и current-location, что выдает вам emex, но куки должны в итоге быть не задублированы, вот в чем суть.

[Дмитрий Морозов]

Ilya: сделал но не помогло. Все решает "current-region-long-lat". Но там хитрая строка, я ее просто копировал и вставил. Может быть это не верно? Как будто кодировка кривая, поэтому и не работает. Без этой куки появляется выбор производителя. А с ней все ок. Строка такая копипастом: "%257B%2522Id%2522%253A2504%252C%2522Name%2522%253A%2522%25D0%259C%25D0%25BE%25D1%2581%25D0%25BA%25D0%25B2%25D0%25B0%2522%252C%2522EmexName%2522%253A%2522%25D0%259C%25D0%25BE%25D1%2581%25D0%25BA%25D0%25B2%25D0%25B0%2522%252C%2522Longitude%2522%253A37.620393%252C%2522Latitude%2522%253A55.75396%252C%2522AreaId%2522%253A2504%252C%2522AreaName%2522%253A%2522%25D0%259C%25D0%25BE%25D1%2581%25D0%25BA%25D0%25B2%25D0%25B0%2522%252C%2522CountryId%2522%253A3%252C%2522CountryName%2522%253A%2522%25D0%25A0%25D0%25BE%25D1%2581%25D1%2581%25D0%25B8%25D1%258F%2522%257D"

[Дмитрий Морозов]

Дмитрий Морозов: Понятно. Там закодировано это "{"Id":1243,"Name":"Зеленоград","EmexName":"Зеленоград","Longitude":37.214382,"Latitude":55.991893,"AreaId":2505,"AreaName":"Московская область","CountryId":3,"CountryName":"Россия"}" Но как это через фантом залить туда?

[Ilya]

Дмитрий Морозов: да, все верно вы определили. Там дважды закодированная строка. Вам надо дважды сделать с json-строкой encodeURI и итоговое значение положить в куку.

[Дмитрий Морозов]

Ilya: Можете помочь с кодом этой операции?

[Дмитрий Морозов]

Ilya: сделал вывод кук из phantomjs. на вид все верно, но все равно список выдает. _ym_visorc_18880285=w
_gat_physTracker=1
_ga=GA1.2.351290068.1473857228
_gat=1
_ym_uid=1473857228181535675
NSC_xxx.fnfy.sv=ffffffffc3a01c1d45525d5f4f58455e445a4a423652
__RequestVerificationToken=CY4OogRoBh7_dJgb8gEw0KE3ihAvxOaRFXyvDaSV_RkFHEaKPXGJ29CCypHDg6hAG4pCt7gREHgSr9occGzS7gABZ1NO-73quKvePL-bkujHP-eZw-ffa6Uqi6wskoeP85yQi3c3L2wop7pEQ0bn-Q2
current-region-long-lat=%257B%2522Id%2522%253A1243%252C%2522Name%2522%253A%2522%25D0%2597%25D0%25B5%25D0%25BB%25D0%25B5%25D0%25BD%25D0%25BE%25D0%25B3%25D1%2580%25D0%25B0%25D0%25B4%2522%252C%2522EmexName%2522%253A%2522%25D0%2597%25D0%25B5%25D0%25BB%25D0%25B5%25D0%25BD%25D0%25BE%25D0%25B3%25D1%2580%25D0%25B0%25D0%25B4%2522%252C%2522Longitude%2522%253A37.214382%252C%2522Latitude%2522%253A55.991893%252C%2522AreaId%2522%253A2505%252C%2522AreaName%2522%253A%2522%25D0%259C%25D0%25BE%25D1%2581%25D0%25BA%25D0%25BE%25D0%25B2%25D1%2581%25D0%25BA%25D0%25B0%25D1%258F%2520%25D0%25BE%25D0%25B1%25D0%25BB%25D0%25B0%25D1%2581%25D1%2582%25D1%258C%2522%252C%2522CountryId%2522%253A3%252C%2522CountryName%2522%253A%2522%25D0%25A0%25D0%25BE%25D1%2581%25D1%2581%25D0%25B8%25D1%258F%2522%257D
current-location=20264
best-location=20264
isBestLocationDetected=true

[Ilya]

Дмитрий Морозов: к сожалению, мне сложно вот так определить в чем именно у вас там загвоздка. Попробуйте для начала поступить проще - зайдите по урлу, заберите значения этих кук, что выдаст emex. Дальше добавляйте к ним еще и isBestLocationDetected=true и делайте еще один запрос на тот же урл с того же ip (через тот же прокси, что и до этого).

[Ilya]

Дмитрий Морозов: как успехи?

[Дмитрий Морозов]

Ilya: никак к сожалению. Уже сделал серию экспериментов. Куки проставляются, но скрипт все равно возвращает перечень производителей

[Дмитрий Морозов]

Ilya: подключил запись кук в файл. Выдает все верно https://www.dropbox.com/s/2l57ww8vwm40g4y/cookies.... Но результат такой: https://www.dropbox.com/s/ykdel7sfzynynza/NPLPO313...

[Ilya]

Дмитрий Морозов: Есть еще вариант прямого обращения к https://www.emex.ru/Find2/Find/FindByDetailNum с передачей POSTом данных, на выходе получите чистый json со всей нужной информацией. Я за 5 минут на коленке проверил в php+curl:
$url = 'https://www.emex.ru/Find2/Find/FindByDetailNum';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, "detailNum=NPLPO3135&loadingGroupId=-2807&packetId=-1&locationId=19165&deliveryType=&isFirstLoading=true&performanceLogSessionId=31e620f5-0881-4d7a-a525-7480d1a6e56d&latitude=55.888755&longitude=37.430337&__RequestVerificationToken:Lj-osQ6yqY56ce_nckf-1GDRuy1oB4P6uN4PYw1GdPKV462BowmomZQVLXSePDfMwLdbzm6pBR2yJ9T-C85ci3GyDBtF_KyaSGAjPa74HomqkT9YEIjsB3jXWvJLrcLL9dhBonxJVnwYokXLc5tHgQ2");

$res = curl_exec($ch);
curl_close($ch);
var_dump($res);

И получил полноценный json в ответе. Конечно же token надо понять как генерировать и про куки в итоге не забыть, но даже приведенный выше код уже делает свою работу.

[Дмитрий Морозов]

Ilya: хм. Попробую Ваш код. Но помню что они через JS грузят данные и через curl полный код не возвращался.

[Ilya]

Дмитрий Морозов: вот именно отсюда https://www.emex.ru/Find2/Find/FindByDetailNum их js аяксом подтягивает данные. Если есть вариант напрямую обращаться сюда, то нет надобности рендерить всю страницу фантомом. Приведенный выше код у меня уже сработал и вернул данные, то есть это не просто догадка. Если данных там не хватает, то надо продолжать разбираться с фантомом, но тут я уже вам не помощник - надо смотреть исходники.