Занимаюсь парсингом американских автоаукционов, т.к. по какой-то причине api у них нет, хотя им это было бы экономически выгодно, ведь он нужен реселлерам, которые бы выигрывали у них лоты.
copart.com уже позади
И следующий идет
iaai.com тут все значительно интересней, дело в том что тут используется https и ajax(методом POST). C ajax проблем нет, т.к. прекрасно понимаю что это и как это. Но вот https меня немного смущает, в основном тем что я не могу понять что же шлет браузер на сервер.
И так что имеем:
Страница
www.iaai.com/Vehicles/Search.aspx?RefinerSetName=V...
Задача, попасть с этой страницы на следующую страницу(«next>» снизу в пагинации);
Что знаю:
Для начала я проверил нужны ли куки для перехода на следующую страницу: стер их и попробовал перейти на след страницу в браузере, на что в ответ получил ошибку, в принципе этого и ожидал(с
copart.com на эти грабли уже наступил сначала). Методом постепенной чистки cookies определел что
единственная кука которая нужна для этих операций это кука сессии та что ASP.net (вторая не нужна)
В общем вот как это выглядит.
Далее начал анализировать POST данные.
— Запрос идет на туже страницу
— Никаких cookies важных для дальнейшей работы не принимается
— Найдена строка которая отвечает за переключение страницы на следующую(выделена)
<img src="
"
Значение этой строки это параметр который передается в JS функцию при клике на нужную мне ссылку.
При чем он неизменный для всех страниц, из чего можно предположить что выбранная страница хранится в сессии.
В общем вроде все просто, Не будь это https, почитал про него, и вычитал что данные передаются в шифрованном виде, но т.к. я вижу значение __EVENTTARGET не зашифрованным, я предположил что информация я ее вижу у себя еще не шифрованную, но по мойму это единственная строка которая незашифровнана, остальные параметры для меня это куча букв и цифр, которые меняются при каждом запросе.
Так вот вопрос в том, что делать с теми параметрами которые я не могу проанализировать, и соответственно отправить, или они не важны?
P.S. если у кого-то есть какие-то наработки с парсингом iaai.com(т.к. тема достаточно популярна) буду благодарен, и в качестве благодарности могу предложить парсер copart.com
