Как подойти к написанию парсера, производящего действия на сайте?

Question

[Beeshop87]

Приветствую!
Никогда не писал парсеры. Но есть цель написать парсер, который будет собирать данные с магазина автозапчастей под заказ.
Т.е. принимать артикул детали, либо текст поискового запроса, переходить на сайт-жертву, вводить данные в форму поиска, а результаты отправлять мне.
Подскажите какие технологии применить, изучить?

Comments

[Kvason]

как минимум загуглить

[Beeshop87]

Kvason, гуглил. Нашел только постраничный.

[Kvason]

Beeshop87, а в чем собсна разница? Сам парсинг то тот же самый, находишь блоки, у них дочерние и выводишь текст

[Beeshop87]

Kvason, парсер должен:
1. зайти на страницу
2. ввести поисковый запрос
3. Перейти на результаты поиска либо дождаться ajax.
4. Только потом спарсить результаты

[Beeshop87]

Beeshop87, я не догоняю каким инструментом произвести взаимодействие с формой.

[Kvason]

Beeshop87, ну смотри, тут несколько вариантов, либо использовать какой-нибудь селениум и эмулировать ввод вручную, либо в requests отправлять пост запрос который тебе нужен, если у тебя поиск работает по гету то вообще без проблем, просто подставляй куда надо в урл твой запрос по примеру

[Wild_Wild_WesT]

Kvason, почитал про селениум. Спасибо, интересный инструмент)
Про урлы не подумал совсем. Благодарю)

Answer 1

[zkrvndm]

Самый простой вариант это использовать JavaScript для парсинга.
Заходишь на сайт донор, открываешь консоль Ctrl + Shift + J и спокойно запускаешь свой код.
Что можно делать на JavaScript? Да в принципе все что угодно, он дает полный контроль над браузером.

Comments

[Wild_Wild_WesT]

JavaScript штука полезная. Но мне нужно запускать парсинг по событию. Может есть на JavaScript готовые библиотеки под такие цели?

[zkrvndm]

Wild_Wild_WesT, пожалуйста, запускайте, кто мешает? JavaScript и есть та самая библиотека, на нем можно запрограммировать какую угодно логику - ничего сверх него самого НЕ НУЖНО. Просто похоже вы даже не знаете, как начать. Либо учите основы языка, либо заказывайте у кого-нибудь консультацию / обучение, чтобы он показал вам на пальцах, как на JavaScript парсить те или данные, по условию.