Как спарcить данные с сайта при помощи JS?

Question

[Никита Корнилов]

Доброго времени суток!

Есть сайт — parts.major-auto.ru/SearchNew. Хочу написать скрипт, который будет вводить определенный номер детали в поле для ввода, нажимать кнопку поиска и забирать из итоговой таблицы стоимость найденной детали. Пожалуйста, подскажите каким способом это можно реализовать?



Читал про парсеры, но те решения, которые находил, оказывались слишком мудреными. Есть какое-то простое и универсальное решение, которое позволит автоматически выполнять эту задачу?

Заранее спасибо!

Answer 1

[tef]

Если это вопрос про джаваскрипт, то в целом решение можно написать руками. Все это делается с помощью юзерскрипта. Открываете файл, берете из него название детали, смотрите класс/айди инпута поисковой строки, смотрите название класса или айдишника в тэге в котором выдается поисковой ответ. В целом всё. Вставляете в поисковую строку по классу запрос, потом таймаут что бы дождаться ответа, забираете из выдачи иннертекст. Таков алгоритм (путь).
Если вопрос про автоматизированные и универсальные готовые решения, то таких я не встречал, пототму что для каждого сайта будут свои названия классов и свои какие нибудь сопутсвующие заковырки.
Если прям кровь из носа нужен парсер на js для конкретного сайта, то думаю, что на фрилансе вам напишут тысячи за 3-4.

Comments

[Никита Корнилов]

Благодарю! Про юзерскрипты не знал. Почитал, должны оказаться очень удобной штукой. Попробую сделать на них :)

Answer 2

[Stalker_RED]

Универсального нет, придется подстраиваться под конкретный сайт. Ну и вообще, не много готовых парсеров на js.

Вот это мудреная инструкция, или не очень? https://tproger.ru/translations/web-scraping-node-js/

Comments

[Никита Корнилов]

Спасибо, хорошая статья! Сам как-то не наткнулся на неё в процессе гугления. Сохранил себе)

Answer 3

[Also_known_as]

https://www.npmjs.com/package/osmosis можешь не благодарить

Answer 4

[Uno]

Простое решение это фриланс

Answer 5

[Kiljko]

Вам поможет папитьер. Он поддерживается Гуглом и впринципе очень хорош для парсинга страниц в интернете. Более того, вы можете спокойно настроить ввод данных, клик мышью и многое другое. Вот ссылка: https://pptr.dev

Answer 6

[fan92rus]

можно использовать юзерскрипты или PhantomJS для эмуляции браузера из под node js. если все проще и контент не генерируется на стороне клиента то можно отправлять запросы через fetch или axios и парсить через node-html-parser или подобные.
брать из поля номер детали подставлять в ссылку оправлять запрос и парсить. это выйдет дешевле по ресурсам