Создание парсинга, этапы?

Question

[Alex_87]

Добрый день! Прошу немного рассказать о парсинге сайтов. Сейчас ищу информацию о том, как создать на сайт-парсер на javascript. Опишу задачу, чтобы было понятно, что я хочу.
Пользователь вбивает название товара, и ему списком выдаётся несколько магазинов, где есть этот товар и его стоимость с каждого магазина.
Проблема в том, что нет понимание по базовым вопросам, а именно
1) Подробная информация о этапах создание подобных сайтов.Представим, что есть поле input, куда пользователь должен ввести название товара и список сайтов, которые мы выбрали как цель для парсинга. С чего начать? Было бы супер, если бы ваш ответ на вопрос по этапам, был бы по структуре, примерно следующим
Этап
1)
- нужно сделать это.....
- Необходимые знание(темы) следующие....
2)
А так, любой совет, ссылка с вашей стороны будут полезны!!! Это должен быть javascript, с возможной обработкой на php если это необходимо. Другие языки прошу не предлагать!

Прошу дополнить: https://miro.com/app/board/o9J_knAKmgA=/

Answer 1

[kocherman]

На лету парсить и сразу выдавать результат не получится. Парсить необходимо заранее, помещая результаты поиска в БД. Следует учитывать, что запрашиваемые поисковые фразы требуют полнотекстового поиска в БД.

Парсеры бывают нескольких типов:
1) Простой парсер html для публичных открытых данных. Такой парсер легко сделать, например, на php или nodejs (модуль cheerio справится без проблем).

2) Парсер открытых данных, получаемых через javascript. Тут немного сложнее. Нужен либо консольный браузер вроде slimer.js, casper.js, phantom.js, selenium, либо модули jsdom и zombie.js. Пример такого парсинга - парсинг паблика вконтакте.

3) Парсер данных, доступных по авторизации. Такому парсеру для работы нужен оператор. Помимо алгоритма непосредственно парсинга, нужен пользовательский интерфейс для авторизации.

Стоит предусмотреть, что периодически будет вылетать капчи. Этот момент надо правильно опознавать. Капчу могут решать индусы, позволяя полностью автоматизировать процесс - https://2captcha.com/ . Можно решать оператором. Если капча требует распознать символы, помочь может Tesseract (для яваскрипт своя версия).

Если есть вопросы - пиши комментарии. Как будет время - отвечу.

Comments

[Alex_87]

Спасибо за ответ и за желание помочь! Скажите пожалуйста, какую задачу решить мне как начинающему, чтобы понять принцип работы парсера. Вы можете описать мне какую-то задачку, которую я постепенно буду решать? И пусть это будет не работа с данными с нескольких ресурсов, пусть это будет с одного сайта. Но мне нужна инструкция, что именно нужно делать. (К примеру, вы пишите - "1 - получить данные. Для этого изучите тему такую-то, где рассказывается об этом .... и т.д.") Как я описал выше, я без понятия, через какие этапы нужно проходить.

[kocherman]

Alex_87, смотрите, парсинг - это процесс извлечения необходимых данных из бесконечного потока (или массива) информации.

То есть, в теории, что нужно для парсинга?
1. Обозначить какие данные нам необходимы.
2. Найти тот бесконечный поток информации. откуда эти данные можно извлекать.

Кстати, забыл отметить важную деталь - начать надо с изучения регулярных выражений. В википедии отличная статья. Правила регулярных выражений почти одинаковы для всех языков программирования. Освоение их сильно расширит ваши возможности. Я их использую ежедневно - не было ни дня, когда регулярные выражения бы не пригодились. Они помогают и на работе и дома. Дома, например, автоматически рассортировать по папкам коллекцию mp3-музыки или коллекцию книг.

Для тренировки парсинга есть отличные универсальные упражнения.
В качестве бесконечнго потока данных я обычно беру выдачу яндекса - первые 10-100 найденных сайтов.

Задача. Составить список телефонных номеров на первых найденных в Яндексе 100 сайтах по запросу "ремонт компьютеров". Просто список телефонов. без описаний. Оформить это дело обычным скриптом.

Когда с этим справишься - задача посложнее. Читай то же самое, только не номера телефонов, а адреса офисов. В адресе больше слов и чисел. Поэтому адрес на странице чуть сложнее опознать.

[kocherman]

Выписал несколько актуальных полезных ссылок по регулярным выражениям.
Надеюсь, эта информация будет полезна.

Начать с нуля можно со статей. Прочитать лучше все статьи.

Справочники понадобятся позже, на практике.
В википедии самая короткая статья по регуляркам. Никакой воды. Можно использовать как шпоргалку-справочник.

Среди инструментов выберите один, который понравится больше.

Если после прочтения всех статей, всё равно не понятно, можно посмотреть видео.

В последний раздел “тренировки ” я собрал несколько ресурсов, полностью посвященных изучению регулярных выражений.
Несмотря на то, что эти ресурсы с “тренировками” английские, в конце каждого урока есть упражениния для закрепления.
Чтобы выполнять упражения английский знать не обязательно.

_______________  ________    __  __   ____     ________  __
  / ____/_  __/   |/_  __/ /_  / / / /  / __ \  _/   / __ \/ /
 / /     / / / /| | / / / __ \/ / / /  / / / /_/_// / /_/   / 
/ /___  / / / ___ |/ / / /_/ / /_/ /  / /_/ //_/ / /\__,   /  
\____/ /_/ /_/  |_/_/ /_.___/\____/  /_____/_/  /_//____/_/   
                                                              
    __  _____   __  __ ___       ______    __  ______  _________ 
   / / / /   | / / / //   |    _/   / /_  / / / / __ \/____/ __ \
  / /_/ / /| |/ /_/ // /| |  _/_// / __ \/ /_/ / / / / /  / / / /
 / __  / ___ /__  _// ___ |_/_/ / / /_/ / __  / /_/ / /  / /_/ / 
/_/ /_/_/  |_|  /_//_/  |_/_/  /_/_.___/_/ /_/\____/_/   \____/  
                                                                 
   ____  __________  ____  ________  ____  ______  __
  / __ \/ ____/ __ )/ __ \/ ____/ / / / / / / __ \/ /
 / / / / /   / __  / / / / __/ / /_/ / / / / /_/   / 
/ /_/ / /___/ /_/ / /_/ / /___/ __  / /_/ /\__,   /  
\____/\____/_____/\____/_____/_/ /_/\____//____/_/

Регулярные выражения

Регулярные выражения, пособие для новичков. Часть 1

Регулярные выражения для новичков

________________  ___    ____  ____  __  __ __  ____  ____ ____  __
  / ____/ __  / __ \/   |  / __ )/ __ \/ / / // / / / / / / //_/ / / /
 / /   / / / / /_/ / /| | / __  / / / / / / // /_/ / / / / ,< / / / / 
/ /___/ / / / ____/ ___ |/ /_/ / /_/ /___  // __  / /_/ / /| / /_/ /  
\____/_/ /_/_/   /_/  |_/_____/\____/   /_//_/ /_/\____/_/ |_\____/

Википедия. Регулярные выражения.

30 примеров полезных регулярных выражений.

Примеры регулярных выражений

__  ____  ____________________  ____  ___________  __________     __
  / / / / / / / ____/_  __/ __ \ \/ /  |/  / ____/ / / /_  __/ /_   / /
 / / / / /_/ / /     / / / /_/ /\  / /|_/ / __/ / /_/ / / / / __ \ / /  
/ /_/ / __  / /___  / / / ____/ / / /  / / /___/ __  / / / / /_/ // /   
\____/_/ /_/\____/ /_/ /_/     /_/_/  /_/_____/_/ /_/ /_/ /_.___/__/

Конструктор регулярных выражений

regex101.com

regexr.com

____  __  ______  __________ 
   / __ )/ / / / __ \/ ____/ __ \
  / __  / / / / / / / __/ / / / /
 / /_/ / /_/ / /_/ / /___/ /_/ / 
/_____/\____/_____/_____/\____/

Регулярные выражения для новичков и не только [Gee...

022. Регулярные выражения - Максим Ширшин

Не бойтесь регулярных выражений. Regex за 20 минут!

Регулярные Выражения. Основы / Regular Expressions...

Регулярные выражения в JavaScript #1 – Символьные ...

Learn Regex (Regular Expressions) In Under 12 Minutes

_________  ______ ____  _____  ____  ___  __ ____  __
/_  __/ _ \/ __/ // / / / / _ \/ __ \/ _ )/ //_/ / / /
 / / / ___/ _// _  / /_/ / ___/ /_/ / _  / ,< / /_/ / 
/_/ /_/  /___/_//_/\____/_/   \____/____/_/|_|\____/

Regular expression excercise - Sketch Engine

Regular Expressions Crash Course

Learn Regular Expressions with simple, interactive...

Rex Eats Regular Expressions for Breakfast

The regular expression game

[Alex_87]

kocherman, Прошу расширить блок схему, более подробно описав шаги: https://miro.com/app/board/o9J_knAKmgA=/

[Alex_87]

Alex_87, я часто и противников регулярных выражении встречаю. Как быть?

[kocherman]

Alex_87, я тоже много кого повидал. А все нормальные противники регулярных выражений знают их наизусть и применять умеют в 100% случаев, где могут чем-то заменить, чтобы сделать без них.

[kocherman]

Alex_87, да и поверьте мне, чтобы научиться делать решения быстрее регулярных выражений, это надо несколько десятилетий ежедневного кодинга. А такие люди парсингом не занимаются. В парсинге без регулярок делать нечего....

[Alex_87]

kocherman, спасибо что убедили, насколько это важно в парсинге, знать регулярки. Теперь понимаю, что нужно ими плотно заняться!

[Alex_87]

kocherman, можете помочь более полно раскрыть эти шаги и добавить новые, если нужно?
https://miro.com/app/board/o9J_knAKmgA=/

И я правильно понимаю, что парсеры нужны на втором шаге?

[kocherman]

Alex_87, помочь то можжет и помогу, а че за miro? тут что-то как ни пытаюсь открыть по ссылке - ничего не выходит

[Alex_87]

kocherman, странно. Говорите не можете открыть... Тогда я сделаю в другом mind map(может вы знаете нормальный, чтобы можно было блок схемы другим показывать по ссылке) Буду чуть позже, вечером. Нужно уходить!

[kocherman]

Alex_87, нет, я не знаю mind map :-) и я даже не очень понимаю зачем оно нужно?

[kocherman]

Alex_87, если вы пытаетесь оформить карту знаний на основе беспорядочных знаний, то советую оформлять знания как в Википедии, а не как в mind map. В Википедии знания разложены по полочкам буквально идеально.

[Alex_87]

kocherman, я возвращаюсь к своему вопросу относительно создания парсера. Я пытаюсь чётко определить шаги создания и подробно рассмотреть каждый шаг, чтобы понять как это всё работает. И за тем, преступить к реализации каждого шага. Я вынес шаги на другой ресурс и надеюсь, что здесь вы сможете увидеть:
https://desygner.com/editor/?id=IUynWPWcVki&referr...

Если же опять будет проблема, то вот вам картинка:


Надеюсь, что вы мне поможете разобраться! Если шаги нужно разбить на дополнительные шаги, то подскажите пожалуйста на какие. И по каждому шагу подробно, какие способы по реализации существуют(я использую язык javascript и хотел бы понять как всё сделать на нём. Если у вас будет желание и время, то отдельно и по php. Но в первую очередь интересует javascript)

[kocherman]

Alex_87, начните с задачи которую я вам дал. Вот здесь половина решения. Настройте casperjs+phantomjs. Запустите этот скрипт, и попробуйте адаптировать его под решение задачи.

[kocherman]

Alex_87, Иногда бывает, что не получается. В таких случаях надо осуществлять парсинг вручную. Создаёте файлик, открываете код страниц и заполняете файлик необходимыми данными вручную. Озарение придет в процессе. Когда выполняешь много-много раз монотонное действие - озарение всегда приходит. И опять же, сами скрипты - это автоматизация именно ручного труда. Так что, это вам чит, применимый на 99% случаев.

Answer 2

[Tim]

1. Получаешь данные с input
2. Отправляешь на сервер php запрос с этим данными
3. В php парсишь нужные сайты. Если это обычные сайты многостраничники, то будет достаточно получить html функцией file_get_contents($url) и взять данные например библиотекой phpJquery. Если SPA приложения, то можно selenium или php phantomjs. После манипуляций в ответе возвращаешь данные эти. Возможно такое решение не самое лучшее т.к парсинг данных может быть длительным процессом

Comments

[Alex_87]

1 - Получаю в переменную к примеру название товара(пусть это будут книги): Собачье сердце - "Булгаков"
2 - На какой сервер отправлять? Как отправить запрос сервер чужих сайтов?
3 - Не совсем понятна фраза, "В php парсишь нужные сайты"

[Tim]

Alex_87, начни с простого тогда. Научись пока отправлять данные с клиента на сервер. По работай с базами данных, а потом уже за парсинг возьмёшься

[Alex_87]

Tim, 2 - На какой сервер отправлять? Как отправить запрос сервер чужих сайтов?

[Tim]

Alex_87, Google.com

Answer 3

[alekssamos]

https://habr.com/ru/post/301426/