Что необходимо знать, чтобы парсить сайты?

Question

[Alex_87]

Добрый день! Возник вопрос по поводу парсера и того, как достигнуть подобного уровня знании, позволяющего парсить сайты любой сложности. Прошу мне помочь!
Искал информацию в поисковике, но часто попадал на общие фразы, размышления, на каком языке это делать. Единственное, что пока понятно, что парсить можно на любом языке. Поэтому я решил обратиться к вам, я заранее прошу прощения за столь долгое вступление, но я объясняю всё это для того, чтобы не получать в ответ фразы - "Поисковик вам помощь" . Там я уже был... Я прошу вас, как профессионалов, кратко изложить свой ответ. Желательно, если это будет либо
последовательным списком тем, которых нужно пройти!
Сразу скажу, что парсить я хочу на javascript/ Node.js!

Comments

[Ярослав Александров]

140 вопросов и первые вопросы заданы более двух лет назад.
Вам не светит не только парсинг, но и javascript/ Node.js

[Alex_87]

Ярослав Александров, Давайте, вы свои оценки оставите при себе, если конечно, вы не хотите со мной поспорить на деньги) Если у вас есть конкретные предложения, касаемо моего вопроса - пожалуйста озвучьте, а если захотелось по троллить, то прошу вас покинуть мою тему и больше не писать. Надеюсь, что вы меня услышали!

[Ярослав Александров]

Alex_87, какие могут быть советы человеку, который за два года не стал специалистом? Если вам что-то не нравится тогда удалите вопрос.
По поводу совета. Выкладывайте конкретный пример кода и проблему, которую пытаетесь решить.

[Alex_87]

Ярослав Александров, А то что я два года не занимался серьёзно js, не считая временных задач, которые мне нужно было решать, и только сейчас начал, вам не приходило в голову?
"какие могут быть советы человеку... " - так уходите отсюда, кто вас здесь держит?))) Нет, нужно обязательно нагадить, как без этого. Терпеть не могу подобных личностей!
Какой ещё код!???) Я о направлении в учёбе спрашиваю! Или это запрещённые вопросы?
Слушай, ты какой-то странный. Я уже написало тебе в начале. Не нравиться, не хочешь помогать, тогда иди своей дорогой. Чего ты привязался? Просто уйди!!!

[Ярослав Александров]

Alex_87, не вам определять что мне делать.
Я реально вам хочу помочь, в качестве доктора. Посмотрите тег "парсинг"
https://qna.habr.com/tag/%D0%BF%D0%B0%D1%80%D1%81%...
Также на тостере есть поиск
https://qna.habr.com/search?q=%D0%BF%D0%B0%D1%80%D...

Answer 1

[BATPYIIIKOB]

Действительно... Если хочешь парсить на JS - учи JS :). Не лишним будет освоить Node.js, вот под неё то уже есть готовые библиотеки для парсинга сайтов :)
https://tproger.ru/translations/web-scraping-node-js/
https://slimerjs.org

Comments

[Владимир Коротенко]

Зачем для работы с текстом использовать неподходящий язык если есть уже лет 40 подходящий?

https://mojolicious.org/perldoc/Mojo/UserAgent

[BATPYIIIKOB]

Владимир Коротенко, затем, что я дал ответ на конкретный вопрос, учитывая пожелания автора вопроса, а не стал пороть отсебятину и предлагать освоить ему новые границы неизведанного. Вчитайтесь в вопрос, после давайте "умные" ответы.

[Владимир Коротенко]

BATPYIIIKOB, Вы ответили как. Но мягко говоря это не оптимальное решение, я спросил зачем и посоветовал более подходящее решение.

Обычно при скрапинге используют от 4 до 80 потоков, и длится процесс несколько дней. Представляете размер проблемы?

[BATPYIIIKOB]

Владимир Коротенко, сомневаюсь, что автор задающий такой вопрос кинется изучать Mojo

Answer 2

[zkrvndm]

Чтобы парсить на JavaScript достаточно знать этот самый JavaScript, так как он СПЕЦИАЛЬНО создан, чтобы работать с контентом на сайтах (вот неожиданность).

Comments

[Владимир Коротенко]

Надим Закиров Кто вам сказал такую неоднозначность?
Ява скрипт в общем то язык общего назначения. Тесно переплетается с DOM, но в общем то ничего не знает про эти наши вебы.

[Alex_87]

С контентом на ЧУЖИХ сайтах. А это означает, что как-то нужно ещё добраться до них. Нужно хорошо разбираться в тех же протоколах. По этому мне и нужно было детальное объяснение того, на какие темы нужно заострить внимание!

[zkrvndm]

Alex_87, способов запустить свой JavaScript на чужом сайте много:

1. Использовать готовые расширения по типу такого
2. Написать свое расширение для инъекции кода
3. Использовать специальные ручные браузеры навроде Selenium и PhantomJS
4. Также можно использовать php-прокси (или любой другой) для внедрения своего кода на сайт
5. Еще можно создать программу на базе фреймворка Electron и там все парсить

Наверняка есть еще способы, но вам хватит и этих.

[zkrvndm]

Владимир Коротенко, я не спорю) Сейчас на JS можно и нейросети запускать.

[Владимир Коротенко]

Надим Закиров, Круто что только фронтендеры не придумают что бы не сделать задачу на бэке :)

Как насчет отчетов, регулярного обхода, восстановления парсинга при обрыве связи, мультипоточности, прокси серверов ?

[zkrvndm]

Владимир Коротенко, все это можно и в браузере реализовать - главное точки отказа не забыть предусмотреть. Управление парсингом выводим в background.js и рулим браузером как хотим, в сколько угодно потоков, лишь бы железо потянуло.

[Alex_87]

Владимир Коротенко, Говоря о мультипоточности, прокси серверов, кроссдоменные запросы (cors), взайимодействие с внутренними окнами, iframe, имеется ввиду какой язык серверный язык в связке c javascript? Вы простите, что я всё про свой язык говорю и задаю такие вопросы! Просто, тот язык на котором учишь, с тем и хочется что-то делать) Мне реально, все эти темы выше, интересны!!! Я просто не знаю, откуда получить эти знания. Подскажите пожалуйста направление.

[Владимир Коротенко]

Alex_87, Лучше отталкиваться от бизнес задачи. Просто сесть за компьютер и пройтись по сайту.
Выделить области которые нужно парсить, панели переходов.
Дальше создайте модель для парсинга.
пусть там будет ссылка на картинку, дата, цена, наименование, категории

После смотрите откуда это все приходит. Самый хороший инструмент это панель отладчика браузера.
Увидели, теперь подбираете инструмент, самый оптимальный это библиотеки для парсинга DOM, там вы сможете использовать запросы XPATH.

Бывает "ломаный" html, тут уже можно его нормализовать и по регулярному выражению выдернуть что то нужное.

Дальше переносите все это в алгоритм. Язык в общем то не важен. Я например использую Perl или Net и (Html Agility Pack)

Возможно что вас отловят (скорее всего), поэтому нужно обработать и этот сценарий, например использовав прокси сервер. Дополнительная головная боль это капча и системы защиты от DDoS Привет магазину DNS и Авито.

В общем то и все.

Answer 3

[Владимир Коротенко]

Есть 2 типа парсинга, DOM и regexp

У каждого типа есть свои преимущества и недостатки.

только мне интересно как вы собираетесь бороться с

Access to fetch at 'https://ya.ru/' from origin 'chrome-search://local-ntp' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. If an opaque response serves your needs, set the request's mode to 'no-cors' to fetch the resource with CORS disabled.

Или все же Node.js ?

Comments

[Alex_87]

Я подозревал, что без Node.js не обойдётся) Ничего страшного, будем его учить!

[Владимир Коротенко]

Alex_87, Кстати не торопитесь, для работы с текстом есть значительно более мощный инструмент. PERL

Вот приятный фреймворк, который рвет практически всех.
https://mojolicious.org/perldoc/Mojo/UserAgent

[Alex_87]

Владимир Коротенко, Получается, что нужно учить другой язык программирования) ... Вы наверняка знаете, чем сильнее node.js? То есть, стоит ли ради него, в будущем, специально изучать данный язык?

[zkrvndm]

CORS элементарно обходится посредством браузерных расширений. Нода для пасринга не нужна, вот совсем-вообще.

[Владимир Коротенко]

Alex_87, Огромная кодовая база CPAN, там есть модули на любой случай жизни.
Проверенно временем. Если вы идете в Linux, то там будет куча скриптов на перле.
Экономная работа с памятью. Замечательная работа с регекспами. Ну и нравится он мне

[Владимир Коротенко]

Надим Закиров, То есть запустить на костылях браузер, ждать когда он вылетит и не контролировать процесс, как по мне так себе "плюсы".

[zkrvndm]

Владимир Коротенко, вообще-то когда рулишь браузером, результат видишь наглядно и в консоли контролируешь все ошибки. Алгоритмы пишутся легко и просто, отладка быстрая, что еще надо? А от утечек памяти никто не застрахован, тут все зависит от опыта. Ну и огромный плюс браузерных ботов: их хрен отличишь от реальных посетителей, вероятность бана минимальная, с авторизацией на сайтах тоже минимум проблем.

[Dima Rich]

Во-первых, вы правда предлагаете использовать regexp для разбора контекстно-свободной грамматики?
Во-вторых, с каких это пор методов парсинга всего два? Для одного только HTML/XML их не меньше трёх (SAX, StAX, DOM)

[Владимир Коротенко]

Dima Rich, Пусть будут реальные примеры:

Письмо с фразой
"Я перевожу вам: 3 апельсина"
Создается на основе шаблона, но пользователи любят изменять этот шаблон.
В итоге семантика есть, а начинаешь парсить мусор.
А регуляркой выбрал широкий диапазон, почистил от тегов и вот он результат.

Детали, то что вы привели это технологии разбора данных.

Уточню немного,
1 метод это тупой поиск вне зависимости от структуры
2 метод построение модели документа, и оптимизация поиска исходя из данных модели.

[Dima Rich]

Владимир Коротенко, ваш пример не оправдывает использование регулярных выражений для сложного разбора больших объёмов кода контекстно-свободной грамматики. В частности в HTML могут использоваться: HTML-код, код стилей, не вынесенный в CSS-файл и JavaScript. Я не уверен, может быть что-то ещё. Итого имеем 3 языка в одном документе, которые в непредсказуемом месте перетекают друг в друга. Итого нужно иметь 3 разных парсера, и скорее всего 3 разных лексера.
Простой пример: есть тег link ... , и допустим, вы ищете его в тексте по (здесь угловая скобка, почему-то не отображается)link. Но раз в году и палка стреляет, и однажды вы напоретесь на скрипт, содержащий код: x(меньше)link, и ваш парсинг поломается.
А на следующий год вы наткнётесь на комментарий в JS-коде, содержащий этот текст. Или на комментарий HTML-кода. Или на комментарий в JS-коде, который будет закомментирован на уровне HTML-кода.
К тому же, HTML разрешает не закрывать некоторые теги, мне прям интересно, как вы обработаете все ситуации. А вложенность HTML-документов сегодня немаленькая.
Регулярные выражения только кажутся невероятным инструментом для чего угодно.
Когда есть только молоток, всё похоже на гвоздь.
Я вообще затрудняюсь придумать честную область применения регулярных выражений, где они были бы к месту.
Но точно не для разбора грамматики, которая выше по уровню регулярной!

[Владимир Коротенко]

Dima Rich, Как вы правильно заметили на каждого воробья нужно выбирать свою пушку.

Для сайта центробанка подойдет банальный поиск по картинке, что бы стащить информер с картинкой
Для 2gis загрузка через api и парсинг страниц через dom и несколько подзапросов
Для одного сайта знакомств нормализация, dom, и регекспы
Для фиас, казалось бы голый xml, но проблема в размерах, базовый набор сразу весит ок 14 гигабайт, любой запрос добавляет 14 гигов, так что только SAX, и небольшой тюнинг базы для быстрой вставки

В общем выбирать нужно под каждую задачу

[Dima Rich]

Владимир Коротенко, картинка может подгружаться скриптом во время работы страницы, и это обыденная методика. Тогда либо нужно искать какие-то метаданные по странице, т.е. всё-таки парсить, либо нужна среда исполнения JS (вы сами упоминали меняющийся формат данных)

[Владимир Коротенко]

Dima Rich, Всему свой молоток.
Например на сайте sysadmins.ru Петр и вандайк накрутили скрипт который шифрует названия тем, это решается отдельным потоком, где запускается их же скрипт. Привет Петр

На сайте объявлений есть onclick которые запрашивают телефон, это логично обработать в виртуальном браузере, но опять же есть другие варианты

Есть сайт прокси серверов, там тоже ява скрипт и довольно интересный, но там я использовал банальный регексп и несколько поисков.

В общем индивидуальный подход рулит

Answer 4

[Сергей Сунцев]

Для того что бы парсить эффективно в первую очередь нужно понимание, как работают сайты.
Учите технологии, протоколы http/https, типы запросов, кроссдоменные запросы (cors), взайимодействие с внутренними окнами, iframe.

Если вы хотите парсить с помощью Javascript, то нужно знание этого языка.
Далее необходимы понимание инструментов парсинга, как сказал один мудрец, для того что бы спарсить сайт ты должен не просто думать как сайт, ты должен стать сайтом.
В общем используйте технологии консольного браузерного движка webkit, так больше шансов, что у вас получится спарсить нужные данные и вы не застряните на какой то заглушке или капче. Для этого подойдет что то типа puppeteer

Comments

[Alex_87]

"в первую очередь нужно понимание, как работают сайты" -
Спасибо за подробный комментарий! А у вас есть сохранённые статьи или книги на эту тему? Мне очень важно понимать, как всё устроено и знать это очень хорошо!

[Сергей Сунцев]

Alex_87, Я думаю вам лучше конкретно на практике попробовать. Возьмите за образец какой нибудь интернет магазин и попробуйте спарсить весь его каталог. По ходу дела я думаю будете натыкаться на какие-либо сложности и вам непременно будут нужны навыки web разработки описанные мной выше.

Для начала попробуйте запустить puppeteer попробовать им позагребать.

[Alex_87]

Сергей Сунцев, Спасибо! Сейчас прохожу js на Хекслете. И чем дальше, тем интереснее. Появляются новые вопросы. Но вы не думайте, что я задал этот вопрос от нечего делать. Мне это реально нужно. Просто я к этому уже заранее готовлю, собираю информацию для обучения!

[Alex_87]

Сергей Сунцев, Но если мы говорим о парсинге, то это как правило взаимосвязка js с серверным языком(к примеру Node.js) я правильно понимаю?

[Сергей Сунцев]

Alex_87, да конечно вы же должны данные куда то собирать, не в браузере же их хранить. Поэтому все это надо запускать из под какой то платформы, это может быть node.js, либо другой серверный язык, типа PHP, python и др.

Answer 5

[Dima Rich]

Хочешь парсить - почитай про парсеры, про теорию компиляторов, про формальные грамматики, посмотри примеры других парсеров