Как и где можно научиться писать многопоточные парсеры для любых задач?

Question

[Владислав Пилюгин]

Очень интересная тема: Парсинг.
Только в интернете нету нормальной информации по ней.
Где искать инфу?

Comments

[Владислав Пилюгин]

Pavel Denisov, Спасибо)

Answer 1

[Saboteur]

Только в интернете нету нормальной информации по ней.

Вы шутите? Вы просто не умеете парсить инет. Информации о парсинге в инете просто завались.

Почитайте что такое CVS, XML, HTML, дом-дерево.
Можно почитать про готовые библиотеки для разбора XML/HTML
Можно почитать про регулярные выражения

А дальше - писать на любом языке простенькие парсеры.

Comments

[Алексей Ярков]

Можно почитать про регулярные выражения

Жестокий вы =)

[DevMan]

Алексей Ярков, чойта?
регулярки зачастую - самый оптимальный вариант. все зависит от того, что именно надо спарсить.

[Saboteur]

Алексей Ярков, Я читаю курсы по регуляркам у себя в компании.
Еле еле накидал материала на 2 часа.

Другими словами за 2 часа можно освоить 80% того, что есть в регулярках. Ну а дальше - нарабатывать опыт практикой. Просто я сперва указал, что xml/html лучше разбирать готовыми библиотеками, но регулярки - просто идеальная вещь при написании велосипедов и автоматизации.
Особенно продвинутые группировки.

[Crash]

да уж, отжег своим высказыванием)

Answer 2

[Дмитрий Энтелис]

Структурно любой многопоточный парсер прост:
У вас есть 2 очереди: задачи на скачку и задачи на собственно парсинг.
Соответственно есть два вида воркеров.

Первый вид воркера берет задачи из очереди на скачку, качает их каким-нибудь курлом и помещают в очередь на обработку.

Второй вид воркера - каким-то образом разбирает контент и пихает его уже в итоговое хранилище.
Разбирать лучше всего регулярками - это работает быстрее всего.

Comments

[Wentixon]

Подскажите, а почему все не сделать сразу в 1 воркере и какой вообще от них профит?

[Дмитрий Энтелис]

Wentixon,

1. Эти воркеры реализуют ну абсолютно разный функционал, и как следствие в них будут возникать совершенно разные проблемы.
Что про задачу "быстро скачать 100500 страниц если владелец сайта этому не рад" сломано много копий, что в оптимизации разбора контента можно много чего придумать.

2. это позволяет более гибко управлять утилизировать мощность сервера/серверов.
первые воркеры в общем случае упрутся в канал связи, или ограничения по ip у того кого вы парсите (и тут можно снять десяток-сотню микро-инстансов амазона и запустите их там например)
вторые упрутся вероятней всего в процессор.

в зависимости от конкретной задачи может быть соотношение как 10-1х и 1-2й, так и прямо наоборот.

Answer 3

[latteo]

Минимум раз в год выходит видеокурс по парсингу на чистом ЯП или с помощью инструментов datacol, content downloader и другие. Часть из них оседает на торентах и файлообменниках. Часть изначально публичные и доступны на ютубе.

Answer 4

[spaceatmoon]

Могу сказать что делать маппинг из пустого в порожнее это просто, а сделать приложение которая решает жизненные проблемы это другое.

Поэтому только через опыт. Я вот писал 2 парсера. Оба они на что-то заточены. Первый товары в любом объеме может парсить прямо в сайт. Второй мой последний может парсить для последующего каркаса будущего сайта. Сейчас в скором времени буду писать мегакомбайн способный парсить любой контент руками домохозяйки. Ибо самому даже задрало настраивать одно и тоже. Актуально это для соцсеточек, всяких фото галерей. Но тут с SPA, js и весь этот бред, нужно какое-то решение.

Желательно чтобы на калькуляторе работало. Я думаю на js лучше не писать парсеры, только в ноги стрелять им. Очень прикольный и костыльный язык - люблю и ненавижу его.
C#, python, PHP, GO думаю норм будет.

Я вот пишу на PHP и мне норм, если меня не устраивает скорость, то я просто фигачу новый 24МБ поток и все.

Все зависит как вы архитектуру умеете строить. Я вот не смотря на опыт, все равно пишу чувствуя что пишу ересь и поэтому можно переписать. Помните, рефакторинг - зло. Можно переписывать тысячу раз Фибоначчи и все равно это будет мусор.

Comments

[Александр]

Зачем вы ставите в пример go, и тут же хвалите 24 МБ на поток в пыхе, если в go на поток идёт от 5кб?

[Владислав Пилюгин]

Ну как, получилось написать мегакомбайн ?)

Answer 5

[bro-dev0]

Не советую концентрироваться на этом, область с очень низким потолком. Много заработать не получится, развить навыки тоже, конкурентов дофига, а задачи делятся на очень простые монотонные, и на те на которые придется писать свой скайнет.