Какой парсер на Python выбрать для парсинга сайта?

Question

[weranda]

Приветствую

Захотелось попробовать попарсить что-нибудь, к примеру, данные с я.маркета или новости какие-нибудь. Малость почитал и собрал список библиотек:

beautifulSoap
lxml (быстрее BS раз в 8)
scrapy
grab
html5lib
pyspider

Разбираться в них во всех и сразу особого желания нет, но хочется выбрать один-два инструмента для плодотворной работы.

Что посоветуете?

P.S.
Слышал еще про универсальные обучаемые парсеры на основе нейросетей. В этой области знания отсутствуют полностью. Может быть у кого-нибудь завалялась ссылка на полезную статью, простыми словами описывающую вводную информацию, как для новичка.

Comments

[longclaps]

Захотелось попробовать попарсить что-нибудь

Разбираться особого желания нет

Тяжек груз противоположных устремлений.

[weranda]

longclaps, Важная цитата:

Разбираться в них во всех и сразу...хочется выбрать один-два инструмента

[longclaps]

weranda, монетку подбрось, на что выпадет - с тем и разбирайся.
Верхоглядство и снобизм - верные спутники по дороге к успеху.

Answer 1

[sim3x]

Crawler vs Scrapper vs Parser(Grabber) vs Spider?

scrapy + lxml

Answer 2

[Evgen]

Рекомендую scrapy. Работаю на нём четвёртый год.
Активно поддерживается, активно развивается, есть все ништяки, которые могут понадобится в парсинге.

Comments

[weranda]

А есть у scrapy преимущества перед lxml и pyspider?

[Evgen]

Врать не буду, pyspider не использовал, однако тут вот поднимали вопрос, и мой коллега грамотно всё расписал в первом ответе: https://www.quora.com/How-does-pyspider-compare-to...
Насчёт lxml - это низкоуровневая вещь, и scrapy по сути использует его-же для запросов, однако у скрапи есть та-же самая многопоточность, и много чего ещё сверху надстроено.

Answer 3

[Сергей Нижний Новгород]

Я в свое время делал на request + beautifulSoap, вполне годное качество получалось.

Answer 4

[Emil Revencu]

requests+lxml

Answer 5

[Николай Карелин]

Если могут встретится плохо сформированные страницы или *ОЧЕНЬ* старый HTML-код (который даже не XML), то советую смотреть на BS для парсинга. Если все по стандартам - тогда lxml для разбора.

Answer 6

[Эмиль Манафов]

BeautifulSoup4 + requests