Какая лучшая библиотека для новичка в Web Crawling?

Question

[S T]

Какая лучшая библиотека для новичка в Web Crawling? Python
Подскажите пожалуйста

Answer 1

[cijiw]

Scrapy
Зе бест!!!!!

Comments

[Дмитрий]

А как вы парсите сайты где JS-код?

[cijiw]

Дмитрий:
Если JS код не принципиален для формирования сайта, то достаточно простых средств, как Скрапи.
Если JS код формирует содержимое и без него никуда, то вам нужен полный эмулятор браузера. Это не Python. А, к примеру, PhantomJS

[Дмитрий]

cijiw: ОК. Спасибо. А можете сказать что такое phantomjs ? В Python-е его же нет. Как понимаю это JS-либа к WebKit?

[cijiw]

Дмитрий: Это т.н. headless-браузер полностью написанный на JS, управляемый из JS. Запускается сам по себе как отдельное приложение (это не NodeJS, это не WebKit).
Да, это не Python.
На Python полноценную реализацию браузера сделать невозможно принципиально.

[cijiw]

https://github.com/dhamaniasad/HeadlessBrowsers

[cijiw]

slimerjs.org
https://habrahabr.ru/post/247847/

[S T]

cijiw: На Scrapy можно писать без Python или как? Как начать парсить?

[cijiw]

S T: Скрапи - это библиотека для Пайтона.
Но это без поддержки JavaScript.

[S T]

cijiw: т.е Scrapy лучше чем Grab для новичка да? А можно с Scrapy без JS на фрилиансе зарабатывать? Мне нужен наставник, хочется научиться, но туманно, не понятно, как где писать...

[cijiw]

S T: Scrapy - одно из самых лучших.

[cijiw]

S T: Но только для сайтов без JS

[S T]

cijiw: как научиться? и можноли заработать этим на фрилиансе?

[Илья]

Хм, в то время, когда я писал парсеры на питоне, scrapy ещё не дружил с 3 питоном. Делал с grab, всё работает хорошо.

[cijiw]

FireGM: Мейнтримом в крупных конторах до сих пор является 2-й Питон. Так что ничего страшного, если какая-то библиотека с третьим не дружит.

[cijiw]

S T: Отчего бы и нет. Интересно - занимайтесь. Заказы на парзинг сайтов - регулярны.

[S T]

cijiw: как установить grab, выскакивает ошибка "no such file or directory"

[cijiw]

S T: Грабом не занимался. Скрапи легко ставится четко по инструкции.

Answer 2

[xmoonlight]

Добавлю еще Nightmare для краулинга с JS исполнением.

Comments

[S T]

Grab не используйте?

[xmoonlight]

S T: нет. а что это?

[S T]

xmoonlight: библиотека для python

[xmoonlight]

S T: сорри, но не кодирую на питоне (знаю немного, но не профильный он у меня).

Answer 3

[Dimonchik]

данные, где JS нельзя вытянуть простым DOM / Regexp парсером, обычно ничего коммерчески полезного и не представляют

Comments

[S T]

тогда смело можно изучать scrapy да? что выбрать regular expressions или xpath? спасибо вам

[Dimonchik]

оба

xpath обязательно, как бы сложен не был, в Скрапи он и так по дефолту
регекспы тоже нужны по жизни, но нередко xpath справляется лучше

[S T]

dimonchik2013: а может scrapy для web scraping га нужен а Grab для Web Crawling га нужен,?

[Dimonchik]

нет, скрапи со всем справляется

Answer 4

[gram2005]

grablib.org

Comments

[S T]

Не как не могу установить ее на Python 3.6 как сделать? Подскажите

[gram2005]

Под какую ОС? Какую ошибку выдает?

[S T]

gram2005: windows 8 Asus (ноутбук) и пк windows 7. В cmd пишу Python.exe setup.py install ошибка: no such file or directory

[gram2005]

Попробуй указать полный путь к питону. Может он не присутствует в переменой окружения PATH. И нужно находиться в той папке где лежит файл setup.py.
Примерно так: C:\Python3.6\Python.exe setup.py