Web-crawling откуда начинать?

Question

[Anlight]

Заинтересовал этот раздел, но ни как не могу разобраться откуда начинать копать. Я так понял копать нужно в сторону библиотек grab и scrapy, но информации на русском практически нет, а если и попадается, то как правильно устаревшая. Так же есть документация, так же имеется документация, но опять же это документация, а интересует именно обучение.

Answer 1

[Владимир]

начните с request, для получения кода с сайта, и regexp для парсинга
потом beautifulsoup - увидите разницу и поймете ценность специализированной библиотеки
потом Scrapy - и тоже сделайте для себя выводы

после этого идите на фриланс биржу и берите любой заказ на парсинг и делайте его на более понятном вам инструменте. это может быть даже давно закрытый заказ. но результат не заработок денег а сделать реальную задачу.

после этого Вы сможете уже предложить себя за небольшие деньги, на том же фрилансе.

вот такой путь начинающего джидая. будет трудно, но интересно :)

Comments

[nirvimel]

regexp для парсинга

Даже начинать с этого не стоит. Это неправильный подход к решению, учиться нужно на правильных примерах.

К beautifulsoup можно добавить более мощный и гибкий lxml.

Почему все так залипают на grab и scrapy? По мне так тяжелый фреймворк для парсера больше мешает чем помогает (это не относиться к фреймворкам для UI).

[Anlight]

Касаемо bs постоянно вижу, что это отвратительная библиотека, медленная и даже при незначительных нагрузках может крашнуться.

[Владимир]

Anlight: сколько пользовался - всегда только восторг. все в одном файле и никаких побочных зависимостей

[Владимир]

nirvimel: просто хороший повод выучить regexp. без него нынче сложно

[throughtheether]

поддерживаю пост, поддерживаю рекомендацию lxml

Answer 2

[Nerevar_soul]

На русском можно поискать статьи на хабре. Там есть и про grab и про scrapy. Но вообще английский на уровне чтения документации знать нужно обязательно. Без этого будет очень сложно.
На английском кстати есть довольно не плохая книжка. Там в основном используют beautifulsoup и стандартные модули Python. Что как мне кажется лучше для новичка. Есть немного и про scrapy.
А самый лучший способ взять какой-то сайт и спарсить оттуда какие-то данные. Все что не понятно искать в документации и на stackoverflow(если с английским совсем все плохо то Тостер и различные форумы посвященные питону).

Answer 3

[Ashot Ogoltsov]

Простейший crawler можно легко накатать используя grab. Ну а дальше копайте взависимости от необходимости. Кстати автор сей библиотеки очень отзывчив на форумах и т.д. Ну а вдобавок есть его авторские статьи на хабре (смотрите всё от хабровчанина lorien).

Answer 4

[devel787]

Возможно, вам будет интересен доклад
"Александр Сибиряков - Frontera: распределенный робот для обхода интернета в больших объемах"
https://youtu.be/hV929rp1YmI