Какой python библиотекой парсить Html?

Question

[Марк Розенталь]

Привет!
Есть N количество сайтов с примерно одинаковой информацией, выводятся эти данные в таблице, хочу все это собрать на одном сайте в одной таблице. Ну вы поняли, типа агрегатор новостей, или еще чего там...
Какая библиотека подойдет здесь лучше?
Как быть не забаненым при такой деятельности?

Answer 1

[Андрей М.]

beautifulsoup4 - www.crummy.com/software/BeautifulSoup/index.html

Answer 2

[Илья]

Для третьего питона Grub. Я работаю с ней, ну и внутри использую sqlalchemy. Просто шикарно выходит.

Answer 3

[Алексей]

Недавно рекомендовали для парсинга сайтов вот это решение
scrapy.org

Answer 4

[throughtheether]

Я в подобной ситуации (было около 10 сайтов-источников с разной структурой данных) использовал requests, lxml и XPATH-выражения.

Как быть не забаненым при такой деятельности?

Если использовать синхронные библиотеки (requests), то, на мой взгляд, можно особо не переживать по поводу возможной блокировки, если серверы, хостящий сайты, нормально настроены, и вы не слишком часто обращаетесь к сайтам. На всякий случай можете User-Agent неприметный прописать.