Как вытаскивать ссылки с сайта, с помощью питона?

Question

[Морс Суперберг]

Нужна прога, на питоне, которая начинает с заданного сайта, и вытаскивая ссылки ходит по сайтам, ищет ссылки и ходит по этим ссылкам, вытаскивая новые. Все ссылки необходимо записывать в файл текстовый. Как это сделать, или может уже такое реализовано? Спасиб

Comments

[gyladti]

Scrapy

Answer 1

[Анатолий]

Сделайте парсер ссылок с помощью Beautiful Soup.
Передавайте новые ссылки в urlopen.

Comments

[javedimka]

А еще можно поставить lxml и радоваться жизни
lxml.de/lxmlhtml.html#working-with-links

[sim3x]

javedimka, а еще лучше не использовать bs

[javedimka]

sim3x, Ну я вообще это и имел ввиду, выкинуть bs, юзать lxml

Answer 2

[Александр Глухов]

Можно набросать скрипт ручками, через requests и BS4, но лучше использовать прекрасный инструмент, который советуют люди выше: Scrapy
Ссылка на довольно неплохой пошаговый туториал