Как собрать все внутренние ссылки с сайта с помощью Scrapy?

Question

[Саша]

Здравствуйте. Подскажите пожалуйста как можно собрать все внутреyнние ссылки с сайта с помощью Scrapy?

Comments

[Алексей Горбунов]

А не легче sitemap прочитать? он указан обычно в robots.txt

[Рамис]

BeautifulSoup может поможет.

from bs4 import BeautifulSoup
import requests
r = requests.get('https://yandex.ru').text
soup = BeautifulSoup (r, 'html.parser')

for link in soup.find_all('a'):
    print(link.get('href'))