Задать вопрос
@VitaliySm
python

Как парсить множество разных сайтов?

Есть паук, который должен переходить с одной общей страницы на страницы с разными доменами. В роли start_urls всегда будет одна страница. Как указывать allowed_domains? прописывать там домены не вариант, их может быть очень много.
  • Вопрос задан
  • 2489 просмотров
Комментировать
Подписаться 2 Оценить Комментировать
Помогут разобраться в теме Все курсы
  • Нетология
    Python-разработчик: расширенный курс + нейросети
    12 месяцев
    Далее
  • Академия Эдюсон
    Python-разработчик + ИИ
    9 месяцев
    Далее
  • ProductStar × РБК
    Профессия: Python-разработчик + ИИ
    8 месяцев
    Далее
Решения вопроса 1
@VitaliySm Автор вопроса
проблема была в том, что я указывал allowed_domains = ["domain"], и поэтому паук не переходил на внешие ресурсы. указав таким образом allowed_domains = [], решил проблему.
Ответ написан
Комментировать
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы