Как парсить множество разных сайтов?

Question

[VitaliySm]

Есть паук, который должен переходить с одной общей страницы на страницы с разными доменами. В роли start_urls всегда будет одна страница. Как указывать allowed_domains? прописывать там домены не вариант, их может быть очень много.

Answer 1

[VitaliySm]

проблема была в том, что я указывал allowed_domains = ["domain"], и поэтому паук не переходил на внешие ресурсы. указав таким образом allowed_domains = [], решил проблему.