Есть паук, который должен переходить с одной общей страницы на страницы с разными доменами. В роли start_urls всегда будет одна страница. Как указывать allowed_domains? прописывать там домены не вариант, их может быть очень много.
проблема была в том, что я указывал allowed_domains = ["domain"], и поэтому паук не переходил на внешие ресурсы. указав таким образом allowed_domains = [], решил проблему.
