Пытаюсь просканировать сайт в домене en, но при парсинге запрос редиректится в зону ru, соответственно собираются страницы сайта на русском языке. Пробовал поставить
custom_settings = {
'REDIRECT_ENABLED': False
}
но не помогло, что еще можно посмотреть/проверить?