skrimafonolog, ага, скажите это моему ноутбуку с i7-8550U который при включении отжирал под 100% CPU и I/O пока я не вырубил миллион хлама, как от производителя, так и от самого Windows.
Че за бред, у вас по 2 отступа в каждой подстроке, а некоторые вообще просто так сдвинуты. Естественно в таком виде, помимо прочего это работать не будет.
Прочитайте хотя-бы несколько ПЕРВЫХ страниц любой книги по Python, перед тем как начать "по гайдам" что-то делать.
Леонид, обычно все подобные скрипты работают следующим образом: заходит на страницу, собирают с неё все ссылки домен которых соответствует исходному сайту и начинают их бороздить, с каждой собирая новые ссылки.
Если где-то хоть одна ссылка, или кнопка пагинации страницы работает на JS, или подгружается с JS, чего СЕО-шник вполне мог и не заметить, то работа всего принципа сбора ссылок полностью ломается.
Вряд-ли найдёте такое ПО.
Screeming Frog может не работать в случае с теми сайтами, где информация подгружается JS'ом.
Что-бы получить гарантированный результат нужно использовать Selenium + любой язык программирования, который знаете. Если не знаете - закажите на фрилансе, не думаю что это будет стоить слишком дорого.
В принципе если подумать, то можно миксануть Selenium + обычные запросы. Типа для тех страниц где информация догружается с JS запускать Selenium и пускай собирает, там где информация сразу отдаётся - обычные запросы, что-бы быстро получить результат.
Денис, попробуйте trust_env отключить, как написано тут. Только обратите внимание, что вам для этого сессию нужно использовать. Возможно поможет.
P.S. По результатам отпишитесь, самому интересно работает это или нет, может сам столкнусь когда с таким.
Где в списке способов активации числится KMS сервер? Активировать то вы им можете, только тогда у вас будет не лицензионная версия Windows.