Проще всего для этого использовать программу Screaming Frog. Подробно этот способ описан в статье https://politay.pro/parsim-pokhozhiye-zaprosy/, советую глянуть, может что-то новое для себя найдете.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
