Рекомендую самый простой и действенный метод: проканируйте сайт краулером, лучше всего подойдет Screaming Frog SEO Spider. По завершению сканирования я рекомендую удалить ненужные страницы и сгенерировать карту сайта как показано на скрине:
https://cln.sh/hehGMn
В настройках оставьте Response Codes только на 2хх (см. скриншот
https://cln.sh/dy1Rx5), в Last Modified проставьте текущую дату и экспортируйте, это займет немного времени, после чего добавляйте карту в robots.txt
Также у меня есть готовое онлайн-решение для личных нужд по разбивке карта сайта на категории и по кол-ву URL адресов. Стучите, если нужно.
Если вы сами продвигаете сайт, подписывайтесь на мой авторский телеграм канал -
SEO-специалист (выкладываю много актуальной информации из первых рук).
Простой