Есть ли переборщик символов для поиска страниц сайта?

Question

[Юра]

Здравствуйте, мне для управления сайтом нужно подобрать ссылки на все страницы, которые на сайте есть. Проблема в том что есть страницы, на которые нет ссылок и стандартными утилитами я не могу их собрать.

Вопрос: есть ли переборщик символов для поиска страниц сайта?

Comments

[xmoonlight]

Может перебор линков на страницах нужен?

[xDimus]

xmoonlight, по условию их нет, линк это и есть ссылка

[xmoonlight]

xDimus, обычно, все прямые линки - подчиняются какому-то правилу. А все переходные линки - присутствуют в "теле" каждой из связанных между собой страниц.

Answer 1

[xmoonlight]

Проблема в том что есть страницы, на которые нет ссылок и стандартными утилитами я не могу их собрать.

Тогда как же Вы знаете, что страницы есть, если у них нет ссылок?!

Comments

[Юра]

Через поисковик нахожу.

[xmoonlight]

Юра, значит Вы их просто не видите. Используйте нормальные инструменты.
Поисковик - не будет перебирать: они точно есть на Ваших страницах: статически или динамически (формируемые через JS).

Answer 2

[xDimus]

Как вы их хотите перебирать?
Если так [aaaa.html, aaab.html, aaac.html...] то делается легко, определяете набор символов, длину и вперед - только сайту такое количество запросов вряд ли понравится.
Я бы посмотрел вначале информацию в sitemap.xml, robots.txt и какие страницы уже найдены/проиндексированы поисковыми системами.

Answer 3

[rPman]

Когда то давным давно работал с проектом по анализу интернета на ссылки на разные файловые хранилища, всякие рапидшары и прочее, для этого в поисковую систему делались запросы по списку ключевых слов, загружались страницы по ссылкам и анализировалось содержимое на эти ссылки.

По факту, другого способа добыть ссылки на контент сайта у вас нет.

Comments

[Юра]

Это похоже на мой случай. Подскажите, каким софтом или библиотекой пользовались?

[rPman]

Полностью самописное на php, база данных mysql но максимум в режиме key-value и можно было бы выбрать другой инструмент (по крайней мере проседали ан хецнере именно по нагрузке на hdd, и даже тогда удавалось почти полностью утилизировать доступные 100мбит хостера,с другой стороны, сейчас ssd раздают чуть ли не бесплатно на любом хостинге).

в основном много возни было с гуглом, а именно, он банил ip адреса, причем использовались как подсети гугла так и локально несколько адресов, полагаю сейчас логика обхода блокировок другая.