Как собрать максимально возможное количество адресов сайтов нужной тематики?

Question

[Алексей Типа]

Мне не для спама, а для сбора текстов.
Ищу некий софт типа паука.
Понимаю, что сами сайты имеют ссылки на другие сайты, но лучше всего наверное делать запросы в поисковик.

Подскажите, пожалуйста, в какую сторону копать?

Comments

[Шурик Рябцов]

в сторону поисковиков и их api
даже есть dudkogo на такое вроде изначально рассчитан
есть конечно и расширения хрома и боты в телеге и онлайн сервисы...

больше видел сервисы для соцсетей подобные....