Есть ли opensourse «умные» пауки для обхода/парса сайтов?

Question

[The Whiz]

Интересуюсь интернет-краулерами, способными обходить ресурсы, используя тематические ключевые слова или категории, вместо seed url. Полагаю, со встроенным классификатором "ок"-"не ок".

Рассматриваю любые ЯП, т.к. в своем огороде под Руби ничего такого не нашел, а писать с нуля рассматриваю как план Б.