Вопрос старый, но проблема для многих ещё актуальная, поэтому порекомендую парочку продуктов:
У Гугла есть
Google Enterprise Search - в комментариях не нуждается, у вас будет персональный Google.
Ну и есть конкурент (в общем-то лидер в области Enterprise-поисковых движков)
Licidworks Fusion Server. Из коробки идёт куча легко кастомизируемых коннекторов (читай узкоспециализированных краулеров, каждый из которых понимает семантику того, что индексирует) - напр. "индексируй вот эти сайты в локалке, корпоративную Jira, вот эти таблицы в БД сервера документов, и вот этот сервер гит-репозиториев".
Естественно, оба продукта платые, но Fusion будет обходиться раза в 2 дешевле.
Если нужно для босяков, нахаляву - ломайте копья и костыли об
Apache Solr. Искать по слитым в него данным он умеет, а вот как засунуть в него данные (тем более актуальные данные - обновить, как только они изменились) - ваша проблема.
Можете ещё рассмотреть продукты из списка
Enterprise Search Venrdor'ов, но про них ничего сказать не могу.