Как работает поисковая программа с большими объемами данных?

Неужели у ботов при обходе веб-документов, нет схемы построения поискового индекса, типа разделение на категории "животные", "компьютеры", "деньги" ит.д. чтобы вводя запрос "животные" мы искали только в категории "животные", не поднимая всю поисковую базу, проходясь по каждой страничке. Иначе это же сколько придется делать итерации чтобы ответить пользователю.