Как работает поисковая программа с большими объемами данных?

Question

[pandaa]

Неужели у ботов при обходе веб-документов, нет схемы построения поискового индекса, типа разделение на категории "животные", "компьютеры", "деньги" ит.д. чтобы вводя запрос "животные" мы искали только в категории "животные", не поднимая всю поисковую базу, проходясь по каждой страничке. Иначе это же сколько придется делать итерации чтобы ответить пользователю.

Answer 1

[Lynn «Кофеман»]

В первом приближении https://yandex.ru/company/technologies/matrixnet/

Ну и вообще весь раздел
https://yandex.ru/company/technologies

Но никакой конкретики вы нигде не найдёте.

Answer 2

[xmoonlight]

Аналог алфавитного указателя на "деревьях".
Каждая сегментация - это своё "дерево" связей. Их пересечение даёт нужную ветку для начала поиска только в рамках данной узкой категории.

Answer 3

[Иван Шумов]

В поисковых машинах применяется как минимум технология reverse index. Советую ознакомиться