Какой поисковый алгоритм используют поисковые системы?

Question

[dtavricheskiy]

Я изучил алгоритмы линейного, двоичного, интерполяционного поиска, но это всё не то, насколько я понимаю. Подскажите пожалуйста какой материал изучить, грубо говоря, что мне гуглить то? Повторюсь, меня интересует именно поисковый алгоритм, а не алгоритм ранжирования. Спасибо.

Answer 1

[Валерий Рябошапко]

Индексирование и последующий поиск по индексу.

Грубо говоря, текст разбивается на отдельные слова, слова приводятся в нормальную форму, заносятся в словарь, потом строится таблица связей между отдельными словами и документами (в каком документе какое слово как часто встречается и в какой форме).

Когда клиент вводит поисковый запрос, он так же разбивается на слова, слова нормализуются, и по индексу находятся документы, в которых встречаются искомые слова.

Дальше происходит определение релевантности, и это самый сложный и наукоёмкий этап, не знаю подробностей, но, возможно, по ключевым словам «релевантность», «полнотекстовый поиск», «индексирование» сможете что-то найти.

Comments

[dtavricheskiy]

А по какому алгоритму происходит поиск по индексу?

[Валерий Рябошапко]

dtavricheskiy: в смысле, по какому алгоритму? Как СУБД ищет значение в таблице или как между собой связаны таблицы? Это несколько выходит за рамки одного алгоритма.

[dtavricheskiy]

Валерий Рябошапко: И то и другое, как происходит поиск в бд? Откуда такая скорость?

[dtavricheskiy]

Валерий Рябошапко: Хотя отчасти я понял, что скорость достигается за счёт словаря, в котором нет повторений и очевидно есть сортировка позволяющая использовать тот же двоичный поиск.

[Валерий Рябошапко]

dtavricheskiy: если по какому-то полю таблицы в базе данных предполагается частый поиск, по нему строится индекс. Индекс представляет собой B-дерево или его производное. Поиск по такому дереву в общих чертах похож на двоичный поиск, но дерево удобнее для вставки, чем сортированный список.

Потом между таблицей со словарём и таблицей с текстами формируется связь многие-ко-многим. То есть создаётся связывающая таблица, которая содержит поле с идентификатором текста, поле с идентификатором слова и, возможно, ещё какую-то служебную информацию, вроде количества вхождений слова в текст. Идея в том, что если выбрать из связующей таблицы все записи с идентификатором искомого слова (а это будет быстро, потому что по этим идентификаторам построен индекс), мы получим список всех текстов, куда это слово входит, не выполняя при этом полнотекстового поиска. Потом эту процедуру можно повторить для остальных слов в запросе, результаты по каким-то критериям отсортировать и объединить.

И, боюсь, на этом мои теоретические знания о таком поиске исчерпываются. Попробуйте поковырять документацию и исходники Sphinx, это пример (насколько знаю, единственный) открытой реализации такого поиска.

Answer 2

[Viverov]

Как то сел формализировать свои знания и на пол пути забил, дико неинтересное и муторное занятие. Для тех кто в начале пути, пригодиться для систематизации знаний о информационном поиске, можете продолжить начатую работу.
https://yadi.sk/i/OqHvc21HngMRb

Начинать лучше с детализации индексов, их штук 9 с детальным описанием. Ну и если циклично пойти раз в 6-7 разрастется схемка.

Comments

[Олег Борзов]

Блин, это офигительная схема. Спасибо большое.
Можешь еще что-нибудь скинуть, посоветовать почитать в плане информационного поиска?

[Viverov]

Прям единого источника нет(
Все придется собирать ласкутками, к примеру описание всех ботов систем обычно находится в хэлпе, детали работы ассесоров спама можно выяснить через переписки с саппортом. Инструкция для ассесоров обучающих матрикснет лежит где-то в паблике, за 13-й год кажется. Формулу ранжирования более менее можно рассчитать по функциям баров браузеров ПС, их мощностей, логики использования правил на срезы выдачи, инфе которую могут брать краулеры. Также в докладах ecir.info/index.html бывает много полезной инфы. Раньше была возможность у яндекса воровать их внутренние "публичные" доки, они случайно проиндексировали download.yandex.ru (теперь уже закрыли). Главное не разговаривать с seoшниками и не читать блогов и форумов. Если захотеть то за дней 12-15 можно привести схему к более менее адекватному состоянию, на данный момент схемка мягко говоря примитивная)

[nordaux]

Viverov: Поделитесь, пожалуйста, живой ссылкой на Я.Диск.

[Viverov]

nordaux: https://yadi.sk/i/OqHvc21HngMRb

Answer 3

[xmoonlight]

Кратко: связанная структура из уникальных цепочек данных (узлы), находящихся в общем объёме информации.

Comments

[dtavricheskiy]

Извините пожалуйста, а вы не могли бы подсказать как мне гуглить то? Может есть название специального для этих алгоритмов?

[xmoonlight]

dtavricheskiy: www.ozon.ru/context/detail/id/2527036 там глава про ДНК.

[dtavricheskiy]

xmoonlight: Как раз читаю, только я не понял что за ДНК? Там есть только глава 6. Поиск.

[xmoonlight]

dtavricheskiy: Читайте внимательнее.

Answer 4

[globuzer]

Алгоритмы поисковых систем и поисковых роботов - это типа комерческая тайна, этого знать невозможно, это магия)))) если только вы не будете работать разработчиком этих систем в яндексе или гугле. Вообще чтобы осознать принцип поиска - достаточную информацию дают многие книги по основам продвижения , где есть базовая информация по поисковым роботам и принципам...

Comments

[dtavricheskiy]

Меня интересует именно поисковый алгоритм, а не алгоритм ранжирования. Т.е. когда роботы поисковых систем собрали индекс, как в нём происходит поиск то? Я вот гуглю и постоянно попадаю на эти алгоритмы ранжирования, которые так активно изучают сеошники.

[globuzer]

dtavricheskiy: тайна за тремя печатями корпораций добра :)

Answer 5

[Олег Цилюрик]

Какой поисковый алгоритм используют поисковые системы?

Разные поисковые машины (Google, Yandex, ...) используют разные поисковые алгоритмы.
И это является их конкурентным преимуществом и интеллектуальной собственностью, know how. И никто вам и никогда не раскроет алгоритмы, используемые поисковыми системами.

Comments

[dtavricheskiy]

Но ведь известны хотя бы какие то общие принципы этих алгоритмов поиска по индексу? Неужели мне одному интересно, как так быстро происходит поиск в огромных базах данных?

[v- smerti]

dtavricheskiy: кешы

Answer 6

[Олег Борзов]

Читайте "Введение в информационный поиск" - Маннинг К., Рагхаван П., Шютце Х