Посоветуйте статьи, где можно почитать как работают поисковики.
Простой поиск по гуглу даёт общую информацию, например об этапах работы (индексирование, ранжирование, поиск), но рассматривает эти этапы очень поверхностно.
Меня интересует по большей части техническая сторона вопроса. Например, для ранжирования можно использовать алгоритм Okapi BM-25, но он был создан в 80-90 годах (уже больше 30 лет прошло, неужели гугл/яндекс/яху не смогли улучшить его?). Знаю, что есть его улучшенный вариант bm25f, но всё же остаются вопросы, например:
Благодаря алгоритму bm25 я могу получить словарь ключевых слов, вида слово: вес (то есть насколько слово соответствует содержанию текста), но SEO специалисты редко рассматривают отдельные слова при создании текстов для сайтов, обычно они используют запросы, например "Купить дом в Новосибирске". Значит поисковики ищут не просто по словам, а сразу по целым предложениям?
Не знаток темы поисковых машин. Могу с уверенностью сказать, что любой крупный поисковик работает не на отдельных алгоритмах, а это сложный симбиоз всех аналитических технологий. Вот какая придет на ум технология, например, нейросети или Data Mining, они будут в какой-то степени встроены в этого гиганта, причем, в тех областях, где оно показало определенные положительные результаты. Какие-то детали реализации скорее всего знают технические руководители компаний, но они вряд ли когда-нибудь расскажут как, что, с чем связано, это хлеб компании.
alexalexes, Да, я согласен с этим. Кроме обычного анализа текста современные поисковики (наверно начиная года с 2004) анализируют поведенченские факторы (интересы пользователей, историю предыдущих запросов), но меня в данный конкретный момент интересует именно поиск по информации, поисковик создавать свой я не собираюсь, а требуются принципы работы для другого проекта :)
Спасибо за комментарий!
Простой
Простой
Простой
Средний
