С последнего: сегодня в поисковых машинах не появилось принципиально ничего нового, по сути это можно назвать стагнацией, можно назвать постепенным улучшение первоначальных алгоритмов.
Дальше была просто история борьбы за качество выдачи часть вы уже написали и всё вокруг этого крутилось,
сначала выяснилось что просто рейтинг не катит, были морфология и ссылки,
потом выяснилось что алгоритм BM25 не идеален и легко накручивается спамом - исправляем
дальше выяснилось что ссылки не идеальны и тоже накручиваются - исправляем
ввели социальные факторы, но их недостаточно и накручивают - исправляем
ввели поведенческие факторы, но их тоже накручивают - исправляем
На сегодня всё это объединено в один алгоритм + приправлено всякой персонализацией и т.п.
На мой взгляд это тупик и вообще вопрос нужен ли нам такой общий поиск, может быть его разбить на отдельные тематики. Да и вообще рулят соцсети, всякие персональные рекомендации, срезы.