Какой движок заюзать для поисковика по html коду?

Question

[rodion-dev]

Какой движок заюзать для поисковика по html коду ?
т.е. например мне нужно по запросу < a class="link-class-href"
получить все данные где есть эта инфа.

объем предполагается около 1-10млрд документов
с таким объемом хорошо справится сфинкс, но там насколько я помню нет возможности поиска по html.

Answer 1

[maaGames]

Парсить 10 МИЛЛИАРДОВ страниц в реальном времени и на Яве? Не смешите мои тапочки!
Вам нужно проиндексировать тэги(или классы, что вы там будете искать) всех страниц (в офлайне, на любом языке), а уже потом искать в этих таблицах. Т.е. искать будете не по самим HTML, а по базе данных тэгов(классов). С линейным поиском в 10 миллиардах страниц не справится даже ассемблер. Если конечно пользователь не готов подождать пару часов до получения результата.

Comments

[rodion-dev]

на какой яве ? сфинкс на C++ хорошо справляется с миллиардами документов

[rodion-dev]

или ты подумал что мне нужны селекторы типа как у jquery ?
мне нужен поиск по подстроке по миллиарду+ документов

[maaGames]

rodion-dev: Ну сам же тэиг поставил: С++ Программирование Python Java Поисковые технологии
В реальном времени С++ не справится с линейным поиском в миллиардах документов.

[rodion-dev]

maagames.ru:
так поиск не линейный, а по индексу + не на одном сервере происходит поиск по такому объему документов, а минимум на 5 одновременно.

[maaGames]

rodion-dev: Какой движок заюзать для поисковика по html коду ?

html код по определению является неупорядоченным текстовым файлом.
Если данные индексированные, то постановка задачи совсем иная.

[rodion-dev]

не на входе именно html. нужно как-то из него сделать индекс.
с помощью поискового движка я получаю ID всех документов, а потом уже делаю выборку этих документов с серверов хранения где они в оригинальном виде хранятся.

Answer 2

[rodion-dev]

хотя 1млрд страниц на одном серваке это конечно не будет работать
нужно хотябы 20 нод с хорошей конфигурацией

Answer 3

[Оптимус Пьян]

Я знаю что вы собираетесь спарсить ;) Я бы не советовал складывать страницы в индекс, а советовал бы каждый раз обращаться к сайту потому что данные могут измениться. На хабре блог яндекса гляньте там у них парсер парсит со скоростью 240 тыс. в минуту это значит что на 1 миллиард у вас уйдёт 69 часов. Это если со скорость С++ парсить
Если средняя страница весит 30кб то на 1 млрд страниц у вас уйдёт 27 террабайт места ))

Answer 4

[Александр Маджугин]

xapian неплохо себя показал когда я пробовал