Как проиндексировать html на Sphinx без написания сложных скриптов?

Question

[see613]

Насколько я знаю, sphinx может индексировать html, но готового драйвера, как для sql нет.
То есть нужно самому парсить и подготавливать текст.
Подскажите, нет ли какого-то готового решения, чтобы подружить sphinx и html, желательно на php?

Answer 1

[Пума Тайланд]

он может индексить данные из пайпа, а в пайп вы можете засунуть любой скрипт, а им уже парсить html странички

Comments

[see613]

имеешь ввиду xml pipe и Tab Separated Values pipe или есть более общая pipe?

[Сергей]

Автор ответа имеет ввиду что вы можете:
html ---> скрипт по преобразованию в формат pipe (xml например) ---> sphinx

[see613]

Ок. Может подскажете по поводу уникальных id? В доках в разделе ограничений на источник данных есть строка: ALL DOCUMENT IDS MUST BE UNIQUE UNSIGNED NON-ZERO INTEGER NUMBERS (32-BIT OR 64-BIT, DEPENDING ON BUILD TIME SETTINGS). В данном случае тогда нужно генерить такой id самому? Если да, то как избежать коллизий при многократном индексировании в течении длительного времени?

[Пума Тайланд]

да самому
легко генерьте их по очереди 1 2 3 4 5
таким образом очень сложно создать коллизию

[Сергей]

да самому. использовать например перманентный использовать счетчик, например в ввиде файла или в виде записи в бд,
можете использовать unix_time с точностью до миллисекунды.